本题考查刑法的原则相关知识点。

根据《中华人民共和国行政复议法》第六条规定，有下列情形之一的，公民、法人或者其他组织可以依照本法申请行政复议：

（一）对行政机关作出的警告、罚款、没收违法所得、没收非法财物、责令停产停业、暂扣或者吊销许可证、暂扣或者吊销执照、行政拘留等行政处罚决定不服的；…… 

题干中公安局进行了罚款，甲对罚款不服，可以提出行政复议。乙如果认为罚款过轻，不服公安局的决定，也可以提出行政复议。

故正确答案为C。