本题考查行政法常识。

A项正确，《行政复议法》第十二条第一款规定：“对县级以上地方各级人民政府工作部门的具体行政行为不服的，由申请人选择，可以向该部门的本级人民政府申请行政复议，也可以向上一级主管部门申请行政复议。”因此，甲县政府有权受理该复议申请。

B项正确，《行政复议法》第十一条规定：“申请人申请行政复议，可以书面申请，也可以口头申请；口头申请的，行政复议机关应当当场记录申请人的基本情况、行政复议请求、申请行政复议的主要事实、理由和时间。”因此，乙公司可以口头提出行政复议申请。

C项正确，《行政复议法》第三十一条第一款规定：“行政复议机关应当自受理申请之日起六十日内作出行政复议决定；但是法律规定的行政复议期限少于六十日的除外。情况复杂，不能在规定期限内作出行政复议决定的，经行政复议机关的负责人批准，可以适当延长，并告知申请人和被申请人；但是延长期限最多不超过三十日。”该项中，复议机关应当受理该申请之日起六十日内依法作出行政复议决定。不能在规定期限内作出行政复议决定的，可以适当延长。

D项错误，《行政复议法》第二十一条规定：“行政复议期间具体行政行为不停止执行；但是，有下列情形之一的，可以停止执行：（一）被申请人认为需要停止执行的；（二）行政复议机关认为需要停止执行的；（三）申请人申请停止执行，行政复议机关认为其要求合理，决定停止执行的；（四）法律规定停止执行的。”因此，行政复议期间，行政处罚原则上不停止执行，只有符合上述法条规定的情形的，可以停止执行。

本题为选非题，故正确答案为D。