【正确答案】 D

【答案解析】 《行政复议法实施条例》第24条规定，申请人对经国务院批准实行省以下垂直领导的部门作出的具体行政行为不服的，可以选择向该部门的本级人民政府或者上一级主管部门申请行政复议；省、自治区、直辖市另有规定的，依照省、自治区、直辖市的规定办理。省级地方性法规或者规章对省内垂直领导部门的行政复议机关有规定的，依照该规定办理。甲只能向上一级税务部门申请复议。A项错误。第51条规定，行政复议机关在申请人的行政复议请求范围内，不得作出对申请人更为不利的行政复议决定。行政复议机关可以撤销或者改变具体行政行为，但不得作出对申请人更为不利的行政复议决定。B项错误。本案中税务纠纷不属于纳税争议，无需行政复议前置。C项错误。鉴于复议机关违反《行政复议法实施条例》加重处罚，法院应当撤销复议决定。D项正确。