本题主要考查行政诉讼法有关知识。

《行政诉讼法》第二十六条规定：“公民、法人或者其他组织直接向人民法院提起诉讼的，作出行政行为的行政机关是被告。经复议的案件，复议机关决定维持原行政行为的，作出原行政行为的行政机关和复议机关是共同被告；复议机关改变原行政行为的，复议机关是被告。”本题中，史某向甲县人民政府申请行政复议，甲县人民政府改变了该处罚决定，而史某提起行政诉讼，其被告应该是甲县人民政府。

故正确答案为D。