《国家赔偿法》第32条第1款规定：“国家赔偿以支付赔偿金为主要方式。”A项说法正确。该法第37条第1款规定：“赔偿费用列入各级财政预算。”B项说法正确。该法第41条规定：“赔偿请求人要求国家赔偿的，赔偿义务机关、复议机关和人民法院不得向赔偿请求人收取任何费用。对赔偿请求人取得的赔偿金不予征税。”C项说法错误，D项说法正确。故本题选C。