【正确答案】 D

【答案解析】A项说法正确。《中华人民共和国行政处罚法》第十五条规定，“行政处罚由具有行政处罚权的行政机关在法定职权范围内实施。”银监会有权对银行业金融机构实施行政处罚，应当以自己的名义作出。B项说法正确。该法第四十五条规定，“当事人对行政处罚决定不服申请行政复议或者提起行政诉讼的，行政处罚不停止执行，法律另有规定的除外。”根据该条规定，该银行申请行政复议，行政处罚不停止执行。C项说法正确。该法第五十一条规定，“当事人逾期不履行行政处罚决定的，作出行政处罚决定的行政机关可以采取下列措施：(一)到期不缴纳罚款的，每日按罚款数额的百分之三加处罚款……”根据该条规定，该银行到期不缴纳罚款，需要每日按罚款数额的百分之三加处罚款。D项说法错误。该法第四十九条规定，“行政机关及其执法人员当场收缴罚款的，必须向当事人出具省、自治区、直辖市财政部门统一制发的罚款收据；不出具财政部门统一制发的罚款收据的，当事人有权拒绝缴纳罚款。”我国的行政处罚适用严格的罚缴分离制度，作出罚款决定的行政机关应当与收缴罚款的机构分离，银监会对商业银行的处罚不适用当场收缴罚款的情形，因此不需要在作出罚款决定时出具财政部门统一制发的罚款收据。故本题选D。