本题考查行政法常识。

A项正确，银监会属于国务院直属事业单位，根据《银行业监督管理法》，银监会具有行政处罚权，应当以自己的名义做出。

B项正确，根据《行政处罚法》第四十五条规定：“当事人对行政处罚决定不服申请行政复议或者提起行政诉讼的，行政处罚不停止执行，法律另有规定的除外。” 

C项正确，根据《行政处罚法》第五十一条规定：“当事人逾期不履行行政处罚决定的，作出行政处罚决定的行政机关可以采取下列措施：（一）到期不缴纳罚款的，每日按罚款数额的百分之三加处罚款；……”

D项错误，我国罚款原则实行罚缴分离，作出行政处罚决定的行政机关及其执法人员不得自行收缴罚款。当事人应当自收到行政处罚决定书之日起十五日内，到指定的银行缴纳罚款。银行应当收受罚款，并将罚款直接上缴国库。

也即是说银监会虽然作出了处罚决定，但一般而言，并不会当场收这笔罚款，所以不用出具收据。

本题为选非题，故正确答案为D。（注意：本题B选项也不严谨，行政复议过程中，罚款原则上是不停止执行的，但是有例外情况。但由于本题D选项错误更明显，因此答案为D。）