赵甲等三人拒不履行乡政府的处罚决定是有法律依据的。因为，从性质上看，乡政府、街道派出所就赵甲等三人哄抢西瓜的行为作出的处罚决定都属于行政处罚，在赵甲等三人已经向街道派出所交纳了罚款，政府再要求赵甲等三人履行行政处罚决定，违背了一事不再罚的行政处罚原则。我国现行行政处罚对同一违法行为，不得给予两次以上罚款的行政处罚。根据这一法律规定，对于同一违法行为，一个机关已经给予处罚的，不应再次给予相同的处罚。而且乡政府、街道派出所给予的行政处罚都是罚款和退赔，种类一样。在两者都有管辖权的前提下，以先作出的行政处罚为准，因此，赵甲等三人有权不履行乡政府作出的处罚决定。