退还罚款。因为相关部门在进行处罚的时候，必须要出示有力的证据和依据，所以当用白纸条进行处罚是不合法的，应该退还罚款。