被处罚。留置措施是以前纪检监察机关和检察机关所并没有采用的惯常措施，是涉及被调查人的人身自由的一项严厉措施，法律规定只要收取无论是否退还都会被处罚。