需要。如果个人工资达到纳税标准，那么代发公司发放工资就属于劳务代发，需要缴纳个人所得税，这时候不需要退回；如果个人工资没有达到纳税标准，那么代发公司发放工资就属于劳务代发，这时候需要退回。