遗弃罪的犯罪主体是对被遗弃者负有法律上的扶养义务而且具有抚养能力的人。父母对未成年子女有抚养教育的义务；成年子女对父母有赡养扶助的义务；祖父母、外祖父母对父母已经死亡的未成年的孙子女、外孙子女有抚养的义务；孙子女、外孙子女对于子女已经死亡的祖父母、外祖父母有赡养的义务。【法律依据】；《刑法》第二百六十一条。对于年老、年幼、患病或者其他没有生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。