爸爸对孩子不管不问可以要回抚养权，和子女一起生活的父亲一方因患严重的疾病或伤残无力继续抚养的。父亲一方不能尽到父母责任的，虐待子女，对子女身心健康确有不利影响的。八周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的父母双方协议变更子女抚养关系的，应予准许。【本文关联的相关法律依据】。《中华人民共和国民法典》。第一千零五十夫妻双方平等享有对未成年子女抚养、教育和保护的权利，共同承担对未成年子女抚养、教育和保护的义务。第一千零八十四条父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。