民政部门。根据《中华人民共和国社会团体法》和《社会团体登记管理条例》，退休协会属于社会团体，需要进行登记管理。在中国，社会团体的登记管理工作由民政部门负责，包括社会团体的设立、变更、注销等事项。因此，退休协会的管理也属于民政部门的职责范畴。同时，退休协会还需要遵守相关法律法规和规定，开展合法、规范、有序的活动。