1、出具证明：首先可以要求给你出具其不给你进行改名字的理由的证明书。2、行政诉讼：按实际情况及相关的法律规定，如果机关无理由不给改名字的话，有可能违反相关的法律规定，当事人不服，可以就机关出具的决定，提起行政诉讼，要求机关撤销不给改名字的决定。3、行政复议：对方不出具或者是出具的理由你认为不合法或者不合理的，可以申请行政复议或者是提起行政诉讼。