自卫时用手打伤人一般是不负刑事责任的，不过，防卫过当的，应当负刑事责任，但是应当减轻或者免除处罚。《刑法》；第二十条；【正当防卫】为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。正当防卫明显超过必要限度造成重大损害的，应当负刑事责任，但是应当减轻或者免除处罚。对正在进行行凶、杀人、抢劫、强奸、绑架以及其他严重危及人身安全的暴力犯罪，采取防卫行为，造成不法侵害人伤亡的，不属于防卫过当，不负刑事责任。一、对防卫过当的犯罪分子量刑时一般要考虑哪些因素。(1)防卫行为的起因。(2)防卫所保护利益的性质。(3)防卫过当所明显超过限度的程度及造成危害的轻重。