如果认定为违章建筑就要依法拆除。违章建筑物本身仍然是物的一种，在有关行政主管部门未依法认定要求拆除之前，违章建筑建造者仍然对物享有某些物权法上的权利。