违建只拆一家不可以拒绝。违建的存在会对城市规划和城市管理造成不良影响，威胁到公共利益和公共安全，有权对其进行处理。在这种情况下，个人是无法拒绝的拆迁决定的。按照国家法律法规的规定，有权根据城市规划和城市管理的需要，进行强制拆除。