拆迁方承担。拆迁协议是双方达成的合同，拆迁方有责任按照协议的约定进行回迁，并承担因此造成的损失。