市场搬迁跟税务所是没有什么关系的是属于行政部门管理的。建设行政主管部门对全国城市房屋拆迁工作实施监督管理。县级以上地方负责管理房屋拆迁工作的部门(以下简称房屋拆迁管理部门)对本行政区域内的城市房屋拆迁工作实施监督管理。