由县级负责。县级是地方的基层组织，负责管理和行使行政职权，因此，对于县级文化综合执法大队的任免事务，由县级进行决策和安排。