黄崖关长城始建于北齐天宝七年（556年）。唐代，安禄山在这里驻扎其精锐，雄武军。杜甫《渔阳》诗中就有写道：“禄山北筑雄武城，旧防败走归其营。系书请问燕耆旧，今日何须十万兵。” 诗里的雄武城，就是黄崖关。
到了明代，戚继光为蓟辽总兵，镇守蓟州16年，期间重新新设计、包砖大修了黄崖关。增建了凤凰楼、八卦街和许多楼台，完善了这一地区的长城防御体系。