因为登上浪港山就可见到北边的海，所以就把这卫叫观海卫，那山也随之变成卫山了。明洪武年间，倭寇屡屡进犯我沿海各地，烧杀抢掠，为所欲为，当地百姓深受其害。朱元璋派信国公汤和再次出征，抗击倭寇。汤和当时虽已是花甲，但他仍以国家和百姓利益为重，毅然重披战甲，镇守浙东沿海防务。他督察三北沿海一带地形时，发现这里曲折回旋，水脉充沛，是个上选的设卫建所之地，便设立了一卫(观海卫)两所(龙山所、三山所)，抵御倭寇的侵袭。