关于巴瑶族的起源，相传很久以前马来西亚柔佛州的公主在一次洪灾中被冲走，她的父亲沉浸在丧女的悲痛之中，便派遣部下出海寻找，并下令他们找到公主后才能返回，但是这些奉命寻找公主的人因无法找到公主只能留在海边，有家不能归，成了巴瑶族的祖先。他们被时间遗忘，一代又一代，慢慢适应了海洋环境，被认为是最后一支海洋游牧民族。
他们住在用木桩高架于浅海的茅草屋中，以捕鱼为生，生活环境极其恶劣，被称作海上吉普赛。这些巴瑶人沒有国藉，没有身份，沒有学校，沒有医院，他们过着贫困的海上飘泊生活。早些时候的巴瑶族人以船为家，后来多数族人居住在沿海海岸或在浅礁石上，潜水处，用几根木桩支撑起高脚屋。
巴瑶人和大自然和平共处已经有好几百年了，他们一直延续着祖先遗留的传统生活方式，在尚未学会走路之前就开始学习游泳，依赖这片热带大海赐予的恩典而生。巴瑶人都以海为家，只有大海才可以让他们自由地游弋，如今越来越多的巴瑶族人在仙本那附近的小岛定居下来，凭借过硬的生存本领，他们挖井取水，用树干搭房，在海上捕鱼。