可能与他们起源的一个传说有关：在很久以前，在一次洪灾中马来西亚柔佛州的公主被大水冲走。他的父亲在沉浸悲痛中无法自拔，于是便命领下属出海寻找，而且下令他们找到公主后才能返回。这些人最后因为找不到公主，就在海边定居下来。他们身负找不到公主不能返回的命令，从此不踏上岸生活。

也有另外一种说法是巴瑶族的祖先是被流放的原住民，因为长时间被禁止踏足陆地，他们选择寄生在海洋上，在浅海的珊瑚礁上搭建房子，过着没有国籍的海上游牧生活。他们住在用木桩高架于浅海的茅草屋里，使用“lepa-lepa”小舟作为水上交通工具，以捕鱼和水上贸易为生。