南丹之名已有千年，宋朝因境內生產朱砂（又稱丹砂）向朝廷進貢，加之地處南方，朱砂又稱丹砂，此地故稱南丹。
據考證，有宋一朝，瑤族已經開始向廣西境內遷移。一條河又一條河，一座山又一座山，瑤族經曆戰亂頻仍，大規模進入兩廣腹地。至明清兩代，廣西瑤族完全融進了八桂大地。
白褲瑤，正是在這一次又一次的遷徙裏來到南丹，又在一次又一次的擠壓裏，從平壩搬入山林。數百上千年來，他們在這裏“倚山而廬，耕種度日”。宋代周去非在《嶺外代答》寫道：“山穀彌遠，瑤人彌多。”裏湖和八圩，漸成白褲瑤人不再離棄的長久生息之地。
從高空俯瞰南丹，不難發現——南丹向東伸出了一對牛角，朝東北的角尖上掛著裏湖瑤族鄉，朝東南的角尖上掛著八圩瑤族鄉。
這兩個尖尖的牛角，便是南丹白褲瑤的主要聚居地。白褲瑤世代居住在雲貴高原西南邊緣的這片大石山地區。南丹，被稱為中國白褲瑤之鄉。
白褲瑤是瑤族支係之一，自稱“朵努”。清代《慶遠府誌》即有記載：“南丹瑤，居於瑤山，男女皆蓄發。男青短衣白褲草履；女花衣花裙短齊膝。”白褲瑤因男子皆穿及膝白褲而得名，是中國最古樸、最原始、最神秘的少數民族之一，也是民族文化保留最完整的少數民族之一。
無三裏之平原，有千尺之險隘。莽莽深山，是白褲瑤的屋舍，也是他們的“麵紗”。青青山峰，包容了一個忠誠山林的族群，卻也隱藏了以山為家的民族。重巒疊嶂，造就了他們獨特的文化，卻也成為他們與世界的天然屏障，阻滯了他們跟上時代的步伐。
其實，何止白褲瑤，整個瑤族的日子都布滿了悠長的山影，否則，又怎麽會有“南嶺無山不有瑤”之說？
白褲瑤寨，通常坐落於海拔一千米以上的地方。大山給予他們足夠的寬容，大山是他們的依靠。新中國成立之前的漫長歲月裏，瑤族山民過著不知有漢、無論魏晉的封閉生活。他們自給自足，自織自染，自耕自種，自唱自飲，自悲自喜，似乎永遠和身上特有的白褲一樣樸素而簡單，純澈而平和。