浩瀚的人類文明史可以說就是一部由簡單到複雜，由低級到高級的石文化史。石頭是人類文明的始祖，是物質世界和精神世界得以構建的基礎。從古至今石頭就與人類的關係不可分割，一塊奇石，可放於幾案供人觀賞；疊石成山，便成了造園的基礎。故有人說，石頭是大地的骨骼，是時間的見證，是曆史的標本，是永恒的象征。
在文學名著中，曹雪芹的《紅樓夢》中就有大荒山無稽崖青埂峰下的一塊奇石通靈之說，故又稱為《石頭記》。在吳承恩的《西遊記》中就有女媧補天而留下的奇石吸取日月精華而孕育出石猴孫悟空的寫照。在造園的曆史中，奇石發揮著重要作用。正所謂：“山無石不奇，水無石不清，園無石不秀。”
石頭最初出現在中國繪畫中，常常是充當畫麵的背景，襯托主體物。例如東晉著名畫家顧愷之的《洛神賦圖》，畫麵中的山石尚無皴法，隻是簡單地用線條勾勒出石頭的最原始的自然形態，著色清新而淡雅，顯得古樸而稚拙。
唐人愛石成癖好，以養石、賞石來提高自身的修養。白居易在《太湖石記》中雲：“撮要而言，則三山五嶽，百洞千壑，覙縷簇縮，盡在其中。百仞一拳，千裏一瞬，坐而得之。”這是一篇全麵闡述太湖石收藏和鑒賞的散文。文中寫到，文人們喜愛將奇石移至園內、花園，或作案頭清供，靜心觀看，以此寄托文人雅士對林泉的向往之情。唐代的章懷太子墓壁畫中就出現了手捧樹石盆景的兩個宮女。
東晉 顧愷之 《洛神賦圖》（局部）
閻立本的《職貢圖》中那盆中之物便是奇石。唐末孫位的人物畫《高逸圖》中也出現了奇石。畫麵中的兩塊石頭比人物稍大，以墨色染，石塊凹凸有致，內有圓或扁的穿透孔洞，厚實而穩重，畫家以石頭作為背景襯托人物，表達隱逸曠達的情懷。