先秦兩漢雖未產生符合小說文體基本條件的作品，但這一漫長的曆史時期卻是中國文言小說的萌芽階段。這一時期的《山海經》《淮南子》《穆天子傳》《燕丹子》等中的神話傳說，《孟子》《莊子》《韓非子》《戰國策》中的寓言故事及《左傳》《戰國策》和《史記》等史傳文學，都孕育著小說藝術的因素，為小說文體的形成創造了條件。值得注意的是，由於史傳文學極為發達，中國古代早期的小說與曆史傳記存在著千絲萬縷的聯係。
魏晉南北朝時期是文言小說發展的童年期。該時期的小說篇幅短小、敘事簡單，隻是粗呈故事梗概，並且基本是根據傳聞加以直錄，較少進行藝術的想象和細節的描寫。雖有人物性格的初步刻畫，但還不能展開。所以還隻是初具小說的規模，並非成熟的小說作品。魏晉南北朝小說可以分為誌怪和誌人兩類。誌怪小說記述神仙方術、殊方異物、鬼魅妖怪、佛法靈異。誌人小說記述人物的言談舉止、奇聞佚事。在中國文言小說史上，魏晉南北朝的誌怪小說和誌人小說是不可或缺的一環。前者以幹寶的《搜神記》為代表，後者以劉義慶的《世說新語》為代表。《搜神記》主要記錄神異故事，內容十分豐富，大多篇幅短小，情節較為簡單，但充滿神奇詭異的色彩，對後世有深遠影響，如唐代傳奇故事、蒲鬆齡的《聊齋誌異》等都和它有著密切的聯係。《世說新語》主要記載魏晉名士的逸聞軼事和玄虛清談。魯迅先生曾盛讚道：“記言則玄遠冷雋，記行則高簡瑰奇”（《中國小說史略》）。《世說新語》中所提及的各類人物，無論帝王、將相，或是僧侶、隱士，有的重在形貌，有的重在才學，但都能夠突出表現人物的特點，通過獨特的言談舉止描繪出人物的獨特性格，使之氣韻生動、躍然紙上。《世說新語》的語言簡約含蓄，雋永傳神，透出各種機智和幽默。正如胡應麟《少室山房筆叢》卷十三所說：“讀其語言，晉人麵目氣韻，恍忽生動，而簡約玄澹，真致不窮。”許多成語出自此書，被後世廣泛運用。如拾人牙慧、難兄難弟、咄咄怪事等。《世說新語》對後世有著十分深遠的影響，不僅模仿其的小說不斷出現，而且不少戲曲、小說也都取材於此。
“小說亦如詩，至唐而一變”（魯迅《中國小說史略》）。從中國小說發展史的角度來看，唐人小說是一次質的飛躍。唐人小說數量眾多，僅《太平廣記》一書所收錄的唐人小說就很可觀，單篇40餘篇，專集40餘部，一共約有千篇之數，大體分為兩類：一為傳奇，二為誌怪。唐人小說繁榮發達的原因，除了對魏晉南北朝小說創作經驗的繼承發展之外，與當時的政治昌明、文化發達以及科舉“行卷”“溫卷”之風都分不開。唐傳奇的出現，標誌著我國文言小說的成熟。唐傳奇是指唐代流行的文言小說，作者大多以記、傳為標題，以史家筆法，傳奇聞異事。唐傳奇的發展經曆了三個時期。初、盛唐時代為發軔期，也是由六朝誌怪到成熟的唐傳奇之間的一個過渡階段。作品數量相對較少，藝術表現也還不夠成熟。中唐時代是傳奇發展的興盛期，這一階段名家、名篇輩出。如白行簡的《李娃傳》、元稹的《鶯鶯傳》、沈既濟的《任氏傳》、陳鴻的《長恨歌傳》、李朝威的《柳毅傳》等。但唐傳奇在經過發軔期的準備、興盛期的蓬勃之後，於晚唐開始退潮，出現了由盛轉衰的局麵。雖然此時的作品數量仍不少，並出現了傳奇專集，如裴鉶的《傳奇》，但這些作品大多篇幅短小，內容單薄，藝術和思想都失去了前一時期的光彩。
宋人的文言短篇小說大體可分為三種類型：一是傳奇體，乃唐人小說的餘緒；二是筆記體，是誌人小說的演化；三是誌怪體，是誌怪小說的延續。宋人傳奇小說的總體成就不如唐人。魯迅《宋人之說話及其影響》就認為：“唐人大抵寫時事，而宋人則多講古事；唐人小說少教訓，而宋則多教訓。大概唐時講話自由些，雖寫時事，不至於得禍；而宋時則忌諱多，所以文人便設法加避，去講古事。加之宋時理學盛極一時，因為小說也多理性化了。”總之，宋代傳奇多曆史題材，雖理性色彩更重，但也時有佳作，如無名氏的《李師師外傳》等。此外，宋人筆記特多，是此前從未有過的現象。其中不少為小說或近似小說的作品，如司馬光的《涑水紀聞》、孫光寬的《北夢瑣言》、周輝的《清波雜誌》等。宋代的誌怪小說，多平實而少文采，成就雖不如記錄曆史瑣聞的筆記，但也有幾部頗具影響的作品，如吳淑的《江淮異聞錄》、洪邁的《夷堅誌》等。宋人的文言短篇小說的成就雖不如唐，然而數量與種類繁多，在小說史上也應占一席之地。而且宋人編纂了卷帙浩繁的《太平廣記》，北宋初年以前的眾多文言短篇小說，多賴以保存至今，這也是宋代對文言小說的重大貢獻。
金元時期的文言短篇小說，無論數量、質量都沒有超過宋代水平。但發展線索未斷，而且有一些較有影響的集子，如劉祁的《歸潛誌》、元好問的《續夷堅誌》、陶宗儀的《南村輟耕錄》等。
明代的文言短篇小說雖然不能與同時期的白話長、短篇小說比肩，但是在文言小說發展史上占有重要的一席。明代出現了很多著名的傳奇、誌怪集，如瞿佑的《剪燈新話》、李禎的《剪燈餘話》、邵景詹的《覓燈因話》等。這些集子中有許多文情並茂的作品。另外，某些散文大家如劉基、宋濂也間有若幹小說名篇。
宋初至明末的六百多年間，文言短篇小說大多類似晉唐，然又難以逾越前代。至清代，這一情形大變，文言短篇小說高度繁榮，出現了具有世界影響的《聊齋誌異》，把文言短篇小說的發展推向最高峰。《聊齋誌異》記錄神仙狐鬼精魅故事，“用傳奇法而以誌怪”（魯迅）。《聊齋》的“誌怪”與六朝的“誌怪”的根本區別是：蒲鬆齡“誌怪”而不信“怪”，六朝人則“誌怪”而信“怪”；六朝人“誌怪”是有意無意地宣揚“怪”，而蒲鬆齡的“誌怪”乃是有意寄托於“怪”。《聊齋誌異》有雲：“集腋成裘，妄續幽冥之錄；浮白載筆，僅成孤憤之書；寄托如此，亦足悲矣！”《聊齋》一出，仿作興起，雖無一能與之抗衡，但也各有成就。影響較大的，有袁枚《子不語》、王士禛《池北偶談》等。《聊齋誌異》風行百餘年後，紀昀的《閱微草堂筆記》問世，此書以筆記的形式編寫而成，主要搜集各種狐鬼神仙、勸善懲惡、因果報應等鄉野怪談，以及親身聽聞的奇情軼事。雖與《聊齋》同為文言短篇誌怪小說，但側重記事明理，故事情節欠曲折，人物形象欠豐富，而且議論過多，缺乏《聊齋》那樣濃厚的小說意味，因而文學價值不如《聊齋誌異》。