先秦兩漢雖未產生符合小說文體基本條件的作品，但這一漫長的曆史時期卻是中國文言小說的萌芽階段。這一時期的《山海經》《淮南子》《穆天子傳》《燕丹子》等中的神話傳說，《孟子》《莊子》《韓非子》《戰國策》中的寓言故事及《左傳》《戰國策》和《史記》等史傳文學，都孕育著小說藝術的因素，為小說文體的形成創造了條件。值得注意的是，由於史傳文學極為發達，中國古代早期的小說與曆史傳記存在著千絲萬縷的聯係。
魏晉南北朝時期是文言小說發展的童年期。該時期的小說篇幅短小、敘事簡單，隻是粗呈故事梗概，並且基本是根據傳聞加以直錄，較少進行藝術的想象和細節的描寫。雖有人物性格的初步刻畫，但還不能展開。所以還隻是初具小說的規模，並非成熟的小說作品。魏晉南北朝小說可以分為誌怪和誌人兩類。誌怪小說記述神仙方術、殊方異物、鬼魅妖怪、佛法靈異。誌人小說記述人物的言談舉止、奇聞佚事。在中國文言小說史上，魏晉南北朝的誌怪小說和誌人小說是不可或缺的一環。前者以幹寶的《搜神記》為代表，後者以劉義慶的《世說新語》為代表。《搜神記》主要記錄神異故事，內容十分豐富，大多篇幅短小，情節較為簡單，但充滿神奇詭異的色彩，對後世有深遠影響，如唐代傳奇故事、蒲鬆齡的《聊齋誌異》等都和它有著密切的聯係。《世說新語》主要記載魏晉名士的逸聞軼事和玄虛清談。魯迅先生曾盛讚道：“記言則玄遠冷雋，記行則高簡瑰奇”（《中國小說史略》）。《世說新語》中所提及的各類人物，無論帝王、將相，或是僧侶、隱士，有的重在形貌，有的重在才學，但都能夠突出表現人物的特點，通過獨特的言談舉止描繪出人物的獨特性格，使之氣韻生動、躍然紙上。《世說新語》的語言簡約含蓄，雋永傳神，透出各種機智和幽默。正如胡應麟《少室山房筆叢》卷十三所說：“讀其語言，晉人麵目氣韻，恍忽生動，而簡約玄澹，真致不窮。”許多成語出自此書，被後世廣泛運用。如拾人牙慧、難兄難弟、咄咄怪事等。《世說新語》對後世有著十分深遠的影響，不僅模仿其的小說不斷出現，而且不少戲曲、小說也都取材於此。