先秦两汉虽未产生符合小说文体基本条件的作品，但这一漫长的历史时期却是中国文言小说的萌芽阶段。这一时期的《山海经》《淮南子》《穆天子传》《燕丹子》等中的神话传说，《孟子》《庄子》《韩非子》《战国策》中的寓言故事及《左传》《战国策》和《史记》等史传文学，都孕育着小说艺术的因素，为小说文体的形成创造了条件。值得注意的是，由于史传文学极为发达，中国古代早期的小说与历史传记存在着千丝万缕的联系。
魏晋南北朝时期是文言小说发展的童年期。该时期的小说篇幅短小、叙事简单，只是粗呈故事梗概，并且基本是根据传闻加以直录，较少进行艺术的想象和细节的描写。虽有人物性格的初步刻画，但还不能展开。所以还只是初具小说的规模，并非成熟的小说作品。魏晋南北朝小说可以分为志怪和志人两类。志怪小说记述神仙方术、殊方异物、鬼魅妖怪、佛法灵异。志人小说记述人物的言谈举止、奇闻佚事。在中国文言小说史上，魏晋南北朝的志怪小说和志人小说是不可或缺的一环。前者以干宝的《搜神记》为代表，后者以刘义庆的《世说新语》为代表。《搜神记》主要记录神异故事，内容十分丰富，大多篇幅短小，情节较为简单，但充满神奇诡异的色彩，对后世有深远影响，如唐代传奇故事、蒲松龄的《聊斋志异》等都和它有着密切的联系。《世说新语》主要记载魏晋名士的逸闻轶事和玄虚清谈。鲁迅先生曾盛赞道：“记言则玄远冷隽，记行则高简瑰奇”（《中国小说史略》）。《世说新语》中所提及的各类人物，无论帝王、将相，或是僧侣、隐士，有的重在形貌，有的重在才学，但都能够突出表现人物的特点，通过独特的言谈举止描绘出人物的独特性格，使之气韵生动、跃然纸上。《世说新语》的语言简约含蓄，隽永传神，透出各种机智和幽默。正如胡应麟《少室山房笔丛》卷十三所说：“读其语言，晋人面目气韵，恍忽生动，而简约玄澹，真致不穷。”许多成语出自此书，被后世广泛运用。如拾人牙慧、难兄难弟、咄咄怪事等。《世说新语》对后世有着十分深远的影响，不仅模仿其的小说不断出现，而且不少戏曲、小说也都取材于此。
“小说亦如诗，至唐而一变”（鲁迅《中国小说史略》）。从中国小说发展史的角度来看，唐人小说是一次质的飞跃。唐人小说数量众多，仅《太平广记》一书所收录的唐人小说就很可观，单篇40余篇，专集40余部，一共约有千篇之数，大体分为两类：一为传奇，二为志怪。唐人小说繁荣发达的原因，除了对魏晋南北朝小说创作经验的继承发展之外，与当时的政治昌明、文化发达以及科举“行卷”“温卷”之风都分不开。唐传奇的出现，标志着我国文言小说的成熟。唐传奇是指唐代流行的文言小说，作者大多以记、传为标题，以史家笔法，传奇闻异事。唐传奇的发展经历了三个时期。初、盛唐时代为发轫期，也是由六朝志怪到成熟的唐传奇之间的一个过渡阶段。作品数量相对较少，艺术表现也还不够成熟。中唐时代是传奇发展的兴盛期，这一阶段名家、名篇辈出。如白行简的《李娃传》、元稹的《莺莺传》、沈既济的《任氏传》、陈鸿的《长恨歌传》、李朝威的《柳毅传》等。但唐传奇在经过发轫期的准备、兴盛期的蓬勃之后，于晚唐开始退潮，出现了由盛转衰的局面。虽然此时的作品数量仍不少，并出现了传奇专集，如裴铏的《传奇》，但这些作品大多篇幅短小，内容单薄，艺术和思想都失去了前一时期的光彩。
宋人的文言短篇小说大体可分为三种类型：一是传奇体，乃唐人小说的余绪；二是笔记体，是志人小说的演化；三是志怪体，是志怪小说的延续。宋人传奇小说的总体成就不如唐人。鲁迅《宋人之说话及其影响》就认为：“唐人大抵写时事，而宋人则多讲古事；唐人小说少教训，而宋则多教训。大概唐时讲话自由些，虽写时事，不至于得祸；而宋时则忌讳多，所以文人便设法加避，去讲古事。加之宋时理学盛极一时，因为小说也多理性化了。”总之，宋代传奇多历史题材，虽理性色彩更重，但也时有佳作，如无名氏的《李师师外传》等。此外，宋人笔记特多，是此前从未有过的现象。其中不少为小说或近似小说的作品，如司马光的《涑水纪闻》、孙光宽的《北梦琐言》、周輝的《清波杂志》等。宋代的志怪小说，多平实而少文采，成就虽不如记录历史琐闻的笔记，但也有几部颇具影响的作品，如吴淑的《江淮异闻录》、洪迈的《夷坚志》等。宋人的文言短篇小说的成就虽不如唐，然而数量与种类繁多，在小说史上也应占一席之地。而且宋人编纂了卷帙浩繁的《太平广记》，北宋初年以前的众多文言短篇小说，多赖以保存至今，这也是宋代对文言小说的重大贡献。
金元时期的文言短篇小说，无论数量、质量都没有超过宋代水平。但发展线索未断，而且有一些较有影响的集子，如刘祁的《归潜志》、元好问的《续夷坚志》、陶宗仪的《南村辍耕录》等。
明代的文言短篇小说虽然不能与同时期的白话长、短篇小说比肩，但是在文言小说发展史上占有重要的一席。明代出现了很多著名的传奇、志怪集，如瞿佑的《剪灯新话》、李祯的《剪灯余话》、邵景詹的《觅灯因话》等。这些集子中有许多文情并茂的作品。另外，某些散文大家如刘基、宋濂也间有若干小说名篇。
宋初至明末的六百多年间，文言短篇小说大多类似晋唐，然又难以逾越前代。至清代，这一情形大变，文言短篇小说高度繁荣，出现了具有世界影响的《聊斋志异》，把文言短篇小说的发展推向最高峰。《聊斋志异》记录神仙狐鬼精魅故事，“用传奇法而以志怪”（鲁迅）。《聊斋》的“志怪”与六朝的“志怪”的根本区别是：蒲松龄“志怪”而不信“怪”，六朝人则“志怪”而信“怪”；六朝人“志怪”是有意无意地宣扬“怪”，而蒲松龄的“志怪”乃是有意寄托于“怪”。《聊斋志异》有云：“集腋成裘，妄续幽冥之录；浮白载笔，仅成孤愤之书；寄托如此，亦足悲矣！”《聊斋》一出，仿作兴起，虽无一能与之抗衡，但也各有成就。影响较大的，有袁枚《子不语》、王士禛《池北偶谈》等。《聊斋志异》风行百余年后，纪昀的《阅微草堂笔记》问世，此书以笔记的形式编写而成，主要搜集各种狐鬼神仙、劝善惩恶、因果报应等乡野怪谈，以及亲身听闻的奇情轶事。虽与《聊斋》同为文言短篇志怪小说，但侧重记事明理，故事情节欠曲折，人物形象欠丰富，而且议论过多，缺乏《聊斋》那样浓厚的小说意味，因而文学价值不如《聊斋志异》。