茫茫乾坤歸何處？曹雪芹思前想後，看來京城內是決計待不下去了，隻有出城了。那麽，舉家歸營吧！原來清朝時候，凡是在旗的人，在外邊混不到事由了，唯一的歸宿就是拔旗歸營。
清兵入關，曾瘋狂實行圈地，除了皇室占有的稱皇莊，官僚貴族占有的稱官莊，一般旗人所得的分地則稱旗地。
北京西郊所圈占的旗地，按八旗的名稱劃分區域，每區都設有專人管理，稱為旗營。原屬於哪一旗的人，拔旗歸營後就隻能回到哪個旗的旗營內。曹家隸屬正白旗。
在一個風雨飄搖的秋日，曹雪芹打點行囊，攜著妻子回到西郊香山附近正白旗村落了腳。曹雪芹初到香山時，按照旗營的規定，每月尚可以領到四兩月例銀，每季支領一石七鬥米石、鬥，古代容量單位，10 升等於1 鬥，10 鬥等於1 石），另分草房三間。
這點兒進項，生活用度自然很拮據。不過，這裏沒有城裏的喧囂，沒有烏煙瘴氣的人事糾紛，倒也落個清靜。
清秋時節，香山一脈楓葉染丹，與黃櫨樹金色的樹冠錯雜交織，遠遠望去，像一副織錦掛毯。
正白旗村滿種的也是黃櫨樹，如果站在山頂往下看，就像誰撐起一把金傘，故又稱黃葉村。敦誠在《懷曹雪芹》詩裏曾詠道：
勸君莫彈食客鋏，勸君莫扣富兒門。
殘杯冷炙有德色，不如著書黃葉村。
這些詩句，正是對曹雪芹拔旗歸營回到西山後的思想和生活風貌的寫照。
他的《石頭記》在右翼宗學裏並沒有寫完，一些已經寫下來的章回，還有不少地方空著待補。曹雪芹的創作態度一向是很嚴肅的，一句詩斟酌未穩，一個情節甚至一個細節還沒有十分把握，他就空起來，待思慮成熟之後，再回頭補上。
他是經曆過大富大貴的人，但在飽經滄桑以後，已經體會到這人間的悲苦、世態的炎涼。他開始對過往的一切重作思考，重新評價。