曹操基本上統一北方後，緊接著就在冀州造玄武池，用來訓練水軍，積極做著南下的準備。諸葛亮把這個消息告訴了劉備，並要求秘密派人過江去探聽虛實。劉備立即派了人去。
諸葛亮接著要籌劃如何增強劉備的兵力。因為當時劉備隻有數千名士兵，根本連荊州都無法守住，更不要說與曹操爭霸天下了。他想到現在荊州的百姓人數並不少，但多是逃難至此，真正有戶籍的人卻不多，每逢遣兵發調都是當地有戶籍的人，使得百姓們深感不公，抱怨不已。於是他就向劉備建議頒布命令，使那些沒有戶籍的流動人口自動申報寄居，再重新統計出精確的人數，以便於按照要求征收兵員。劉備立刻聽從諸葛亮的建議下令，又招了幾千人。諸葛亮每天早晚教他們練習陣法。在段時間內，便把軍隊由數千人擴大為數萬人。
諸葛亮的政治才能使他更加受到劉備的尊重和信任，劉備曾感慨地對自己的部下說：“我得到孔明，就像是魚得到水一樣。”
這時的荊州內部，長久以來存在的爭位矛盾激化了。荊州牧劉表有兩個兒子，長子名琦，幼子名琮。劉表有一個非常受寵的繼室蔡氏，蔡氏的哥哥蔡瑁是劉表的得力之臣，劉表事事都要仰仗蔡瑁。因此蔡家的勢力很大。蔡氏經常在劉表麵前稱讚自己的親生兒子劉琮而貶低劉琦，加上劉表本人又比較疼愛幼子，還親自作主將蔡瑁的女兒許配給劉琮，因此劉琮在荊州的地位比劉琦還要高。為了讓劉琮能名正言順地繼承劉表的位子，蔡氏一邊在劉表麵前說劉琦的壞話，一邊暗中加緊殘害他。為此，劉琦深感不安，他幾次向諸葛亮請教自處之道，但是諸葛亮總是笑而不答。
一天，劉琦想了一個計策，把自己和諸葛亮單獨關在一間閣樓上，然後命令手下將樓梯撤走。他誠懇地對諸葛亮說：“今日我們在此相聚，上不著天，下不著地，除了你我之外不可能有人聽到我們的談話。我懇求你，為我指點迷津。我很惶恐，不知所措。”