曾國藩回家守喪，三軍無主，鄉居期間，各種指責紛至遝來。有人說他一味蠻幹，沒有真本事，借口奔喪伸手要權，便以守製為名不出山，與平時大講忠君愛國，護衛名教的君子身份很不相稱。
羅汝懷公開說：“奪情之事，宜分輕重緩急，喪父是一家的私事，喪亂是天下的大事，作為臣子不得棄公而不顧。滌生如今四海屬望，怎能和鄉下愚夫一樣固守常規？兩次奪情，從去所無。”
好友吳敏樹寫信給他說：“如今洪逆尚未平定，大軍還在前線作戰，回家奔喪，已屬不忠！”
胡林翼批評他說：“曾國藩做京官做慣了，不能與同僚和平共處，離不開官場，又不能適應官場，圓滑不夠，不會應酬，不會做官。”
左宗棠對曾國藩的這種做法意見最大，在駱秉章麵前說他不對，還到處散布消息，說曾國藩不是一隻好鳥，臨陣脫逃，無能自私，躲在家中做縮頭烏龜。
左宗棠的臉色就是晴雨表，他的言行就是湖南官場輿論，三湘官員亦群起而攻，曾國藩成了過街老鼠。他心知理虧，百口難辯，隻能悶不吭聲。他出荷葉塘散步，村中婦女老漢也對他指指點點，讓他非常難堪。他夜不成眠，脾氣變得很壞，常常因為小事遷怒幾位弟弟，經常罵曾國華、曾國葆、曾國潢等人。曾國藩恨死了左宗棠，發誓不跟他說話，也不跟湖南官場來往。
好友歐陽兆熊知道他的病根所在，特地從新寧趕到湘鄉給他治病。曾國藩心事重重，頭昏眼花，經常失眠。他對歐陽兆熊說：“別人指責規勸，我都可以理解，唯有左季高在長沙的所作所為，讓我耿耿於懷！”
歐陽兆熊說：“左季高與你平生相知，滌生過去所采取鐵血手段，殺人太多，有些做法確實不妥。”
曾國藩苦笑了幾下說：“亂世之中不多殺幾個人，能平亂嗎？”