同治二年八月，彭玉麟率水師打下九洑洲的時候，程學啟已經攻克青浦，李鴻章派黃翼升率淮揚水師到浙江助戰，江浙清軍士氣大振。
李鴻章在上海與英國海軍司令何伯套上交情，又與洋槍隊首領華爾扯上關係並許以重金，華爾遂為李鴻章所用，協助淮軍打仗。在嘉定、青浦等地，都可以看到洋槍隊的身影。程學啟先後攻下常熟、太倉、昆山，淮軍捷報頻傳，得到朝廷獎賞，李鴻章署江蘇巡撫。
哪知華爾到處張揚，自認為天下無敵，在戰場上不把太平軍放在眼裏，在攻打浙江慈溪的戰鬥中，被太平軍亂槍打死，洋槍隊由副隊長白齊文接管。白齊文與華爾性格不同，他認為洋槍隊是他的私人武裝，他重新定下規矩：清廷不給銀子，洋槍隊就不出來作戰。
白齊文三天兩頭找曾國荃索餉，曾國荃給了他一筆錢，白齊文還不滿足，擾得曾國荃性起，要跟白齊文單打獨鬥，聲稱：“贏了老子手中鋼刀，要多少銀子都給。”
李鴻章怕白齊文將事情鬧大，叫他馬上到上海去領取。白齊文這才罵罵咧咧地離開南京，率軍回到上海。
淮軍攻打蘇州，李鴻章催促其出兵，白齊文就去找上海道楊坊索要四萬兩銀子的開拔費。楊坊對此意見很大，說白齊文違反了華爾當初簽訂的協議。白齊文不吃這一套，將他痛打了一頓，聲稱要去投奔太平軍。楊坊被迫給了他四千兩銀子，隨後將此事給李鴻章做了匯報。李鴻章大怒，將白齊文痛斥了一頓，下令解除了白齊文官職。
曾國藩派郭嵩燾去上海處理此事，郭嵩燾到安慶糧台領取一筆銀子，到上海會見了白齊文，讓他寫了一張收條，同時要他將毆打朝廷官員的經過寫了出來。白齊文不會寫中文，郭嵩燾叫人寫了一遍，讓白齊文簽字畫押，這才算了結。白齊文拿到了銀子以後不辭而別，到蘇州去投奔李秀成。李秀成大喜，將白齊文奉為上賓。