從京城回到天津後,李鴻章就開始著手組建北洋水師的基本構架。他首先調潘鼎新入津,讓他協助自己負責北洋水師的籌建和天津海防事宜。接著,李鴻章給已經升任江蘇巡撫的丁日昌去信,讓他親自坐鎮,督促江南製造局盡快建造出更大、更先進的戰艦,以及各類槍炮武器等。而後,李鴻章親自在淮軍中挑選了一批青年才俊,讓丁汝昌帶領前往歐洲學習海軍、海防知識,並令丁汝昌趁機在歐洲各國,打探看有無國家肯出售鐵甲艦給大清。李鴻章對丁汝昌的期望極大,等同於把自己畢生想籌備新式水師的夙願,交由丁汝昌去幫他完成。
在朝廷得知了沙俄野心,確定入侵新疆和東北的確切消息後,以慈禧太後為首的頂層統治者們,心生危機緊迫之感,於是便徹底放權給李鴻章,好方便他盡快在京津一帶,組建起能夠拱衛京師的強悍軍隊。得益於此,李鴻章很快就把直隸府轄地內的主要官員都換成了他的親信,這更加有利於他放手去完成自己的一些策略。在北洋水師的籌建上,由於暫時沒有那麽多鐵甲艦可以使用,李鴻章隻能先行使用木帆船進行練兵,在遼東半島、環渤海沿線、膠州半島之重要位置,建立了數做沿海軍鎮。在此大力建設以海岸炮台和海上艦隊互為表裏的立體防禦海口要塞。
在每一沿海軍鎮,先各練精兵兩千人,一半人在岸,一半人在海,每半年一輪換,形成“陸上有虎”、“海中有龍”,水陸相聯之勢。經過短短幾個月的發展,李鴻章大力籌建的北洋水師,盡管還極度缺乏新式鐵甲艦,但是其基本框架已初見雛形,這一成就也讓李鴻章很是滿意,對於將來的三洋水師建設更是信心滿滿。
同治十一年,春節剛過,李鴻章就接到了一個很不好的消息,曾國藩的病情日益加重,眼看就要大限將至。接到這個消息後,李鴻章剛剛安排好一切公事,想要盡快趕到江寧,去見自己恩師最後一麵。可是還未成行,一件突發事件又打亂了他的計劃。日本單方麵宣布,大清的藩屬國琉球群島已被並入日本。麵對日本這一**裸的挑釁,慈禧震怒,責令恭親王全權處理此事,李鴻章負責協助辦理。並告訴二人,不惜一切代價,務必不能讓日本侵吞琉球群島得逞。