张伯苓的祖先原是山东人，清初举家迁天津河东。驾楠木船贩粮油杂货起家，家业渐臻小康。
到他的祖父张虔手上，开始弃商习儒，然而却屡试不中，疯癫早逝，年仅38岁。
他的父亲张云藻，因是独子，所以继承家业后家财丰裕，只是醉心骑射、酷爱音乐，吹拉弹打诸多乐器无不精通。尤善琵琶，津人称“琵琶张”。
张父因喜音乐，又不计金钱，家道渐衰。为了生计，张父设帐收徒，却少人来习，无奈只好出访家馆。家财**尽，未能立业，张父暗自愧悔，决心让子女受良好教育，学一技以立世，重振家业。
到张伯苓6岁，家境不济，请不起私塾，又借读家馆，后家馆告停，张父遂托人，让他进义塾学习。当时义塾，专收穷家子弟，塾中每天给每个儿童一二两面食，发少量笔墨纸张。
他一进义塾就遭到了许多富家子弟的白眼和讥讽，但他不为所动，且抗辩争斗，富家子弟胆怯，皆服他豪侠。随着学习长进，他十分反感八股文。
1891年，他16岁，考入北洋水师学堂航海驾驶班，开始学习“新学”。他进入北洋水师学堂，如鱼得水。勤奋用功，猛习近代科学知识，节假日也抓紧学习，每次考试都名列前茅，成为了航海驾驶班的优秀学生。按章程规定，驾驶班学生在堂学4年，上船学船艺1年，回堂学3个月，再上船，学3个月。考试合格，派上舰船服役。
1894年，包括他在内的18个同学，被派往北洋水师舰队实习。当时，正值中日甲午海战。他随北洋水师舰队参战。9月17日，日海军袭击北洋水师，双方互有损伤，他又随舰队退守威海卫。次年1月，日海陆夹击威海卫，战斗中，他随北洋水师舰队迎战，第一艘兵船刚出海，就被日舰击沉。他只好含恨饮泪，与众人返师归里。
那年他才19岁，在这惨重打击下，愈加激发了心底强烈的爱国热忱。1895年9月，他从北洋水师航海科第五届毕业。
1896年，他被派上通济舰服役。这年2月21日，他奉父母之命，与王淑贞结婚，媳妇身材高大，且年长3岁。婚后，媳妇敬夫孝老，贤惠勤劳，成为他娇好的贤内助。
他到通济舰服役的第二年，众列强乘甲午败绩，妄图瓜分中国，清廷不得不派大员到山东办理相关接收和转让手续。他作为年轻的海军佐官，随舰前往，之后他亲眼目睹了丧权辱国场面。
从威海卫归来，他义愤填膺，痛透灵魂，认为自己在海军报国无望，毅然从海军退役。21岁的他拒任都督衙门翻译一职，陷入苦闷彷徨，他究其根本，认定只有从教育入手，创办新教育，造就新人才，方能自强图存！