张伯苓退役不久，恰遇严范孙。严范孙是天津社会名流，曾任清末翰林院编修、贵州学政等职，恰巧严氏家馆聘请塾师，他被聘任教，两个先生合教5个学生，他教英文、数理，严范孙教文史。他常对学生们夸赞：“真是万幸，遇到严先生。严先生是当今圣人。”
一
张伯苓在严氏家馆授课过程中，一反私塾的刻板教条，不再让学生死记硬背，而是按照自身体验的新式教学方式，在轻松愉快的氛围中教学。他在授课之余，也非常注重学生的体育锻炼。他专门开设了操身课，即后来的体育课，教学生柔软体操、角力、哑铃、跳高、棒锤等。
尤其是跳高，他在院中放两把长椅，将一根长竹竿架在椅子上，让学生将长辫盘起，撩起长袍衣襟，跑着跳过去。让人耳目一新，实为罕世创举。
他还为学生安排丰富的闲暇活动，如围棋、打旗语、摄影、踢足球、骑自行车等。严氏家馆在他的引领下，已逐渐向新式教育转化。
然而，严氏家馆成立次年，八国联军直逼天津。1900年农历6月16日，列强攻破天津，烧杀抢掠，横尸遍野。张氏全家逃住严家避难，又赶瘟疫，全家先后染疾，他四五岁的一儿一女，无医无药，先后夭折。
1901年，时局稍转稳定，天津“八大家”之一的盐商“益德王”——王奎章，出面聘请张伯苓，为王氏家馆6个学生教授英文、数学等自然学科知识。
从此，他穿行严、王两馆，传道授业，诲人不倦。
1903年，严范孙被提拔为直隶学校司督办，成为直隶地区管辖教育的高级官员。
是年，张伯苓边教学生，边思考为何小日本弹丸之地，却能跻身世界列强？他想到日本揭秘，得到严范孙和王奎章的全力支持。于是他利用暑假，到日本考察了办学的规模和教学方法，深受触动，倍感启发。
回国后，在严、王两位学东为他举办的欢迎宴上，他感慨地说：“考察数日，知彼邦富强，教育振兴为主因。欲救中国，必须从教育着手，欲使教育完善，必须有一正式学校组织。”
次年5月底，严范孙带他二渡日本，探求创办新式学校的模式和途径。到日本两个月的时间，二人结识了多位日本教育家，共同探讨有关学校建设及教科书编纂等问题。
两人回到天津，就雷厉风行地开始筹备建立新式学校的工作。他打算以严、王两家的家馆为基础，建立中学。两家极为赞同，出钱、捐物、提供场地，各尽所能，全力支持他兴办中学。
二
1904年10月17日，一所私立中学堂，在严家的偏院正式建立。张伯苓担任监督，总管学校一切事务，从此，他开始了投身新式学校教学、管理的漫长旅程。
学生来源，以严馆和王馆的学生为主。课程最初为两方面：一是中学，如诗经、国文、历史等；二是西学，如地理、物理、化学、数学、英文等。年底，根据严范孙的意见，学校更名“私立敬业中学堂”，取“肃敬受业”之意。次年，按政府规定，遂更名“私立第一中学堂”。
因为学校声名鹊起，求学的学生很快就超过了一百人。严氏偏院小了。天津一位士绅郑菊茹，主动将自己城南水闸旁一块十余亩的土地捐献了出来。
1911年，清华学校代理总办颜惠庆，聘请张伯苓前去北京担任清华学校的教务长，总揽清华学校的校务。
尽管清华的办学条件明显好过私立第一中学堂，但是，张伯苓并不愿意放弃自己在天津开创的这番事业，因此，只得京津两地奔波。他曾经风趣地对人说：“我是个保姆，同时抚养两个小孩儿。”
在清华任职半年之后，他还是辞去了让人羡慕的教务长一职，专心经营自己的学校。虽然他在清华任职时间不长，但清华推行的美式教育却为他打开了思路。他尝试着将其引入私立中学，并取得了一定成效。
同年，直隶提学使傅增湘饬令，把天津客籍学堂和长芦中学堂，并入私立第一中学堂。同时，把原本拨给这两所学堂的经费，一并拨了过来。
接受了公款后，私立第一中学堂就改名为公立南开中学堂，一是表明资金来源，二是表明学校所在地。所谓南开，实是它位于天津城西南一块洼地的意思。
三
民国初年，天津近代工商业初兴。张伯苓敏锐地察觉到社会需要高等人才，于是下定决心为南开中学的优秀学子，创造一个继续深造的机会。
他想建立私立大学，但是却无可借鉴。而南开学堂自1904年创办，到1917年学生已满千人，中学教育日臻完善。他通过观察分析认为：“普通教育，仅为国民教育之初步，创办高等学校，乃是国家发展的根本大计。”
于是，他决心先去美国考察学习。1917年，他到了美国哥伦比亚大学师范学院研修高等教育。得到著名教育家杜威、克伯屈、桑代克等人的指导，而他也抓紧时机，学习了教育学、心理学、教育哲学、教育行政等课程。
他还拜访了一些知名的教育学家，如凯尔鲍德里教授，两人就中美教育进行了深入交流。凯尔鲍德里教授认为，中国的学校应该向学生灌输一些共和思想，以树立民主观念和公共群体意识，抵消长期以来封建思想的影响。这番话，振聋发聩，刺痛了他的灵魂。
第二年8月，严范孙与范静生赴美，他选择与两人同行，遍游美国各地，考察了许多私立大学的组织和办学情况。
12月，他随严范孙归国。不久，他就凭着自己极强的开拓进取精神和服务意识，雷厉风行地组织起南开大学筹备委员会，开始规划设计校园、宿舍、教学楼等具体事务，同时，四处奔走，喜获徐世昌、黎元洪等人和天津士绅的大力支持，开始筹募创办大学的经费。
1919年春，大学教室在中学南端空地上破土兴建，秋季建成。教室落成，9月5、6日，举行了大学新生入学考试，25日正式上课。
南开大学创办伊始，他专请留美多年的凌冰博士，作为大学部主任。除开设文科外，另设理科和商科，后来改称文、理、商三个学院。那时，其他私立大学均只开文、法科。南开大学，率先设置理、商两科，开了私立大学教育的先河。
他通过慎重考虑，在学科设计上希望培养学生主动适应社会的能力，因此有了“以政治经济为主干，以历史哲学及教育心理三系附之。如此学生即可专其所学而致实用之效”。
他早在美国研修教育学的时候，就开始留心为南开大学物色教师人才。很多中国留学生归国后，就被邀请到南开任教。因此，南开大学成立不久，教师群体就架构完成。
他还千方百计为有潜力的教师创造深造机会。他曾用美国罗氏基金，将化学系的杨石先教授送到美国攻读博士，杨获得博士学位后，毅然谢绝高薪，重回南开任教。
被誉为“中国物理学之父”、台湾科学院院长的吴大猷，在1994年南开90周年校庆时说：“大猷1921年入校，中学4年，大学4年，任教2年，60余年以来，求学、为人、就业，从未有违伯苓校长教诲的南开精神。”
吴大猷曾吐露心声：“张伯苓校长在声望、规模、待遇不如其他大学的情形下，藉伯乐识才之能，聘得年轻学者，予以研教环境，使其继续成长，卒有大成。这是较一所学校藉已建立之声望、设备及高薪延聘已有声望之名家，更为难能可贵得多。前者是培育人才，后者是延揽现成的人才。从这观点看，南开大学实有极高的成就。”
南开大学的兴办和发展，并不意味着张伯苓兴办教育的终结，建立完整的南开教育体系，才是他兴办教育的宏伟抱负。
1923年，他建立了南开女中；1928年，他又兴致勃勃地在女生校舍对面，修建小学校舍，设立了小学部；1927年和1932年，更是先后创办了南开经济研究所和应用化学研究所，从而，形成了完整的南开教育体系。
四
1934年，南开创办三十周年。在校庆纪念会上，张伯苓面对师生宣布“公”和“能”作为南开的校训。
他对全体师生说：“南开精神——即允公允能，日新月异。允公，是大公，而不是什么小公，小公只不过是本位主义而己，算不得什么公了。惟其允公才能高瞻远瞩，正己教人，发扬集体主义的爱国思想，消灭自私的本位主义。”“允能者，是要做到最能。要建设现代化国家，要有现代化的科学才能。而南开学校的教育目的，就在于培养具有现代化才能的学主，不仅要求具备现代化的理论才能，并且要具有实际工作的能力。”“所谓的日新月异，不但每个人要接受新事物，而且还要能成为新事物的创始者；不但能赶上新时代，而且还要能走在时代的前列。”
南开教育，就是要培养和训练学生具有为社会、为国家所需要的各种“能”，这个“能”蕴含丰富，如智能、技能、才能、体能等。他还鼓励学生以“干”为手段，实干、苦干，达到获得各种“能”的目的。
转眼30年，南开学校的校产总值约为三百多万银元，其中校舍一百多万，地皮七十多万。与同时期的二十所私立大学相比，南开大学接受国家补助金额仅次于中法大学，名列第二。它所接受的社会捐助也居于私立大学的前列。这样的成绩，与他的“化缘兴学”功不可没。
南开采取的是校董会下的校长负责制。1932年，校董事会的董事为严智怡、颜惠庆、陶孟和、胡适、李组绅、李琴湘、卞俶成、王秉喆、丁文江九人。校董就是南开的“财东”。
从张伯苓的言行中，后人们对其创业的艰辛，自然可以有更多地认识和了解。他说：“四十多年来，我好像一块石头，在崎岖不平的路上向前滚，不敢作片刻停留。一块石头只须不断地向前滚，至少沾不上苔霉，我深信石头会愈滚愈圆，路也会愈走愈宽。”
他为南开挣下数百万产业，却从没在自己身上乱花过一分。他不肯坐汽车，仅有一辆南开同仁共用的人力车。一次他去开会，散会后服务员问他公车号，他笑着说11号，服务员找来找去也没找到。回来只看到了他渐行渐远的背影，这才领悟其中的含义。
每次去北京，他总住在前门外施家胡同的北京旅馆。学生们深情地回忆说：“该旅馆价格便宜，每日一元。先生去时，每次带一盒臭虫药，一包茶叶。北京旅馆的臭虫很多，永远欢迎客人。臭虫药是必需的防敌设备。另外张先生自带一包茶叶，因为旅馆的茶叶实在太劣，太要不得，这一包茶叶是张先生唯一的奢侈品。”
他从传授“新学”的家馆起步，办起了南开中学、南开大学、南开女中、南开小学和后来的重庆南开中学，为国家培育了众多杰出的人才，所有的人都尊敬地称他为：“南开先生！”