自1903年以来中国政局一直混乱，动**不安，在此期间南开的学校体系迅速地、按部就班地发展、完善起来，这在很大程度上应归功于两位领导人——严修与张伯苓亲密无间的合作。他们是中国最优秀的智慧与道德传统的最名副其实的代表。
——何廉：《何廉回忆录》
张伯苓献身教育是从严范孙的家馆开始的。严范孙即严修，与张伯苓一样希望通过办教育兴国。两人一见如故，严范孙当即礼聘张伯苓来家馆授课。其实，张伯苓从立志“教育救国”到真正走上三尺讲台，又是一次人生的大跨步。因为当时天津风气未开，启蒙教师是受人鄙视的职业，当时的天津小调唱道：“最可悲是教书匠，命苦作何商？……不够吃饭只可吃糠，半饥半饱度时光；家有三担粮，不做孩儿王。”[3]面对世俗的偏见和周围人的反对，张伯苓顶住了压力，毅然来到严氏家馆，教授英文、算学、理化等课程。
初为人师的张伯苓展示出独特的教育才华。他不像一般的塾师让学生死记硬背，也不用师道尊严束缚学生，而是用幽默趣味的讲解和自制的教具，将西学课程讲得有声有色，大受学生欢迎。胡适在论及张伯苓在严馆的教学时说：“我的朋友陶孟和——中央研究院社会研究所所长——就是严馆时代的一个学生。他对我讲，伯苓先生的教学方法，即使早在那个时期就很可以称作‘现代教育’。他是一位很好的‘西学’教师——英文、算学和自然科学。他对学生的体操很重视。他回忆上水师学堂时做体操用的哑铃和棍棒，画出图样，让木匠定做了给他的学生练习。他同学生们在一起玩，并且教他们各种操练和室外运动，如骑自行车、跳高、跳远、踢足球。……这种承认科学和体育在教育上的地位，这种师生间自由民主的共同教学和游戏，显露出年轻的张老师是中国现代教育的一位创造者。”[4]
为了学习外国的教育制度，1904年，张伯苓与严范孙东渡日本，探索创办新式学校的模式与途径。回到天津以后，严馆和王奎章的家馆合并，成立私立中学堂，即南开中学的前身，张伯苓任监督（即校长）。从此，张伯苓的教育实践进入了一个新的阶段。
自身受教育的经历使张伯苓认识到，当时中国教育的主要缺陷是纯灌输式的教育模式，使学生成为书本知识的俘虏。因此在他的教育活动中，特别讲究知识的“活化”，而极力避免硬性死板的灌输。早在建校初期，张伯苓就设立了“修身班制度”。与当时其他学校的“修身班”不同，张伯苓不是照本宣科儒家格言，而是采用演讲的形式，在每周三的集会上演说国内外大事。他语言风趣，通俗中蕴涵哲理，学生们听得津津有味。为了说明“聚者力强，散者力弱”的道理，他在集会上经常表演“拉绳子”：让一位小同学上台拉住绳子的一端，几位大同学各执另一端，分别向不同的方向拉，结果小同学“稳如泰山，岿然不动”；再让大同学合拢起来往同一个方向拉绳子，小同学轻易就被拉过去了。然后，张伯苓问大家：“你们都懂了吗？分则易折，合则难摧。”学生们都会心地笑起来。
张伯苓对学生们的教育往往是在潜移默化中进行的。南开中学要求学生仪容整洁大方，有的学生学古代名士派头，不修边幅。张伯苓看到后对他们说：“你要是名士，你须有名士的智慧学识。假若你没有名士的条件，而你肮脏恶臭硬要学名士，学校绝对不允许。”[5]因此南开的学生统一身着草绿色的校服，显得格外精神。美国哈佛大学校长伊利奥博士曾到南开参观，见到学生朝气蓬勃的精神面貌，询问张伯苓的教育之道，张伯苓笑而不语，领他到学校入口处，只见那里竖立着一面大穿衣镜，上书40个大字：“面必净，发必理，衣必整，纽必结。头容正，肩容平，胸容宽，背容直。气象：勿傲，勿暴，勿怠；颜色：宜和，宜静，宜庄。”镜子和箴言如同无声的教师，学生进出校门整理仪容成为学校的风气。
身教重于言教，张伯苓凡事以身作则，身体力行，用自己的人格力量对学生形成巨大的感召。南开学校的师生一直津津乐道于张伯苓戒烟的故事。民国初年，有一次他严厉斥责一位违反校规抽烟的学生，谁知这位学生不服气地顶撞说：“先生不也抽烟吗？你能抽烟我为什么不能呢？”张伯苓一时说不上话来，半晌，他拿出随身携带的烟袋，一撅两截，坚定地说：“我不抽，你也别抽！”果然，从此之后，张伯苓再没有抽烟。正如他常说的：“正人者，必先正己。要教育学生，必先教育自己。”张伯苓正是这样赢得了无数学生的尊敬和爱戴。
