当上教师我就想，要通过自己的努力，让学生从小就理解这一点，长成有用的人才，担负救国救民的重任。我不能走我父亲以教书谋生的老路，要与他同行不同路。
——徐向前：《徐向前回忆录》
两年的师范学习生涯很快就结束了，赶在第二个五四运动纪念日之前，徐向前正式从山西国民师范学校毕业。走出校门的那一刻，徐向前心里依然有些恋恋不舍。想当初刚走进来时，他身材瘦小，浑身乡土味，加上高小尚未毕业，对外界一无所知，很不受那些城里的同学待见。还好，徐向前把精力集中在学习上，功课每期都是一流，如鱼得水；加上五四运动的洗礼，对思想有很大冲击，他再也不只热衷于读小说了，开始关心社会政治，阅读与政治形势有关的书刊，开阔了视野，他相信自己可以“应付”那些孩子们。徐向前很快就被分配到阳曲县的太原第四小学任教，重新踏进了校园。
徐向前所教的班是一年级，有30多名新生。这些娃娃来自不同门户，家庭情况不一，男生女生不同，年龄大小也不一致，智力不齐，性格各种各样，要把他们都教好有很多困难。“孩子们像田间的禾苗一样，小苗是很弱的，经不起强风和暴雨；然而，小苗又是有生命力的，它要在风雨中成长。这就需要教师精心培育，付出艰辛的劳动。在他们当中，说不定有未来的国家栋梁。”[1]徐向前很快认识到，从学生到先生是他人生道路上的一个转折，要开始承担一部分社会责任——启蒙者的责任。
徐向前想把课教好，每天天不亮就起床。30多个孩子，有的不来上课，他就跑到孩子家里去查问明白；有的孩子在课堂上生了病，他会抱起生病的学生将其送回家。有时，他不是按部就班地讲课，而是讲些励志的小故事，引发学生学习的兴趣，而且多讲些课外的知识，拓宽学生狭隘的视野。孩子们听得津津有味，徐向前也讲得兴致盎然。孩子小，难免犯些小错误，对孩子们的错误缺点，徐向前从来不是简单地批评，而是细致耐心地讲道理，分析原因，启发学生。他清楚地记得师范学校老师的教导：“师范，师范，出去之后，一切得为人师表，对高小课程要会讲、会示范。”
转眼数月过去，学校放了寒假。徐向前第一次用自己的工资办了年货，满心欢喜地回到了五台县老家。一家人欢欢喜喜过了新年，谁会想到，正在徐向前准备返校时，邮差送来一封信，他拆开一看惊呆了，竟然是太原四小校长署名的辞退信！真是晴天一声霹雳，徐向前被震得有些头晕，心里十分委屈：苦口婆心教学生，彬彬有礼对待校长和同事，从没得罪过任何人，没少上过一节课，怎么就落得这个下场呢？姐姐是急性子，说要找学校去，徐向前说：“什么讲理不讲理，人家就是不要你了。”
与徐向前村子一河之隔的河边村，有阎锡山创办的中学和附小，老父亲四处托人，给儿子在这所附小谋得了教职，教小学六年级。命运好像注定：这一生就要像父亲，教书的路走定了。从此，徐向前早起晚睡，备课认真，上课专心，生怕得罪了什么人再次失业。
他教书一向不喜照本宣科，喜欢讲点学生愿意听的故事。这期间，在他思想中，打倒军阀、改造中国的愿望更加强烈了。教学中，他常讲鸦片战争、南京条约、义和团运动、八国联军进北京、辛亥革命、巴黎和会等历史故事，引导孩子们认识中国、认识社会。这些故事孩子们很愿意听。然而风声传到校长段葆藩的耳朵里，徐向前被叫去训话。徐向前认为学校无理，当面和校长争了几句，结果校长留下一句话：“你不好好教书就走吧！”
