这一时期，他既是中华教育改进社、中华平民教育促进会的领导人，同时还担任了中华教育文化基金会理事（主任委员）。下面从拙著的年谱中摘录有关事项如下：
1921年12月23日在北京有孟禄参加的情况下，新教育共进社、《新教育》杂志社、实际教育调查社联合组成了中华教育改进社，并成为其规章起草委员。
1922年2月就任改进社主任干事，组成南京平民教育促进会。1923年8月21日，在北京召开改进社年会。26日中华平民教育促进会总会成立，当选为理事会书记，晏阳初为总干事。8月辞去东南大学教授，为指导平民教育访问全国各省。陶家从南京迁居到北京。1924年在北京市内开设了数所“平民读书处”，并继续访问各地。这一年及第二年连春节也未回家。1925年9月，中华教育文化基金会在北京成立，就任主任委员。12月4日，改进社创刊《新教育评论》（周刊）。1926年，接受改进社的再三恳请，仍任主任干事一职。
年谱类文献中所记载的这一时期陶的事迹方面有一个问题，即“平教会”（平民教育促进会总会）作为改进事业的一环，它与改进社事业的关系，陶与晏阳初的关系都鲜有涉及。关于这类，谨将年谱1925年的有关记述摘录如下。
1925年，34岁……秋，晏阳初就任平教会（总干事）一职已满一年。这一年里，（陶晏二人）思想、步调不一致，渐渐出现分化。陶向（改进社）理事会提议，把平教会分离出来，平教会以后在改进社内不承担任务，平教会不属于改进社事业。这年秋天，通过了两者分离的决议。陶和朱其慧女士决定以后禁止晏参加改进社活动。
平民教育运动以全国主要城市的工商业劳动者为对象。在运动开展过程中，陶和晏曾一度成为同僚，而后两人思想步调不一致出现分化。因此，有必要探究其具体原因。如果按照年谱⑤的记述，两人是1925年秋决裂的。一个问题是，陶在当时曾一度离开改进社后，又回到该社继续任主任干事。
有关此事的原委，在陶逝世后，其长子陶宏曾有以下的说明。
在北平的时候，父亲不知道为什么一度离开了中华教育改进社：而改就任美国教育文化基金会的工作，大概有半年至一年的样子。在这时期内，我们的生活很舒服，因为收入相当丰富，父亲的工作也清闲。后来大概又因为改进社再三挽请他的缘故，于是又辞去待遇高的基金会工作，而回到待遇低但却能做实际工作的教育改进社。（《陶行知先生纪念集》）
前述年谱⑤，同是1925年事项，又有这样的记述。
陶有一个时期辞去改进社主任干事之职，就任中华教育文化基金会理事，负责义和团赔款的分配和管理。经改进社再三邀请，久辞不下才返回改进社。
这一记述值得推敲，究竟“为什么一度离开”改进社，其原因必须探明。在城市，平民教育运动在1925—1926年由几乎停滞转向终息。陶于1927年3月在南京郊外创设晓庄师范。稍后，于1929年初，晏将平教会本部移向河北省定县。而20年代后半期的历史背景是：1925年发生了上海工人反对帝国主义的大罢工（“五卅”事件），1926年北京学生请愿遭到北洋军阀政府的镇压（“三一八”事件）等。1926年3月18日，鲁迅对北师大女学生的牺牲表示极大的愤慨，并把这天记为“民国以来最黑暗的日子”。“三一八”事件，对在北京军阀政权下活动的知识分子的去留，产生了深刻的影响。
在研究中国的学者中，有人曾发表文章论及陶行知与晏阳初之间的关系。如刘琪《平民教育运动中的陶行知》（安徽省《行知研究》第8期，1983年5月）。
