1919至1992年间，美国教育家约翰· 杜威、保罗· 孟禄先后来中国，陶知行是主要接待员之一。陶知行对于引进美国实验主义新教育方法和“六、三、三、四”制新学校制度，曾起过一定的作用，对当时的封建、陈旧的教学方法和教育制度的改革是有其积极意义的。
1921年12月下旬，中国教育界的“新教育共进社” “新教育杂志社” “实际教育调查社” 三个教育学术团体合并改组为“中华教育改进社”，陶知行参加筹备，并担任《简章》的起草委员。1922年初，陶知行被聘任为中华教育改进社主任干事。1923年，陶知行辞去东南大学职务，专任中华教育改进社主任干事，全家迁居北京。在此期间，陶知行在当时出版的《新教育》杂志上发表多篇论文，批评传统教育，提倡教育改造，对于中国新教育运动产生广泛的影响。
陶知行受着“五 四运动” 民主与科学思潮的影响，更因他早有为平民办教育的夙愿，远在1920年他在南京高师任教育科主任时，曾举办过第一次暑期学校，接受中、小学教师，学习新教育方法。他又发动留校学生对学校附近的平民进行识字教育。他自己也亲自接近平民，教他们识字，并同车夫、小贩们亲切地谈话。同事曾问过他：“你有什么抱负？” 他回答说：“我的志愿就是要用四通八达的教育，来创造一个四通八达的社会。”
陶知行是最早发动平民教育运动者之一，1922年和朱其慧、晏阳初等发起组织中华平民教育促进会，亲自编写《平民千字课》课本，并亲自到一些省、县推行平民教育，开办平民学校。
20世纪20年代前后，中国内有封建军阀割据，外有帝国主义侵略，而封建军阀又勾结帝国主义来统治。在这样的社会中，单靠“用四通八达的教育，来创造一个四八达的社会”，是办不到的，也行不通的，因此，平民教育运动受到了挫折。这样一个现实问题，给予陶知行以深刻的教育。
三
陶知行在城市推行平民教育几年之后，得不到预期的效果，使他认识到中国教育改造，必须适应中国社会环境。当时，中国社会是“以农立国”，中国人口有八分之七在乡村，他认为改造乡村教育，普及农民教育，可以改造乡村社会，因此教育必须下乡，要开辟乡村教育的道路。1926年，中华教育改进社推动乡村教育运动，陶知行起草《中华教育改进社改造全国乡村教育宣言书》，并发表《中国乡村教育之根本改造》《我们的信条》等文章，推动乡村教育运动。在《宣言书》中提出：“我们已经下了决心要筹募一百万元基金，征集一百万位同志，提倡一百万所学校，改造一百万个乡村。” 在《根本改造》一文中说：“中国乡村教育之所以没有成效，是因为教育与农业都是各干各的，不相闻问”，“所以第一要教育与农业携手”。 在《我们的信条》一文中说：“我们深信乡村学校应当做改造乡村生活的中心”，“我们深信乡村教师应当做改造乡村生活的灵魂”；“我们深信乡村教师必须有农夫的身手，科学的头脑，改造社会的精神”。
