1926年，陶知行为了实现他的理想，受中华教育改进社的委托，和东南大学教授赵叔愚筹备创办试验乡村师范学校，后来改名为晓庄学校。校址选在南京北郊劳山（原名老山）脚下的一个小乡村，原名小庄，陶知行改为晓庄。在荒地上盖草房，办学校，物质条件是非常艰苦的。晓庄学校是在大革命**时期诞生的，北伐军正包围着南京，1927年3月15日在炮火声中开学。在《开学通知单》上写着：“农夫在炮火中要种田，与农夫共甘苦的学校，也不能为战争而停止招考与开学。” 在开学典礼上，校长陶知行说：“我们的校舍上面盖的是青天，下面踏的是大地，我们的精神一样要充溢于天地间。” 晓庄学校在开办时，可以说“一无所有”，陶校长带领师生用自己的双手建设校园，一座一座的茅屋建造起来，研究室、图书室、生物室、音乐室、美术室、大礼堂、办公室、接待室等等，应有尽有。陶校长把图书馆题名为“书呆子莫来馆”，把大礼堂题名为“犁宫”，显示了乡村教育的特色。陶校长特意写了一首《自立歌》，勉励师生：“滴自己的汗，吃自己的饭。自己做事，自己干，靠人，靠天，靠祖上，不算是好汉！ ”
晓庄学校师范部办有三所中心小学，以作乡村教育实践和培养乡村小学教师的场所。校长、教师都由师范生轮流去担任，每五人为一组，任期半年。后来，逐渐扩大到吉祥庵、三元庵、万寿庵、蟠龙山、神策门、黑墨营等地，既锻炼了晓庄师范学生，又普及了一个地区的乡村小学教育。
此外晓庄学校师范部还办有几所中心幼稚园和乡村医院、民众学校，建立中心茶园（茶馆），组织师范生每晚七时轮流去讲时事、讲故事，进行群众教育。陶校长还鼓励师生开展“会朋友去” 的活动，都到附近村庄找一两位农民作朋友。
总之，晓庄学校结合生产实际和社会实践进行教学，树立了教育与生产劳动相结合，教育与社会联系相结合的新教育学风，冲破了学校关门读书的旧教育传统。这对于半殖民地半封建教育是一个巨大的冲击，从而也吸引着有志气、有抱负的青年来晓庄观学习，晓庄学校成为中国乡村师范教育的一盏指路明灯。
陶知行在筹创晓庄学校期间，创办了一个刊物《乡教丛讯》，由乡村教育同志会出版，1926年冬季创刊，1927年3月后，由晓庄学校编辑和发行。
陶知行为了推广乡村师范教育，把在晓庄学校的一段教育实践加以总结，于1928年提出“艺友制师范教育论”。1929年12月17日成立“乡村教育先锋团”。1930年2月1日，创办《乡村教师》周刊，至当年四月五日共出十期，因晓庄学校被封闭而停刊。
陶知行在普及教育的理论与实践上作出了贡献，在国内外都有影响。1929年冬天，美国教育家克伯屈从苏联考察后转来中国，在晓庄学校呆了一天，拍了学校生活的影片，带回美国。上海圣约翰大学于1929年授予陶知行以荣誉科学博士学位。
晓庄学校从开办时起，直至被国民党政府封闭时止，学校教育始终与政治革命相联系。
陶知行校长支持学生参加政治活动，晓庄学校开学后，北伐军攻入南京，晓庄学校学生协助农民组织农民协会，开展打击封建地主的革命活动，他当时正去北方，特地写信给学校师生，他道：“本校既已参加农民协会，当为乡村组织教学做之实例。就是已经开始与土豪劣绅，伪农民短兵相接了。我们必须有百折不回的精神才能达到我们的目标。”他所说的“目标”，就是指“农民之解放”。晓庄学校诞生后不到一个月，蒋介石发动“四一二” 叛变，大批共产党员和革命群众惨遭屠杀，白色恐怖弥漫在晓庄学校周围，学校经费来源也遭断绝。陶知行毫不畏惧，从北方赶回南京，继续维持学校，并坚定地勉励师生，决心为农民服务。
