他从和民众的接触中，首先发觉服装的不同，使他和广大的民众，不能像一家人样亲近。于是，他毅然把知识分子的衣服脱掉，丢开了。他买了一件棉袄，一双布棉套裤，一顶瓜皮帽，穿在身上，戴在头顶。这种行动引起了人们的议论，认为是他的矫情。可是，他自己非常得意，觉得完全是一个中国人了，并且与一般人民相近很多了。
他高兴地写信给他的妹妹说：“我本来是一个中国平民，无奈十几年的学校生活渐渐把我向外国的贵族方向转移。学校生活对我的修养固有不可磨灭的益处，但是这种贵族的风尚却是很大的缺点，好在我的中国性、平民性是很丰富的，我的同事都说我是一个“最中国”的留学生，经过一番觉悟，我就像黄河决了堤，向中国的平民化的路上奔流回来了。”——他像一个行脚僧各处奔跑，亲自把“平民教育”给人家送到大门上。他跑遍了南京的旅馆、茶馆；“大客栈”、“小乐意”、“万全楼”都有他的影子。
南京栖霞寺很有名胜，一九二三年的双十节他跑到寺中去玩，知道寺中有四五个和尚不识字，可是他看见有个慧空和尚在看《封神榜》，他就和慧空招呼，问他说：
“和尚要修行成佛，不会念经可以吗？”
慧空回说：“不可以！”
他说：“要念经念得好，不会读书可以吗？”
慧空回说：“不可以！”
于是他就很恳切地说：“你们庙里还有四五位和尚不识字，就不会念经；不会念经就不会成佛；大和尚何不去超度超度他们呢？”
然后，他又把自己编的《平民千字课》的效验告诉慧空，劝他把全庙的和尚、俗工教得个个识字读书，考过及格，就给他一张平民教师的证书。慧空明白了道理，很情愿地担任了。
就用这类似的方法，他又到附近乡村私塾里，劝他们把《平民千字课》拿去代替《三字经》、《千家文》、《百家姓》，劝他们教过了《平民千字课》再教《论语》《孟子》。
一九二三年，他担任了《北京中华教育改进社》的主任干事，全家搬到北京居住。他组织了很多“平民读书处”，自家的门口，也挂上了一块笑山平民读书处的牌子。
这时他已经有三个儿子了，他教桃红把《平民千字课》教小桃识字，后来他们就拿来教奶奶、教厨子老妈子。从这里他发现了“连环教学法”。
他用十分兴奋的心情，把这亲身的发现告诉朋友们，劝告他们采用这个方法去教不识字的人，他说：
“这个法子是用家里识字的人教不识字的人，我教你，你教他，他又教他，一家当中，先生教师母，师母教小姐，小姐教老妈子，每人花不了多少功夫，就可以使全家读书明理了。”
他利用一切可能的社会关系，在北平、南京、安庆许多地方建立平民教育的组织，不分寒暑，南来北往，甚至连自己最宝贵的生日都忘记了。
但是，实践给了他深刻的教育，人从客观的现实出发，再好的主观意见，都会证明是错误的。
当他检查了工作成果的时候，他有一个觉悟，他说：“在实践中渐渐觉得平民教育的偶像也要打破，各地平民教育的影响一百分之九十九限于本地。他们对于别的地方的影响，微乎其微，要整普遍的影响就须普遍地办，就须放弃模范的偶像。”
他和许多平民学校的学生通信，用最简洁、亲切的话，说出自己的意见，对于小朋友的信，更看得非常宝贵，读着那些信，他说：“如同吃甘蔗一样，越吃越有味！”
他把收到的信件好好地收藏起来，每逢疲倦的时候，把那些信件打开阅读，精神就立刻加增十倍。
“小朋友的信啊，你是我精神泉源！”在他的诗文，书信中间，随处都可以发现天真，热情！
但是，他又具有多么坚韧的意志——
我们在社会上做事，就要预备碰钉子……碰钉子的时候，有两个法子解决，第一个是硬起头皮来碰，假使钉是铁做的，我们的头皮就要像钢一样，叫铁钉一碰到钢做头皮上就弯了起来，第二是要把我们的热心架起火来，把钉子烧化掉，我们只怕心不热，不怕钉子利害！
