翟让作为中下层的实力人物，眼看大隋底下一日烂过一日，早就有心谋立，因此在贾雄劝说之下，翟让便带着兄长翟弘、侄子翟摩侯、亲信王儒信等人，前往瓦岗山自立起事。
翟让在东郡之地，本就声名远扬，蜚声在外，因此郡中犯法亡命之徒，纷纷前来投奔。而东郡因水灾活不下去的老百姓，也纷纷前来投奔。
翟让的好友单雄信骁勇矫健，擅长骑马使矛，闻听翟让在瓦岗山起事，他便招集年轻人前去投奔翟让。
离狐（今山东省菏泽市东明县）人徐世积家在卫南，十七岁，也是当地的土豪，家多僮仆，积栗数千钟。其人有勇有谋，也前来投靠翟让，他们以瓦岗山为根据地，故称瓦岗军。
瓦岗山虽然险峻，但并不是长久的根基之地。
瓦岗山人数日渐增长，翟让也每感山中供应不足。但若是让他们前去攻打城池，其势力也不足。
同时李孝贞知道翟让起事之后，便调集部队前往前往瓦岗山围剿。因山势险峻，李孝贞屡次进攻瓦岗山，皆是损兵折将，不能成功。因此李孝贞便下令断绝通往瓦岗山的各处道路，坚壁清野，以打击翟让所部。
这时徐世积便劝说翟让道：“东郡对于您和我都是乡里，那里的人我们大都认识，实不宜去侵犯他们；荥阳郡、梁郡，是汴水流经的地方，畅通南北，我们可以在此打劫过往的行船商人旅客，足以自给。”
翟让大喜，便率众从瓦岗山突围，直趋荥阳郡、梁郡的境界，靠着运河，打劫往来的公私船只，因此供给充裕，来归附的人越来越多。徒众达一万余人，所部多为渔猎手，善使长枪。
至此，瓦岗军的势力急剧扩大，开始在中原地区攻略城池，成为中原之地一支重要的农民军。
