“赣为郡，居右江上流，，所治十邑皆僻远，民少而散处山溪间，或数十里不见民居。里胥持公牒征兆，或行数日不底其舍，而岩壑深邃，瘴烟毒雾，不习而冒之，辄病而死者常什七八。江水险急，摊石如虎牙森立。……是以会府优视之，于赋役百需，常半减他郡”。
洪武年间安远典吏杨霄远亦言
“臣待罪安远，知安远一兴一废，立县者三。又细访县中，不闻大姓，且少百外年之家，臣实不解其由。及行查乡曲，一望林峦，非拾级登峰，丹崖绝壑，鸟道羊肠。臣不禁涕涟，寸心入碎。乃知安远者，万顷山冈一线田已矣！”
从上描述的情况来看，当时的赣南明显是尚未开发完全的山区景象，瘴气毒雾遍地，人口稀少，数十里不见民居。但是到了明朝中期以后，情况逐渐得到了改变，人口增多，耕地增加，改变的原因主要是流民的到来。
明代中期以后，农民赋税负担日趋加重，加上自然灾害等，使的大批农民不得不离乡背井，沦为流民，到英宗正统时，出现了全国性的流民。运动，而赣南由于“地旷人稀”，仍有大量未开垦的荒地，成为了当时流民活动的重要场所。而实际上在明初，人民的流动和迁徙都是受到限制的，如正统二年就曾经规定
“(流民)若团住山林湖泺，或投托官豪势要之家藏躲，拒抗官司，不服招抚者，正犯处死，户下编发边卫充军，里老窝家知而不首及占吝不发者罪同“
虽然明代民间自发而形成的流民活动属于非法，明中期以后众多流民还是冲破了官府的限制。成化年间，流民便开始陆续进入南赣地区，“（闵珪）成化六年擢江西副使，进广东按察使。久之，以右佥脸都御使巡抚江西。南赣诸府多盗，率强宗家仆”这里的“强宗家仆”，应该就是自外地逃奔而来的流民。而“地方大户并各屯旗军，多有招集处处人民佃田耕种，往往相聚为盗，劫掠民财。……（流民）不计于版籍，身不役为差徭，出入自由，习成野性。往往强劲，多是此徒。”可见，赣南的大户已经招揽附近的流民为佃户，不过这些流民的到来却“往往相聚为盗贼”，转化为地方强盗。据曹树基的研究，这些流民成分复杂，并非来自于同一个地区，但大致而言，以来自粤北、赣中和闽西为多。到了正德年间，赣南地区已经形成了众多官府控制不到的“贼区”，如南安府的情况如下
“随据统兵官员并乡导人等呈送，自本年正月蒙本院抚临以来，募兵练卒；各贼探听消息，将家属妇女什物俱各寄屯山寨林木茂密之处，，其各精壮贼徒，昼则下山耕种，夜则各遁山寨……该本道查得上犹县附近巢穴，则有旱坑、茶潭等巢，南康县则有长龙等巢，大庾县则有狐狸坑、船坑等巢；多则三五百，少则七八十名。”
而赣州府南部的安远、信丰等县情况更加严重。
“臣所管辖地方俱系江湖闽广边界处，高山大谷，接岭连峰，昔人号为盗区。然其最剧莫如黄乡新民。其地属赣之安远，名虽一乡，实比大县，中间大帽山一山，环绕三百余里。正德年间何积玉、朱贵、强风等恃险凭高，巢窟其中，因而剽掠居民，攻陷城邑，害及四省，未暇悉成。”
从上面两条材料可以看出，当时赣南地区南安、赣州两府流民为盗的情况已经相当普遍，一方面流民的到来加速了赣南山区的开发，他们开垦荒地，，种植水稻和花生、甘蔗等经济作物，使的赣南山区村落增多，人烟渐密，明代以前“地旷人稀”的生态面貌得到了改变。但是另一方面，大批流民“昼则下山耕种，夜则各遁山寨为贼”却造成了当地治安的恶劣，官府疲于对付各大大小小的流民武装。更为严重的是，为盗之分的蔓延已经使的当地几乎出现了民和盗不分的情况，实际上，当时赣南并非所有的盗贼都是流民，其中也混杂着不少当地的里甲编户和明代以前就居住于此的“畲”、“瑶”等土著。
经历了牢狱之灾，以及颠沛流离的生涯，王守仁处于一种极度矛盾之中。首先自己已经身患肺病，如果再深入到潮湿的瘴气之地剿匪，不知道还有没有命回来，其次祖母年事已高，真是该尽孝的时候，于是王守仁上书一份请辞报告，就回浙江老家去了。
但是朝廷给王守仁下了三道指令，敦促他即刻赴任，不得延误！
