锦衣卫果然看不上这五两银子，气呼呼地拂袖而去。翌日，锦衣卫又前来辞别，王阳明握着他的手说：
“下官在正德初年，下锦衣狱甚久，贵衙门官相处极多。看来未见有轻财重义如公者。昨薄物出区区鄙意，只求礼备，闻公不纳令我惶愧。下官无他长，单只会做几篇文字。他日当为公表章其事，令后世锦衣知有公也。”
王阳明的这番话把锦衣卫噎得说不出一句话，最后只能愤愤而回。锦衣卫星夜兼程，回去后立马向许泰和江彬等人汇报了此事。许泰、江彬等勃然大怒，诽谤先生说：
“王守仁先与宁王交通，曾遣门人冀元亨往见宁王，许他借兵三千，后见事势无成，然后袭取宁王以掩已罪。”
太监张永素知先生的忠诚，着力为先生辩白，又请明武宗允许自己先行一步，前去查明真伪。等王阳明到达杭州时，张永已先他一步提前到达。张永语重心长地对王阳明说：
“泰、彬等诽谤老先生，只因先生献捷太早，阻其南行，以此不悦。”
王阳明回答说：
“江西之民久遭濠毒，今经大乱，继以旱灾，困苦已极。若京军又到，责以供饷，穷迫所激，势必逃聚山谷为乱。奸党群应，土崩之势成矣。更思兴兵伐之，不亦难乎？”
张永非常认可王阳明所言，但还是劝他：
“本监此出，正为群小蛊惑圣听，欲居中调停，非掩功也。但皇上圣意，亦耻巡游无名。老先生但将顺天意，犹可挽回几分。苟逆之，徒激群小之怒，何救于大事？”
王阳明回答说：
“老公所见甚明。下官不愿居功，情愿都让他们，容下官乞休而去足矣。”
王阳明将宸濠及一干反贼交付给张永，然后上疏请求休假。在等待朝廷回复的这段日子里，他屏去随从，独自在西湖之净慈寺养病。
张永回去之后，在武宗皇帝面前尽说王阳明的好话，说他尽心为国，说他忠诚，又说江西局势未稳，还得全靠王阳明弹压，决不能批准他休假的请求。明武宗听从了张永的建议，派王阳明处理江西事宜。王阳明从杭州回到南昌后受到军民的热烈欢迎。
