就这样，王阳明在芜湖停留了半个月。一天夜里，他默然坐在岸边，看到水波拍岸，汩汩有声，长叹一声说：
“以一身蒙谤，死即死耳，如老亲何？”
当时，他还对弟子们说：
“此时若有一孔可以窃父而逃，吾亦终身长往不悔矣。”
王阳明当时真的可以说是进退维谷，去也不是，回去也不是。没办法，王阳明再一次进入九华山中，每日端坐草庵内。有一天，他换上便装重游化城寺。当他来到地藏洞时，不觉想起自己二十七岁时在此洞和老道谈论儒释道三教的情形，而自己如今已经四十九岁了，二十二年的光阴一晃而过。想到自己受功名利禄的羁绊不得自由，进不得面见圣上，扫除奸佞；退不得归卧林泉，专心讲学，不觉凄然长叹，取来笔砚题诗一首：
爱山日日望山时，忽到山中眼自明。鸟道渐非前度险，龙潭更比旧时清。会心人远空遗洞，识面僧来不记名。
莫谓中丞喜忘世，前途风浪苦难行。
王阳明见到岩洞中有僧人正在打坐修行，就问他：“何时到此？”
僧人回答说：
“已三年矣。”
王阳明不禁感叹说：
“吾儒学道之人，肯如此精专凝静，何患无成。”然后又作诗一首：
莫怪岩僧木石居，吾侪真切几人如。经营日夜身心外，剽窃糠秕齿颊余。俗学未堪欺老衲，昔贤取善及陶渔。年来奔走成何事，此日斯人亦启予。
张忠等人伪造圣旨阻止王阳明前来面圣，但他们却在武宗皇帝面前诬陷王阳明不来拜谒。武宗皇帝私底下问张永对此事怎么看。张永秘奏说：
“王守仁已到芜湖，为彬等所拒。彼忠臣也，今闻众人争功。有谋害之意，欲弃其官入山修道。此人若去，天下忠臣更无肯为朝廷出力者矣。”
张永的一席话让武宗皇帝非常感动，于是下旨任命王阳明为江西巡抚，要求他限期回到江西处理政务。正德十五年（1520年）二月，王阳明返回南昌。三月，上疏乞求减免江西省的赋税。王阳明对祖母非常孝顺，念及祖母对自己的养育之恩，他连续三次上疏请求回老家吊唁祖母，但都没有获得朝廷的允许。
五月，江西遭受水灾。王阳明上疏陈述自己的四宗罪，弹劾自己。当时武宗皇帝还在南京，王阳明本无上疏之理，但为了让皇帝了解江西的灾情，王阳明还是用自我弹劾的方式向皇帝上疏，其中谈的其实都是江西的灾情，希望用这种变通的方式让君心开悟，让皇帝能够关心黎民百姓。
