但可惜的是，良才不遇明主。武宗皇帝朱厚照既不喜欢读书，又不理朝政，还经常与太监们化装后外出寻花问柳，奸污民女。忠勇刚直的杨慎不避斧钺，犯颜直谏。正德十二年（1517），他以奏章《丁丑封事》，指责朱厚照“轻举妄动，非事而游”，劝他尽快停止这种荒唐行为。然而，朱厚照根本就没当回事，继续在妓院歌楼里过着灯红酒绿、纸醉金迷的糜烂生活。杨慎实在气愤不过，在写下“紫塞朝朝烽火，青楼夜夜弦歌”等讽刺性词句后，便称病告假，辞官归里。
正德十六年（1521年）五月，武宗终因酒色过度死去。由于武宗无子，其位由堂弟朱厚熄继承，,这就是明世宗嘉靖皇帝。世宗登基后，招回杨慎，并授翰林院修撰、经筵讲官之职。杨慎以为，施展自己才干的机会到了，便常用给皇帝讲书的机会，经常联系当时实际情况教育世宗，以期他做一个贤明的君主。比如，当他得知已判死罪尚未诛杀的佞宦张锐、于经等人由于大肆行贿，最后竟被世宗破例赦免后，便特地选出《尚书》里《金作赎刑》对世宗讲道：“圣人赎刑之制，用于小过者，冀民自新之意；若大奸元恶，无可赎之理。”可是，这个朱厚熄比朱厚照并好不了多少，每当遇到这样的事情时，他便龙颜大怒，让杨慎停止讲书。而杨慎呢，他却坚持着“在其位就要谋其事”，一如既往地履行自己的职责。
就这样，他数度失欢于皇帝同时又结怨于权奸，虽有雄才大略，但却难于有机会施展。尤其是在内阁“大礼议”的纷争中，他的政治生涯便走到了尽头。好在他不是那种稍有不顺就郁闷郁寡欢，灰心丧气的主儿。在恶劣的环境中，他挺直腰杆，及时调整人生的航线，让生命焕发出了更加灿烂的光辉。
所谓的内阁“大礼议”纷争，事起武宗皇帝朱厚照驾崩。
朱厚照真不熄是个昏庸的皇帝，他死后，人们发现其遗诏中只有“兴献王长子来京嗣皇帝位”一言，其他的什么也没交待。于是，杨慎的父亲——内阁大学士杨廷和等一批大臣便按照“兄终弟及”的惯例，要朱厚熄登上皇帝宝座后认先皇帝朱厚照之父孝宗为“皇考”，享祀太庙；称自己的生父为“本生父”或“皇叔父”。可是，朱厚熄却偏不信这个邪，在即位后的第六天，就下诏令群臣议定他自己的生父兴献王为“皇考”，并按皇帝的尊号和祀礼对待；同时，张聪、桂萼等新贵为迎合上意，攀附权奸，主张在孝宗与武宗之间，加入睿宗（兴献王朱祐杬）。对此，杨慎父子和许多大臣坚决反对。以至后来，这种纷争演变升化成了派系之间的权力斗争。1524年春，杨慎的父亲被迫辞官归里，他也一再上书辞职，不愿与张、桂等“无耻小人”同列共事。
然而，此后不久，刚愎自用的世宗帝朱厚熄变本加厉，正式下诏改称生父为恭穆皇帝。大学士丰熙等见状，再次上疏，但朱厚熄还是不听，他们便一同到左顺门一带跪着力谏。朱厚熄更加震怒，竟使用暴力镇压，“命执首八人下诏狱”。消息传出，群情激愤。杨慎便联合同年进士检讨王元正等二百多人，在金水桥、左顺门一带大哭以抗议非法逮捕朝臣。朱厚熄暴怒，下诏将其全部逮捕入狱，并廷杖为首之人，结果死伤十七人。杨慎于七月十五被捕，分别于七月十七日、二十七日被廷杖，每次都死而复生。最终，他被判发配滇西戍边的重罪。
嘉靖三年(1524)八月初，杨慎被押解从潞河上船，经山东、江苏入长江溯流而上，至湖北江陵登陆，经湘西、贵州入滇，然后经南宁（曲靖）、昆明、楚雄，于次年春达云南永昌卫（在今保山地区），行程数千里。《箐口关》一诗，就是1524年12月，他路经余庆司之箐口时写的。
“箐口关何险，山头路更赊。迂回磨转蚁，曲折阵蟠蛇。官舍为孤舍，人家无一家。客心何处切，夕照闪归鸦。”箐口关何险？从波涛滚滚的乌江岸边蜿蜒而上十里之后，便是连绵不绝的高山，及至箐口，但见两峰高悬入云，唯中间数丈之阔的沟谷可通行，今有省道穿越，仍让人产生“一夫当关，万夫莫开”之感啊！试想，五百多年前的山道，不就像是从别人那里赊借而来那样吝啬吗？
