朱棣答应过要立汉王为太子，后来变卦，就是因为道衍反对的结果，所以汉王想尽办法欲除了道衍而后快。
还有一些在山林苦修的和尚，也诟詈道衍在富贵荣华中还有脸面侈言佛理。
这里来自两种人，一是来自势利小人的嫉妒，他们不愿意看见过着好日子的人；一是来自被极端的信念束缚的和尚们的执拗，他们以为只有在苦寒的境遇中得道，不知在万丈红尘里修得的真身更令佛陀欣慰。
他们才不管道衍持戒的严谨，修下了天大的功德。
功德不仅来自他对皇上的劝诫，也来自他为无数的黎庶指点过迷津，为无数百姓安乐的生活出过多少力。
如果想迫害一个人，那么谣言就是最好的武器了，道衍偷藏女人在寺庙里的事情传遍了京师，最后连朱棣都听到了传闻，在召见道衍时笑眯眯地查问，道衍倒真没有一点点的惊慌，少师毕竟是有道的高僧，敛神道：“老衲的德行就像村妇即将织就的白绢，在最后的关头，用没有洗净的脏手去点染的道理。何况我早已修为到了不动心的境界，即便有了魔念，以我的年岁，也是心有余而力不足啊！”
朱棣像所有喜欢一尘不染的圣人，又巴不得圣人做两件伤风败俗的事情的人一样，盼望着他的圣僧真有这样的风流事，但他知道这个不动心，一心要成佛的少师的道行，因为已经有好几趟，他让臣子引着美貌可人的女子，在半夜到姚广孝的禅房里去，指望引动精通房中术的老和尚的凡心，却从没有成功过。
朱棣不由叹道：“是啊！是啊！这桩子事也无甚乐趣，朕也感到厌烦了，少师比我年长二十多岁，更没有道理动心了。”皇上摇着头叹息道。
道衍说道：“就是这样，臣在知慕少艾之前就剃掉了头皮上的黄毛。我实际上什么都不知道，酒没有喝一口，经文上说它是穿肠的毒药，我不相信；肉未曾吃一块，如果不是口腹的美味，为什么那么多人甘冒屠羊宰狗，杀生堕业的大不韪。色是指女人，观世音菩萨就是美女，她在马郎滩头施舍度人，那些男人一夜工夫就听从了佛法，可见男女的交合是美妙的事情，当然，这也不是我这个童男子所能知道的。”
事情就这样过去了，道衍越发受皇帝的宠信，渐渐地，再没有人敢直接加害道衍了。
但道衍年纪越来越大了，他们明白，他的好日子也快到头了，不过他们还是没想到事情来的这样快。
当六十多岁的朱棣皇帝来到道衍的禅房时，见病榻上的道衍眉塌目陷，面容枯槁，须发皆白，闭着双目，一副没有生气的样子，想起初见他时貌似猛虎，气宇轩昂，一团英气，如大罗神仙降世一般的模样，朱棣不觉慨叹，长叹了一口气。
道衍听见声响，睁眼见皇帝亲自驾临，连忙起身，朱棣抢步向前把他扶住。
道衍在榻上道：“贫僧何德何能，敢劳皇上的金身大驾，罪过，罪过啊！”
朱棣听见道衍二十年来第一次不再称臣，而是以僧自居，知道他们的尘缘到了尽头了，叹道：“昔年你劝我起兵，说了一副对联：‘天寒地冻，水无一点不成冰；国乱民忧，王不出头谁作主。’我至今都还记得。如今我皇位已经做了快二十年，你却要离开了吗？”
道衍叹道：“天下无不散的宴席，日月轮流，转眼已是八十余年，我这副皮囊在人间已是沾染了太多的灰尘。我知大限已到，过几日恐怕就要离开这红尘世界了，和皇上相识一场，这最后一面，还是要见的。皇上有什么话要说，请尽管说吧！和尚微薄之力，能够知道的，会尽力助皇上最后一次的。”
朱棣愀然不乐，默然良久，才道：“如今天下初定，百姓安居乐业，刚过上好日子，可仍是百业待举，不知少师有何良策，能使万民乐业，国家富强呢？”
