“晋王镇扬越，立四道场，教旨载驰，嵩终谢遣。及登紫极，又有敕征，固辞乃止。门人问其故，答曰：‘王城有限，动止严难，虽内道场，不如物外’”。苏州虎丘山名僧智琰因“道盛名高”，被杨广召进慧日道场，后亦“以辞疾，得返旧山”。江南第一高僧智顗虽被萧逸风延屈至江都。但智顗却也坚决拒绝进入杨广所建的慧日道场。
智顗来江都时，“慧日己明”，杨广意让智顗为慧日主持，利用智顗的德望扩大其对江南佛教界的影响。智顗坚辞不受，反倒当面提出要回荆湘，“于当阳县玉泉山”建立自己的“精舍”。不愿充当晋王的“家僧”，要远离江都到荆州建立自己自由传教的天地，这是对晋王盛情邀请明确表示不予合作。智顗在江都城外住了几个月，但始终未入慧日道场。其间杨广仍百般延请，多次派柳顾言往智顗居处奉送礼物，再作挽留。杨广称：“弟子一曰恭亲，犹以陋薄，不称宿心。”开皇十二年二月十八日，杨广致书一封请留，但智顗则反而提出要先回庐山东林寺，并转而请杨广为“东林峰顶两寺檀越（无风注：檀越就是施主啦）”。杨广无奈，只得再派萧逸风转达口信：“弟子意不欲相去辽远，拖能旋回，不敢留停，镇下近山隋乐住止”。但智顗仍执意离去。三月一日，杨广又修《重留书》，欲仰留智顗度夏后再“发遣，冀不半途飘lou”，“请就摄山安居度夏”，这显然是杨广的缓兵之计。但“师不许”，严辞谢绝。杨广对这位固执的长者不敢“违忤”，“谨尊宿愿”，“即命所司发遣”，最后“具装发遣”送智顗上庐山。
智顗江都仅四个月就远走荆湘，对于怀有政治图谋的杨广来讲，感到无限遗憾。但杨广知道强夺人意可能适得其反，为能最终驯服和利用这位高僧，必须要有足够的耐心，从长计议。
智顗大师我行我素，傲慢地拒绝晋王杨广的“累书延屈”，当然使晋王大丢面子，但在萧逸风的劝说下，政治思维日益成熟的杨广也并未被激怒，他表现出极高的政治素养和极大的耐心。智顗远离江都而入荆湘意在摆拖晋王的控制，但终不能摆拖大隋政权的监视，远离晋王却也使智顗难以得到晋王的政治庇护。时隋文帝在旧陈荆州等地设置的总管府，虽说总归晋王节制，但实际上是直接听命于中央，“总管刺史加使持节”，拥有很大的权力。如令狐熙为桂州总管十七州诸军事，即有便宜从事之权，可以朝廷名义任命刺史以下官吏，杨广号令所达地区实际上仅限于扬越一隅。
智顗进入荆湘弘法，果然遇到了麻烦。他“于荆州法集，听众一千余僧，学禅三百，州司惶虚，谓乖国式，岂可集众，用恼官人。胡朝同云合，暮如雨散，设有善萌，不获增长，此乃世调无堪，不能谐和所得。”
法会竟被地方官勒令解散，足见其事之严重。时江南平叛不到两年，隋对旧陈遗民心存警戒，曾多次下令收缴武器，其江南诸州，人间有船长三丈以上，悉括入关”。智顗“因相聚结”了一千余僧，外加学僧三百，而未经官方同意，自然“有乖国式”。
特别是智顗之前主持天台山寺的时候，毕竟与陈君臣关系密切，而且是在最后隋国大军南下之前才附隋朝，隋地方当局生怕他以声望聚众谋反，他的自由传教又怎能不使“州司惶虚”。可以肯定，遣散智者的法令是地方官依法行事，而决不是秉承晋王的命令。为了寻求政治庇护，智顗写信请杨广做玉泉的大檀越，杨广再次表示同意。杨广后又写信给荆州总管达奚儒，请他对智者及所修玉泉寺多加关照。
开皇十三年二月二十二日，杨广入朝，行至陕州，又遣使送去亲笔信往荆州奉迎智顗，称自己“驰仰之诚与时而积”。五月，智顗派弟子奉书报晋王，送上新建玉泉伽蓝图，献上相传是外国奉献给梁武帝的珍贵“万春树皮袈裟”。杨广收到礼物后即修书一封表示感谢，并附一份丰厚的礼单以示还报。
