《浮山文集前编》与《浮山文集后编》等著较详实地记录了方以智从一个“名噪海内”[1]的“狂生”到“且行异类”的行迹。崇祯十三年（1640）春，方以智中二甲进士。同年秋，其父方孔炤因兵败下狱，方以智“上书为父解难，义悬于中，感动金石”[2]。次年，崇祯帝感于“求忠臣必于孝子之门”而释其父。崇祯十七年（1644）二月，方以智召对德政殿，痛陈救危方略；次月，北京城破，崇祯帝自缢于煤山。方以智“既已哭东华，被贼执”[3]，终于“万死”中脱身。此后，他“阴结山东、河北之忠义”[4]，密谋举事。可是，其“赤心苦节，明如日月，而坐为仇陷”[5]，被阮大铖辈诬为“赎徒”，遭到南明朝廷的追捕。在冤案阴影的笼罩与压迫下，他不得不一表其间缘由。收集在《岭外稿》（上中下）的很多文稿都在向朋友倒苦水、诉乡井仇隙之“横诬”。他在《寄张尔公书》中说：“智万死不屈于北都，北来之人无不人人知者，当时米吉士、韩雨公、汪子白诸人所亲见。决我妻子南奔，告诸督镇以贼状，五月至南都，九月阮大铖用事，而节妇詈为**妇矣，冤哉！冤哉！嗟乎！同郡之仇，君所夙恨，先祖家父历朝居乡，与薰获素矣。戊寅岁，吴下同社顾子方、吴次尾辈以其为逆党之魁宿而揭之。彼以为出自我，齰舌甘心，何所不至。一旦柄用，翻先帝十七年之案，欲尽杀天下善人名士，何独于智而止于赎徒。”[6]南都既陷，方以智再遭清军追索，奉其父命南逃而就“隐地”。下面一段话详细地记录他扶病南逃之经历，他说：
先是老父知大乱方起，命余出相隐地，而南都遂变，游子就友于粤，而延汀又变，永历改元，权珰乱政，智辞中允之命，留病梧州，而肇庆、广州又变，翠化西幸，智扶病入夫夷山，刘承胤自全阳劫驾如武冈，智遂苦辞阁衔，弃家孤隐，变姓名于沅州、天雷苗中。而武冈又变，氇裘肆毒，追索朝臣，智未尝一日立班行，……国统三绝，行在五迁。[7]
此处“氇裘”当指清军。方以智逃离南京之后，流离岭表，转侧瑶峒，数经生死磨砺。如果说方以智接连遭权珰和清军的双重追索，仅为肉体上的摧残，那么，“权珰乱政”、“降贼”之诬、对亲人的思念以及“久当殉国”与“未获死所”[8]之心理负担，则是心神之累，此累乃其固辞朝廷之召而“变姓名于沅州、天雷苗中”的主要原因。在《岭外稿》（中）之《寄朝中诸公书》中首称“愚道人”，尔后，此语频出，更有“吾生不如死”[9]之叹。可见，身心疲惫、报国无门的方以智此时已萌生归隐之意。
方以智在桂林平乐之平西山隐居不少于两年[10]，顺治七年（1650）被清兵所执，并“供养于梧州之云盖寺”，《辛卯梧州自祭文》记录了被执的过程，其曰：
自甲申至庚寅，无可道人以猗玕洞之县丝，流离岭表，十召坚隐，不肯一日班行，为白发也。转侧瑶峒，以鵄纳为归路。庚寅之间，栖一瓢于仙回山。不幸同隐有相识者，系累胥及被絷，而胶致之平乐。将军奉默德那教，尤恶头陀，露刃环之，视此衲之不畏死而异之，逼而之，终以死自守，乃供养于梧州之云盖寺。[11]
由上文可知：在方以智被清兵收捕之前，已经“以鵄纳为归路”，且栖身于仙回山，所以，他被执时，并没有在是否为僧的问题上做选择[12]。但不可否认的是：方以智入僧的主要目的之一，乃是免于清兵对晚明朝臣的追索。他能够被“供养于梧州之云盖寺”，亦可视为“愚道人”摆脱清兵纠缠的不错结局。
但是，出家为僧、安心佛事，却决非方以智的如意归宿。相反，披缁只是“且行”，僧佛恰为“异类”，他说：
家有数千年正决之学，而复不能侃侃木舌，且行异类，托之冥权，是又将谁告乎？不觉直叙，声已复吞，惟大人在天之灵，式凭鉴之！[13]
