胡兰成遂于次年一月返回日本，四月下旬再次来台，然而台湾文化界围剿不断，这暂时“避避风头”的愿望终告失算。院长室更托人捎给他一张便条，说是最近校内外各方对阁下留住本校多有强烈反应，为策本校校誉与阁下安全，建议阁下立自本校园迁出，敬希谅察云云。
1976年4月30日，胡兰成正式辞校迁出，搬去朱西宁家隔壁，做了邻居。
后来朱西宁之女朱天文在《优昙波罗之书》中回忆说：
“至（1975年）下半年，胡老师新开三门课，‘禅学研究’、‘中国古典小说’、‘日本文学概论’。其中一门约莫侵犯到某教授辖区，就鼓动学生拒上胡兰成的课，是系主任出面制止了。这位教授拿出汉奸二字到报上撰写，连同学生投书，似乎非弄到罢课不可。顷时伐声纷至，宣判《山河岁月》污蔑民族跟抗战，又怨责到我父亲抗战当过兵，不该推崇胡某，然后也怪到请胡某来台的党国诸公。骂得中央党部只好去劝告出版社莫再卖书，且排印中的《今生今世》亦不可在台湾发行。十月胡老师停止上课，唯以华冈教授身份留校，犹有人喧哗胡某搬出华冈。未几，《山河岁月》果也查禁。”
——八卦的我又不禁翻查阳明山文化学院资料，猜测那位好事的教授是谁？
倒是见过一篇亦舒写于一九七六年的短文，骂得尤其厉害：
“胡某人与张爱玲在一起的时间前后只两三年，张爱玲今年已经五十六岁，胡某于三十年后心血**，忽然出一本这样的书，以张爱玲作标榜，不知道居心何在，读者只觉得上路的男人绝不会自称为‘张爱玲的丈夫’。”
“胡某一方面把他与张氏的来龙去脉说了，一方面炫耀他同时的、过去的、之后的女人，不管三七二十一，都算是他的老婆，表示他娶过的不止张爱玲一女，算算日子，胡某现在七十多岁，那种感觉于是更加龌龊，完全是老而不死是为贼，使人欲呕。”
“不管张爱玲本人的心思怎样，勿理她是不是当时年少无知，反正如果她选的是一个原子物理学家，决不会有今天这种事。”
其实《今生今世》写于四十年代末胡兰成流亡之时，《今生今世》且是张爱玲取的书名，以散文记实也是张的主意，只不过分手前，她尚没有看到《民国女子》那一章吧。全稿完成于一九五九年春天，此次在台湾只是重版。不过此时张爱玲在台湾大红大紫，不多不少给这本书加了噱头。
立刻便有两本杂志转载盗印《民国女子》那一章的内容，且改了个恶俗的标题叫《我妻张爱玲》，更令人感觉是胡兰成在拿张爱玲做幌子，博宣传。这使得张爱玲颇为动怒，而胡兰成则颇为紧张，特地写信给朱西宁说：“我看到时，第一感是于爱玲不好……而近从他人处知悉爱玲为此甚怒，她是怒那标题，以为是我所作，她不知是杂志社的下流也。我与爱玲已多年不写信，台端如便时给她说明此事实，于她的理知亦为有益，如何？”
然而那时节，张爱玲是连朱西宁也不要理睬的了。
朱西宁曾在《一朝风月二十八年》中自问自答，“在现实里，有谁能以他的作品值得我出于肺腑的甘愿如侍奉亲长一样的去侍奉他呢？”“只有张爱玲……为她的作品，对她，那是十分值得献出的一种侍奉。”
然而，他并没有这个缘分与张爱玲在现实中相处，却将这一份“侍奉”之心转赠胡兰成，不仅为他在自家隔壁租了房子，还特地先将他接至自己家中住了几日，直到替他把房子家具都打点好才恭敬地请他住下。
朱西宁生性俭朴，小女儿天衣花五块钱买糖吃也要斥为浪费，以为贵；然而替胡兰成买家具，出手就是六千块。可见真心推重。
然而他的古道热肠，却也给他带来了许多烦恼。一是“伐胡”**的波及，如朱天文所回忆：“因胡老师之故，父亲与文坛亦几至交谊全熄，老朋友们更断了来往。”二是得罪了张爱玲。
暑假里，朱家人约同胡兰成一起郊游，经过莲雾林，各自摘莲雾来吃，边吃边走，惟有胡兰成选定一棵，摘吃不已，像只山羊——他那样处处留情的人，吃起莲雾来倒是认此一家，心无旁鹜的。那日的胡兰成，戴凉帽，夏衫夏裤一身白，风神俊朗，从前的大劫大难以及岁月风霜，竟然在他身上不留痕迹。众人议起香味来，朱夫人说闻见香水味就要头晕的，胡兰成说：不晕，最喜闻女人香。众人都笑了。
朱西宁提议大家合影。冲出来后，特地寄了一张给张爱玲，并表达了要为她作传的心意。岂不知，她根本不要“看见”他！非但严辞拒绝作传一说，并且割席断交，与朱西宁一场朋友就此作结——她躲胡兰成，甚至于也躲开一切与胡兰成有关的人。
与张爱玲通信多年的姚宜瑛女士曾回忆自己在朱西宁家见到胡兰成的情形，说他是“京戏里的蒋干，个子不高，轻俏机灵善言”，“西宁兄一家都极崇拜张爱玲，爱屋及乌，才亲切地接待了胡兰成，因此西宁兄以宗教家的伟大精神，面对了各方的责难。而爱玲女士从此和朱家不通音讯，这事西宁兄对我说过，我难忘他眼里的怅惘和痛惜。爱玲女士一定也舍不得朱家珍贵的友情，她是很知情识礼的，只是胡兰成伤透了她的心，分手后绝口不再提起他。”
——她不愿意再提起他，也不喜欢别人提起，逼着她去记忆。宋淇就“从来不说这些混账话”（贾宝玉语），因此他们即使曾经疏离，仍然交往终生；而朱西宁却拎不清地寄了胡兰成的照片去扰她，这大违她的心意，难怪要从此对他关闭心扉。
朱西宁最初本来是因为喜爱张爱玲而去接近胡兰成的，却竟然为此失去了张爱玲的友谊，这真是“求全反毁，不虞之隙”了。
