臣闻古者哲后，必先事华夏而后夷狄，务广德化，不事遐荒。是以周宣薄伐，至境而止；始皇远塞，中国分离。汉武负文、景之聚财，玩士马之余力，始通西域，初置校尉。军旅连出，将三十年。复得天马于宛城，采蒲萄于安息。而海内虚竭，生人失所，租及六畜，算至舟车，因之凶年，盗贼并起，搜粟都尉桑弘羊复希主意，遣士卒远田轮台，筑城以威西域。帝翻然追悔，情发于中，弃轮台之野，下哀痛之诏，人神感悦，海内乃康。向使武帝复用弘羊之言，天下生灵皆尽之矣。是以光武中兴，不逾葱岭，孝章即位，都护来归。
陛下诛灭高昌，威加西域，收其鲸鲵，以为州县。然则王师初发之岁，河西供役之年，飞刍挽粟，十室九空，数郡萧然，五年不复。陛下岁遣千余人远事屯戍，终年离别，万里思归。去者资装，自须营办，既卖菽粟，倾其机杼。经途死亡，复在其外，兼遣罪人，增其防遏。彼罪人者，生于贩肆，终朝惰业，犯禁违公。止能扰于边城，实无益于行阵。所遣之内，复有逃亡，官司捕捉，为国生事。
高昌途路，沙碛千里，冬风冰冽，夏风如焚。行人去来，遇之多死。《易》云：
“安不忘危，理不忘乱。”设令张掖尘飞，酒泉烽举，陛下岂能得高昌一人菽粟而及事乎？终须发陇右诸州，星驰电击。由斯而言，此河西者方于心腹，彼高昌者他人手足，岂得糜费中华，以事无用？《书》曰：“不作无益害有益。”其此之谓乎！
陛下道映先天，威行无外，平颉利于沙塞，灭吐浑于西海。突厥余落，为立可汗；吐浑遗氓，更树君长。复立高昌，非无前例，此所谓有罪而诛之，既伏而立之。四海百蛮，谁不闻见，蠕动怀生，畏威慕德。宜择高昌可立者立之，征给首领，遣还本国，负戴洪恩，长为藩翰。中国不扰，既富且宁，传之子孙，以贻永世。
二十年，太宗于寝殿侧别置一院，令太子居，绝不令往东宫。遂良复上疏谏曰：
臣闻周世问安，三至必退，汉储视膳，五日乃来。前贤作法，规模弘远。礼曰：“男子十年出就外傅，出宿于外，学书计也。然则古之达者，岂无慈心？减兹私爱，欲使成立。凡人尚犹如此，况君之世子乎？自当春诵夏弦，亲近师傅，体人间之庶事，适君臣之大道，使翘足延首，皆聆善声。若献岁之有阳春，玄天之有日月，弘此懿德，乃作元良。伏惟陛下道育三才，功包九有，亲树太子，莫不欣欣。既云废昏立明，须称天下瞻望，而教成之道，实深乖阙。不离膝下，常居宫内，保傅之说无畅，经籍之谈蔑如。且朋友不可以深交，深交必有怨；父子不可以滞爱，滞爱或生愆。伏愿远览殷、周，近遵汉、魏，不可顿革，事须阶渐。
尝计旬日，半遣还宫，专学艺以润身，布芳声于天下，则微臣虽死，犹曰生年。
太宗从之。
遂良前后谏奏及陈便宜书数十上，多见采纳，其年，加银青光禄大夫。二十一年，以本官检校大理卿，寻丁父忧解。明年，起复旧职，俄拜中书令。
二十三年，太宗寝疾，召遂良及长孙无忌入卧内，谓之曰：“卿等忠烈，简在朕心。昔汉武寄霍光，刘备托葛亮，朕之后事，一以委卿。太子仁孝，卿之所悉，必须尽诚辅佐，永保宗社。”又顾谓太子曰：“无忌、遂良在，国家之事，汝无忧矣。”仍命遂良草诏。高宗即位，赐爵河南县公。永徽元年，进封郡公。
寻坐事出为同州刺史。三年，征拜吏部尚书、同中书门下三品，监修国史，加光禄大夫。其月，又兼太子宾客。四年，代张行成为尚书右仆射，依旧知政事。
六年，高宗将废皇后王氏，立昭仪武氏为皇后，召太尉长孙无忌、司空李勣、尚书左仆射于志宁及遂良以筹其事。将入，遂良谓无忌等曰：“上意欲废中宫，必议其事，遂良今欲陈谏，众意如何？”无忌曰：“明公必须极言，无忌请继焉。”
