等李扬看堂贴后，难过之极，去张宅求见，却是被挡了回来。其子张拯出拜道：“李县男恕罪，家父递出一言道，此缘已尽，切务伤怀。如是有缘，再来相会。李县男请了”施礼躬身而退，入门后微笑以关。
二日早，李扬出送追十里而现张长史身影，大声唤道：“张长史！我之师长！”
张长史回马拱手，毅然拔马而去。一代明相就此而去。
过数日，驸马都尉杨洄至武惠妃处，小说太子瑛、鄂王瑶、光王琚，这次与太子妃兄长驸马薛锈密谋逼宫。武惠妃大惊失色，哭求李隆基处置。李隆基召李、牛二相商议此事。
李林甫道：“昔日臣曾以一事问过李郎中，说臣有数子，欲立谪，但长不孝次佳。李朗中言道，此为臣之家事，自由臣来做主。此次太子与二王勾外臣以乱，也实为陛下之家事，我等臣子自不需多言。”
牛仙客自周子谅事后，便少言多做事，听陛下问及自己，便只道：“臣等遵圣意。”
李隆基夜传唐昌公主驸马薛绣问及可有此事，薛绣闻言大惊，不知为何自己几人的私语竟被圣上所知，一时呆住不语。圣上见此只当是事已坐实，大怒，立下制书入东宫，废太子瑛、鄂王瑶、光王琚为庶人，流薛绣于瀼州。家中其他亲者皆贬于别地，唯韦氏家中势大，其族私通于李林甫免之。
事毕，李隆基怒气未消，大骂逆子，下诏追城东驿将三子赐死，蓝田将薛绣赐死方为了事。
李扬知后是为呆傻，李林甫至六部得意的告之：“李县男，你之一语此为我的家事可是解了陛下的要事，至此之后，你漫说是一部之尚书，就是叩堂而问相也是有可能的。”
李扬顿时大怒，苦笑之极却是说不出一句话！回宅之后大醉一场却也无奈之极。
一日，李扬被李隆基宣至大同殿，冷冷而问：“你是否与哥奴而道，立谪，既然都是为子当选有能者居上？”
“回陛下，是臣而在李府戏言！只因李中书令问及他之子中，长不孝次贤明而言。”李扬回道。
“那你说说，朕之皇子中哪为不孝哪为贤明！”李隆基怒问。
李扬惊骇之极，跪倒叩头道：“陛下，就算借臣一万的胆子，臣也不敢妄论！陛下，陛下！”
“你起来吧。朕只是随意说说而已。听闻哥奴曾以其女腾空许你为妾，可有此事？”李隆基压了怒气而道，如是说有，那便将此厮拖出去杖毙！
李扬不敢起身，忙道：“李中书令确曾提过，但臣是拒绝了。陛下臣家中妻妾众多，岂让与相公之女共容。陛下明查。”
“哦，如此说来是哥奴一厢情愿了？”
“陛下，依臣之见，李中书令不过是随口一说，岂是真心！”
李隆基大笑道：“那朕让他真心许你如何？”这眼中便是露了冷意出来。
李扬叩头道：“陛下，臣不愿！臣不能为一女而断家中之安宁幸福。”
“呵呵，是吗？你退下吧！看你说的是实话，朕便饶了你，如是下次知情不报，朕也赐你如周子谅一般。”李隆基挥手就若赶只苍蝇一般。
李扬心中骇意之极，早就知说那周子谅未是挺过蓝田便一命呜呼了，其子女妻妾皆是入了自己的部官司中，因是同情便暂压在别处未是发配。可是想及自己要是落到如他一般的下场，那小荷等妻妾子女，连带着父亲母亲妹妹弟弟都将落难，到时又有谁人同情他们呢。想及此处，便倍感惊恐，听李隆基让自己退下，这麻木的手脚挣了几下方才站起，打着哆嗦谢恩而去。
“李子仁，李子仁，你当朕真的容你么？你不过是那哥奴的一个替代品而已，等哥奴用的烦了，你便是下一个他。”李隆基瞧着李扬那害怕之极的样子，又是满意之极，一时却也忘了方才的杀心了。
此后一安无事，李扬仍是上公当番，在这当中，七月，因天下断死不过五十八人，帝以相公为功高，加封李林甫晋国公，牛仙客豳国公。十月，开府仪同三司、广平郡开国公宋璟于东都明教里私第里薨，陛下追封其为太尉，谥文贞公。十一月驾行温泉宫，武惠妃随时，感风疾凛身，回宫中一病不起，众医者束手无策。
