不久，关于赵廷美勾结卢多逊密谋篡夺皇位的消息甚嚣尘上。因为谋反之事本就扑朔迷离，没办法解释清楚，任何一个皇帝都害怕这样的事情发生，赵光义担心自己的皇位受到威胁，便将赵廷美贬到西京，让其举家在西京留守。(7)
随着赵廷美一道被贬的，还有卢多逊。
赵廷美被贬到西京后，实际上已经成了朝廷的监督对象。而具体负责监督赵廷美的人，就是赵普。赵普对于自己之前因遭受卢多逊陷害而被罢相一事，一直耿耿于怀。当他被赵光义从地方调回中央后，扳倒卢多逊就成了他的目标。但要扳倒卢多逊，首先要得到赵光义的宠信。因此，赵普拿出“金匮之盟”(8)，表明赵光义身份的合法性。当然，这还不能让赵光义对他另眼相看。赵普必须有一定的功业，才能让赵光义对他更加宠信。而此时，最让赵光义头疼的事情，就是弟弟赵廷美“谋反”之事。赵普要帮助赵光义消除烦恼，才能真正得到赵光义的信任。
赵普主动提出处理这件事，赵光义对此表示许可。于是，赵普就成了赵光义扳倒赵廷美的一把利器。
赵廷美被贬黜后，极为沮丧。他没有想到，自己竟会成为赵光义忌讳的人。赵廷美悔恨当初自己不该那么放肆，如果夹着尾巴做人，或许就没有被贬之祸。
当然，在西京留守期间，赵廷美依然不安分，还是与卢多逊交往过密。这正中赵普的下怀。赵普暗中观察，收效颇丰。
不久，赵廷美勾结卢多逊谋反之事，就从洛阳传到了汴京，官场中流传着各种版本，难辨真假，就如当年赵匡胤在陈桥兵变时一样。赵光义当然不能允许这样的事情发生。至于说这件事是否有幕后黑手操纵，不得而知。
太平兴国七年（公元982年）五月，灾难再一次降临在了赵廷美身上，朝廷将赵廷美的两名亲信贬谪。(9)这便释放出了一个强烈的信号：赵光义要下手了。此时的赵廷美已经意识到自己的危险，他身边的人先被贬黜，下一个就轮到他了。
果然不久，赵普让开封府李符给皇帝上书：赵廷美被贬谪后不思悔改，请官家将赵廷美发配到边远的地方，防止他图谋不轨。(10)
生性多疑的赵光义此时已经没有退路了。对于开封府李符的话，他不得不认真对待。李符表达的意思就是赵廷美要叛变，但赵光义还是给自己的这个弟弟留了后路。不久，赵光义下了一道圣旨，将赵廷美降为涪陵县公，让赵廷美带着全家人到房州安置。
这个看似处置赵廷美十分合理的方法，却引发了皇室的动**，而造成这种动**的人，正是太子赵元佐。
赵廷美被贬之后，一直与赵廷美关系非常亲近的赵元佐无法接受叔叔被贬至边远地区这个事实。他或许知道其中的曲折，便主动出面为赵廷美求情，担保赵廷美绝不会反叛。赵光义本就担心此事会引发不必要的震动，一直对此避而不谈。可赵元佐竟然站出来为赵廷美求情(11)，这让赵光义大为光火。在对待这件事情上，别人都缄默不言，可偏偏是他选择的继承人竟然这样和自己唱对台戏。即使赵廷美是冤枉的，这个申辩也不应该由赵元佐出面。
赵光义强忍心中的不快，对于儿子为赵廷美的申辩置之不理，并告诉他，这些事远没有他想的那么简单。可赵元佐似乎与赵光义较上了劲，极力为赵廷美辩白，不达目的决不罢休。此举更加激怒了赵光义，若此事由别人提出，尚有转圜的余地，可从太子嘴里说出来，那意味就变了。若赵元佐被人利用，与赵廷美一起趁机发动政变，那一切将不可想象。
赵元佐的辩白，没有起到任何作用，反而加深了赵光义对赵廷美的猜忌。
赵廷美也知道自己在劫难逃，只能举家迁至房州。从此，赵廷美郁郁不得志，最终忧愤成疾，吐血而亡。
