广德初，进拜太保，与一子三品、一子四品官，增封户五百。瑒与一子五品官，封户百。仍赐铁券，以名藏太庙，画象凌烟阁。又以瑒检校兵部尚书、朔方行营节度使。然怀恩怏怏，又性强固，不肯为谗毁屈，无以自解，乃上书陈情曰：“臣世本夷人，少蒙上皇驱策。禄山之乱，臣以偏裨决死静难，杖天威神，克灭强胡。思明继逆，先帝委臣以兵，誓雪国雠，攻城野战，身先士卒，兄弟死于阵，子姓没于军，九族之内，十不一在，而存者创痍满身。陛下龙潜时，亲总师旅，臣事麾下，悉臣之愚。是时数以微功，已为李辅国谗间，几至毁家。陛下即位，知臣负谤，遂开独见之明，杜众多之口，拔臣于沠、陇，任臣以朔方，游魂反干，朽骨再肉。前日回纥入塞，士人未晓，京辅震惊，陛下诏臣至太原劳问，许臣一切处置，因得与可汗计议，分道用兵，收复东都，扫**燕、蓟。时可汗在洛，为鱼朝恩猜阻，已失欢心。及臣护送回纥，云京闭城不出，潜使攘窃，蕃夷怨怒，弥缝百端，乃得返国。臣还汾州，休息士马云京亦不使一介相闻，畏臣劾奏，故构为飞谤，以起异端。陛下不垂明察，欲使忠直之臣，陷谗邪之党，臣所为拊心泣血者也。然臣之罪有六，无所逃死：往者同罗背逆，以骚河曲，兵连不解，臣不顾老母，从先帝于行在，募兵讨贼，同罗奔殄，是臣不忠于国，罪一也；斩子玢以令士众，舍天性之爱，是臣不忠于国，罪二也；二女远嫁，为国和亲，合从殄灭，是臣不忠于国，罪三也；又与子瑒躬履行阵，志宁邦家，是臣不忠于国，罪四也；河北新附，诸镇皆握强兵，臣之抚绥，反侧时定，是臣不忠于国，罪五也；协和回纥，戡定中原，二陵复土，使陛下勤孝两全，是臣不忠于国，罪六也。”又言：“来瑱之诛，不暴其罪，天下为疑。四方奏请，陛下皆云与骠骑议之，可否不出宰相。”词言慢很，帝一不为慊，且欲其悔过，故推心待之。诏宰相裴遵庆临谕诏旨，因察其去就。
遵庆至，怀恩抱其足，泣且诉。遵庆道帝所以不疑，即劝入朝，怀恩许诺。副将范志诚谏，以为“嫌隙成矣，奈何入不测之朝，独不见来瑱、李光弼乎？二臣功高不赏，瑱已及诛。”怀恩乃止。欲使一子入宿卫，志诚固止。御史大夫王翊使回纥还，怀恩虑泄其交通状，因留不遣。即使瑒攻云京，云京败，进攻榆次。
初，帝幸陕，颜真卿请奉诏召怀恩。至是，帝使往，辞曰：“臣往请行，时也，今无及矣！”帝问故，对曰：“顷陛下避狄于陕，臣见怀恩，责以《春秋》义，不奔问官守，故怀恩来朝，以助讨贼，则其辞顺。今陛下即宫京邑，怀恩进不勤王，退不释众，其辞曲，必不来矣！”“然则奈何？”曰：“今言怀恩反者，独辛云京、李抱玉、骆奉先、鱼朝恩四人耳，自余盛言其枉。然怀恩将士，皆郭子仪旧部曲，陛下若以子仪代之，喻以逆顺，必相率而归。”从之。
子仪至河中，瑒攻榆次，未拔，追兵于祁，责其缓，鞭之，众怒。是夕，偏将焦晖、白玉等斩其首，献阙下。怀恩闻，以告母。母曰：“我戒汝勿反，国家酬汝不浅，今众变，祸且及我，奈何？”怀恩再拜出，母提刀逐之曰：“吾为国杀此贼，取其心以谢军中。”怀恩走，乃与部曲三百北度河，走灵武，稍稍引亡命，军复振。帝念旧勋，不加罪，诏辇其母归京师，厚恤之，以寿终。又下诏拜怀恩太保兼中书令、大宁郡王，罢余官。
