但之后表兄弟二人的关系不仅没有因此而拉近，反而开始疏远。
当初李渊入关中，自以为天命在身，离定鼎之业已经不远。于是一时兴起，便对独孤怀恩道：“弟姑子悉有天下，次当尔邪？”表弟啊，你姑姑家的儿子都要做皇帝，接下来估计该是你的啦！
言者无心，听者有意。李渊一句无意的调侃，却让独孤怀恩有了别样心思。
“我家渠独女子富贵也？”
独孤怀恩深以为外戚，靠女子显贵为耻。
当然这只是个引子，之后独孤怀恩奉命围攻蒲坂，久攻不克，频战不利。
李渊几次催促他，甚至“诏书切责”，引得独孤代恩不满。
你行你上啊。
再之后张文远远道而来，兵进蒲坂，并以蒲坂为跳板，和潼关的屈突通二人时刻威胁着关中的安全。
李渊认为会有这个结果，俱是独孤怀恩不能攻克蒲坂所致，对独孤怀恩怨念更深。恩宠、礼遇大不如前。
独孤怀恩一个工部尚书，也是重臣，只得跟窦诞、王长谐等人一般，在李建成麾下为一部将领，便是如此。
独孤怀恩早有反义意。
但是投降黄明远，还是让独孤怀恩不满。
因为独孤怀恩的父亲独孤整，乃是独孤信的小儿子，当初就是被黄明远击败，然后让杨广和黄明远二人逼死的。
黄明远乃是他的杀父仇人。
“你七叔祖······”
“叔父，若论恨黄明远者，无如窦抗者，连窦抗都降了，独孤家又如何。天下大势，独孤家可以违逆的。”
独孤大义看了独孤怀恩一眼，意味深长地言道：“叔父，不能为了一人，而让整个独孤家都陷入灭门的危险。”
