袁绍官渡之战兵败逃回到冀州后,陆续平定了各处的叛乱。不久,袁绍发病,死于建安七年(202年)夏五月二十八日。由于袁绍平素有德政,去世之时,河北百姓没有不悲痛的,市里巷间挥洒着眼泪,如同失去亲人一般。
袁绍一死,就涉及继承权问题。袁绍有三个儿子,大儿子袁谭、二儿子袁熙、小儿子袁尚,袁绍继妻刘氏,独爱幼子袁尚,在袁绍还健在时,常在袁绍面前夸这个小儿子,而袁尚本身也是相貌堂堂,很受袁绍喜欢,袁绍有心栽培他为继承人,但众人欲立长子袁谭为继承人,逢纪、审配一向因为骄傲奢侈使袁谭反感,辛评、郭图都同袁谭亲近而与审配、逢纪有矛盾,审配等人害怕袁谭继位以后辛评等人为害自己,就假托袁绍的遗命,拥戴袁尚为继承人。
袁谭不能继位,于是自称车骑将军,驻屯黎阳。袁尚不给袁谭增兵,并派逢纪跟随,但之后因审配拒绝袁谭增兵的要求,而令逢纪被杀,二人更生嫌隙。
建安七年(202年),曹操攻打袁谭。袁谭向袁尚求救。袁尚害怕袁谭得到士兵后不还,留审配留守,自领士兵救援。同时派河东太守郭援、并州刺史高干、南匈奴单于栾提呼厨泉共攻河东,并与关中诸将马腾等人联合出兵。曹操派钟繇对抗,钟繇派张既劝说马腾支持。
马腾成功被说服,并派马超、庞德救援钟繇。钟繇趁郭援渡河时攻击,大破郭援。庞德更将郭援斩首。南单于见郭援被杀,主动投降。高干向曹操投降。
建安八年(203年),曹操攻取黎阳,大败袁尚和袁谭,二人退守邺城。曹操追击到邺城,并收割麦田。此时,曹军诸将都希望乘势消灭袁氏残余势力。曹操依从郭嘉之计,撤军任由袁尚与袁谭自相残杀。
袁谭对袁尚说:“我方铠甲不精,所以上次被曹操打败。眼下曹操撤退,人人想着回家,趁着他们没有过河,出其不意发兵进攻,可以彻底击溃曹军,这个计策不可失去。”袁尚因怀疑而没有同意,既不给袁谭增派兵力,又不给更换铠甲。袁谭大怒,郭图、辛评借此机会对袁谭说:“要将军的父亲把将军过继给哥哥做后代的,都是审配用来构陷您的。”袁谭觉得有道理,就率兵攻打袁尚,双方在外城城门交战,袁谭战败,就率领部队退回南皮。
别驾王脩率领官吏百姓从青州来援救袁谭,袁谭想回去再攻打袁尚,问王脩:“您有什么主意?”王脩说:“兄弟好比左右手,假如一个人准备同人格斗而弄断自己的右手,说‘我一定胜你’,像这样行吗?丢掉兄弟情分而不相亲,天下还有谁同他亲近?近来有人从中挑拨离间造成争斗,用来谋取一时的利益,希望您堵住耳朵不要听。要是杀掉几个阿谀奉承的手下,兄弟重新亲近和睦,来抵挡四方的敌人,可以横行天下。”袁谭拒绝;刘表亦写信给袁谭劝他与袁尚和好,但袁谭仍不接受。
袁谭部下刘询此时则在漯阴叛变,诸郡响应,唯独东莱太守管统抛弃妻儿到南皮支持袁谭。之后袁尚大举进攻,袁谭兵败退回平原。袁尚围城,袁谭于是派遣辛毗向曹操求援,但辛毗见曹操时反而建议曹操应以此机会吞并河北,曹操于是派大军攻袁尚,袁尚立即退兵回救邺城。此时袁尚部下吕翔、吕旷叛变归顺曹操,袁谭却暗中刻将军印绶意图招降他们二人。
曹操知道袁谭并非一心归顺自己,但为了不让袁谭再与袁尚联手,于是让其子曹整娶袁谭女儿为媳妇以安其心。曹操还封其为青州刺史。
建安九年(204年),袁尚再攻平原,命苏由、审配守邺,曹操攻邺,苏由欲叛,事败出逃。曹操破尹楷、沮鹄,韩范、梁岐、张燕投降,皆获封赏。袁尚得知邺城危急,率领一万余人回救邺城,命李孚入城通知审配联合攻击,但遭曹操迎面拦截,袁尚被击败,逃到漳水弯曲处扎下营寨,曹操又将其包围,尚未合围,袁尚害怕,派阴夔、陈琳求降,曹操不答应。袁尚只好回头逃奔蓝口,曹操再次进兵,很快包围了袁尚。袁尚的部将马延等人临阵投降,部众彻底溃乱,袁尚逃往中山。