文丑再度被俘之后，幽州方面也曾暗中递过话来，希望袁绍尽早派人前来谈判，把文丑给赎回去。袁绍因为心中恼恨文丑的无能，不仅让自己丢了面子，而且还影响了自己的整个布局，所以迟迟不见动作，似乎将文丑彻底放弃。
被看押在高柳城内的文丑，倒也不曾受到什么身体和精神上的折磨，赵云偶尔还会拎着两只烧鸡和几壶酒来到关押他的地方陪他喝上几盅，然后聊一聊各地的形势，却也不谈招降的话题。幽州方面越是如此客气，文丑心里就越是郁闷和憋屈，他一方面有些愧疚于再次让袁绍颜面扫地，另一方面又很期待袁绍赶紧派人将自己赎回去，以后好戴罪立功，在战场上找回面子。
文丑等啊等，好几个月过去了，袁绍却没有派人前来赎他回去，这让他很受伤，甚至连想死的心都有了。偏偏赵云好似看透了文丑的心思，有意无意地刺激文丑说只有懦夫才不敢面对现实，只有弱者才会用自尽的方式逃避困难。文丑被赵云这么一激，反倒不想死了，于是继续往下等。
最终，文丑没有等来袁绍的营救，却等来了重获自由。
释放文丑那天，赵云率领三千骑兵光明正大地前往白登城外向颜良邀战，被赵云刺激的近乎发狂的颜良便要不管不顾地冲出来跟赵云拼命，结果被北路都督逄纪痛斥一番。逄纪喝问颜良：“如今文将军尚为人质，若是此战你再失手，教袁公如何处置？”
颜良冷静下来，仔细想一想，发现自己对上赵云还真没有必胜的把握，自己的好兄弟文丑第一次失手被俘，那是因为没想到会遭遇太史慈这个变态，在乱军之中一下子被打蒙了，所以才会被俘。不过，文丑第二次被赵云俘虏，那可是在阵前真刀真枪败给了赵云，而赵云的名气早已响彻黄河两岸，就连西凉军都知晓他的厉害，所以不存在文丑轻敌的可能，只能说明他技不如人。赵云既然能打败文丑，未必不能再败颜良……
颜良被逄纪喝止不能出战，高柳另外一位大将张旭也不好强出头，结果数万袁军眼睁睁看着赵云在城外耍够威风之后，竟然在众目睽睽之下将文丑给放了出来！
赵云当时在两军之前是这么说的：“袁军营内尽是缩头乌龟，实在无趣的很！既然尔等不敢来战，吾便放了文丑，下次再来领教河间双雄的本领！”
听赵云这话的意思，下回竟然是要以一敌二，同时搦战颜良和文丑！
白登城内的袁军，从上到下都是认识文丑的，关楼上面向下眺望的颜良更是文丑的拜把子的好兄弟，此时他们看着文丑灰溜溜地从城外赵云军阵中骑着一匹马走了回来，那个心情真是难以形容。
北路都督逄纪明知道赵云这是在赤果果地上门打脸，却也无计可施，他既不敢派出部队出城来战赵云，又不能给城头弓弩手下令射杀了文丑，所以只好看着赵云率军大笑着离开，然后让人将文丑接近城内，再派出快马赶紧向袁绍汇报这件事情。
几日后，身处邺城的袁绍得知文丑竟然被幽州方面无条件的释放，心里就像吃了一只绿头苍蝇般恶心，偏偏还吐不出来。袁绍询问身边谋士，该如何安置文丑，田丰于是建议将文丑与颜良分开，今后不要让其参与跟幽州方面的战事。田丰的理由是文丑胆已破，今后在战场上遇到赵云或者太史慈等猛将，只会再次失败。
袁绍问田丰：“既然文丑胆破，为何还要调其前往西路营内担任主将？”
田丰回答：“文丑胆虽破，但尚有可用之处。主公若是不能善待之，不仅失文丑，还会失颜良，正好中了幽州的离间之计！”
袁绍恨恨骂了几句刘和不是好人，只得硬着头皮委任文丑为西路都督高干帐前右主将，鼓励文丑今后多多杀敌立功，将功赎罪。
文丑接到任命之后，与义兄颜良在白登城分别，然后怀揣着一雪前耻的希望来到晋阳，结果却受到了高干的冷遇。
高干此人长得仪表堂堂，否则也不会受到喜欢以貌取人的袁绍的器重，他看着文丑那张丑脸就有些厌恶，心里更是对文丑两度败给幽州十分不满，所以名义上虽然让其担任了右主将，但却不给文丑分配任务，只是让他好吃好喝地呆在晋阳城内。
文丑虽然长得丑，人又不笨，哪里还看不出来高干不待见自己，可他却没有一点办法，因为整个西路营内的将领都看他不顺眼！
好几次，夜深人静的时候，文丑都在默默问自己：如果当初投靠的不是袁绍，而是刘和，自己现在又是怎样？赵云和太史慈虽然厉害，可刘和手下有的是不如自己的武将，比如鲜于银、鲜于辅两人，又比如慕容平和孙礼等人，更不用说降将李蒙、关靖和单经等人了。这些人都能得到刘和的重用和信任，自己难道就不如他们？
