开始侬智高所过之处，势如破竹，虽回到邕州，却在大修舟揖，让两广大臣十分紧张，广州新知州魏瓘以及广东转运使元绦上书，但凡守御之备，不得苟且为之，想让百姓不得劳，则不能久安。其广州城池，必须募蕃汉豪户及丁壮并力修葺完备。若没有好的御敌之策，但习水战，寇至而斗，乃是不得已之策。
这本来是不错的。
京城诸位大佬们也意识到这个问题，因为对南方不重视，多数地区是花钱买安政策，加上京城禁兵乃是北兵，不习南方天气，往往迁徙到南方屯扎，多死伤，所以一直屯兵少，多数城防不完，这也是侬智高势如破竹的关健原因。是侬智高，若是郑朗与狄青联手，宋朝岭南官场糜烂，郑朗治民，狄青攻城，磨蹭到现在，整个两广早就成了真正大南国。
但是文官不懂啊。
随后侬智高着重拉拢了两人，一个是特磨寨主侬夏诚，这一部让他拉拢成功了，其母阿侬率一骑潜入特磨寨。另一个便是黄守陵，但黄守陵得到余靖的好处，又看到宋军从四面八方聚集过来，心中有些犹豫不决。侬智高不悦，派了一部士卒前去攻击黄守陵，大败。
实际这一战规模并不大，侬智高没有分出主力军队，仅是其中一部，兵力少，又轻敌了，黄守陵既然能让侬智高看重，反复的拉拢，部族也很是强大的，并占着地利人和之利，所以黄守陵获胜。
余靖不懂，以为侬智高士气开始下降才失败的。又看到两广所募的土兵，几营禁兵，从江南西路与湖南募来的地方士兵，除了留守各城池外，大多数移集到邕州附近。胆色又忽然壮了。
实际造成这一原因，是朝廷对他的磨洋工产生不满，头号主帅如今变成四号主帅，况且来到广南的是狄青。他不想一个武人在自己头顶上指手划脚，心中产生急迫的心理。
郑朗才正式进入湖南地界，他一行不算慢，但多是步兵，又一路商议两路道路修建事宜，因此进入鄂州后，速度越来越慢。但狄青那一边全是蕃部骑兵。速度很快，又先前出现数天时间，已经率部跨过五岭，余靖想抢功了。
于是指挥部将陈曙发兵昆仑关。
陈曙心情变得微妙，朝廷诏书早就下达，郑朗在两广军队务必听从郑朗调动，郑朗不在，必须听从狄青调动。若是分部行军，则听从孙沔指挥。余靖虽曾为帅，实际没有指挥军队作战的权利。狄青未到五岭。便让军令官向前线下了军令，前线军队调集布防，但不得任何军队出战。狄青已经离大军不远了，孙沔不久也将来到前线。按理，陈曙不必听从余靖这个命令，但宋朝的官场，狄青仅是一个武夫，有什么资格不给余靖面子？按常理，是听从余靖文官的命令，还是听从狄青武夫的命令？放在宋朝任何一个官员身上选。都会作为一个简单的选择。同时他心中也产生了争功的念头。
于是陈曙不顾狄青的命令，率领八千人马杀向昆仑关，作为一名武将，他比岭南一些闻贼前来立即弃城而逃的文官要强，但作为武将本身，还不如葛怀敏。大军行到金城驿。从昆仑关向东路有一系列的驿站，即将来到的归仁铺是第二驿站，金城驿还在归仁铺东北。
陈曙命令三军扎营，他治军素无威信，一旦扎营，兵士在军营里又没有娱乐活动，而且还是一群杂牌军，一起聚集起来开始赌博，骰子掷个不停，广东话，广西话，江西话，湖南话，还有少量禁兵所说的北方官话，天南海北的兵士，一个个捋起胳膊肘儿，赌得忘乎所以。
侬智高派人刺探到这支军队的情况，率领大部军队驰出昆仑关，飞快扑向宋军大营。闻听贼军突然扑来，陈曙不知所以，只下了一道命令，让王承吉将从宜州召集来的忠敢兵五百人停止赌博，聚集起来为先锋迎敌。至于其他的兵士，传令官在喊话，大多数赌得正在兴头上，命令都没有人听。即便忠敢兵也好不到哪里去，一个个恋恋不舍的收起钱，骰子，懒洋洋地穿盔甲。盔甲还没来得及穿好，侬智高军队到了。还怎么打？八千人几乎全军覆没，王承吉与徐噩皆战死，只有陈曙与少数将领逃了出来。
