然而，这种过于轻敌的心理，无疑蒙蔽了汉武帝的慧眼，令其忽视掉这场平叛存在的诸多特殊困难。其一，路途遥远，汉军难免长途跋涉，卫右渠则把守关隘，以逸待劳。其二，卫氏家族在朝鲜已历三世，尽管横征暴敛和重徭重赋的害民政策不得人心，但毕竟熟悉地形，粮道亦短，在作战中占据主动。
尽管不少作战经验丰富的大将都苦口婆心地劝谏过，但汉武帝显然不把这些放在眼里，这从他数日间便草拟完毕的平叛计划上即可窥见一斑。
事实表明，这场汉武帝认定汉军必会打出一场彪炳史册的著名战役，在战争刚刚拉开帷幕时，汉军就遭遇大挫。率先开赴前线的荀彘忍受不了等待的折磨，不顾事先跟杨仆约好的进攻日期，提前命部将正多发动试探性进攻。
谁料正多也妄想通过此次平叛加官晋爵，他率领先头部队孤军深入，结果落入卫右渠预设的伏击圈，被杀得丢盔弃甲，狼狈不堪。尽管损失并不大，但汉军自此士气大跌，同时感受到朝鲜军队并没有幻想中的那么不堪一击。
愤怒的荀彘虽然一刀结果了正多，却从贪功好进坠入了另一个心理陷阱：惧战徘徊。这倒无意之中缓解了卫右渠的致命危机。杨仆在按期登陆并获成功后，发现一切出奇的顺利，于是一路昂首阔步向北挺进，数日便兵临卫右渠的“国都”王险城下。
卫右渠被打了个措手不及，但好在荀彘驻军不前，于是立刻狂奔回救。最终，王险城的守军连同北归的援军合成一股洪流，以数量上的压倒性优势，将杨仆的楼船军彻底冲溃。
据《史记》记载，败北的杨仆相当凄惨，“失其众，遁山中十余日”。
好在楼船军是其训练多年的嫡系部队，杨仆费尽九牛二虎之力，终于“收散卒，复聚”。可楼船军经此大败，无论实力还是士气都遭受重创。
将士们归乡心切，无心再战。
两路人马毫无默契，大败特败的消息传到长安后，汉武帝怒不可遏，当即派遣使臣迢迢万里奔赴前线责骂荀彘。惊恐之下，荀彘率军南下，拼死力战。经过大小多场战役，荀彘终于杀到王险城下。
在大汉南北两军即将会师的关键时期，荀、杨二人皆认定破城已是朝夕之事。因此，二人心中各自掐起小九九，都想要夺取首功。手握重兵的荀彘当然想要直接攻城，但他需要杨仆率军从侧翼佯攻，分散敌兵，只有这样才能把损失降到最低。
而杨仆心中更加清楚，一旦破城，作为主攻的荀彘定会活捉卫右渠，那功劳便尽归其手。在贪心作祟下，杨仆坚决不同意配合荀彘强攻，并于暗中联系卫右渠，规劝其向楼船军开城请降。
卫右渠猜透杨仆的用心，便将所有主力调派至城北，专注抵御荀彘的猛攻。荀彘多次强攻未果，城下的汉军尸体早已堆积如山，可王险城依然屹立不倒，固若金汤。损兵折将的苟彘对杨仆自然恨得牙痒痒，但着实无计可施。
不过，一个人的到来令荀彘看到了转机。原来，汉武帝算准日子，认为平叛军早该凯旋了，如此拖泥带水又杳无音讯，肯定是遇到突发状况了，于是召集大臣们商议对策。
大臣们纷纷表示应派一得力使者前往调查，纠正两将的错误，以协调其行动，尽快攻取王险城。汉武帝认同，就派济南太守公孙遂前往行其事，并授权给他遇事可便宜从事，不必请示朝廷。
公孙遂到了朝鲜，来到左将军荀彘的军前。左将军高兴不已，他心想：谢天谢地，皇上还是派人来了。于是他把所有的压抑和怨气一下子全倒了出来：“朝鲜早就该打下来了，拖了这么久还未能攻下，是由于楼船将军好几次都不遵守预定的作战计划。”
接着荀彘把自己平素怀疑楼船将军要谋反的想法一五一十地告诉了公孙遂，最后说道：“现在情况万分严重，若不先发制人将其拿问，恐怕要酿成大祸，不仅楼船将军要谋反，他还可能和朝鲜兵一道来消灭我的军队。”
公孙遂在朝中素来跟荀彘友善，听到杨仆有可能谋反，不禁倒吸了一口凉气：万万没料到事情是如此的糟糕，看样子还真得先下手了。
