然而，唐廷中央尽管是有些“皇威不振”，却也不能容忍李克用这种犯上作乱的行为。于是唐廷任命卢简方为大同军防御使，令其谕李国昌：“克用暂勿主兵务，束手待朝廷除人。”当李国昌父子拒命后，便发动河东、幽州、昭义诸镇及吐谷浑赫连铎进讨。广明元年(880)六月，沙陀酋长李友金及萨葛都督米海万、安庆都督史敬存等率沙陀三部落降唐。七月，李克用、李国昌父子先后连连大败，部众溃散，李氏父子、宗族及康君立等北入鞑靼。唐廷以吐谷浑赫连铎为大同军防御使，白义成为蔚州刺史，米海万为朔州刺史，振武军帅位也落入吴师泰之手，不久又落入契苾璋之手。结果李克用不仅未能“旬日而定代北之地”，而且将朱邪执宜、朱邪赤心（李国昌）苦心经营数十年的代北地盘丧失殆尽。这在代北集团即沙陀的发展史上，是一次近乎毁灭性的打击。
然而这对于李克用而言，更多的却是一次磨砺，“宝剑锋从磨砺出”的那个磨砺。复出再起的机会出现在广明元年十二月。这时，黄巢起义军攻占长安，这个巨大的变化，为沙陀势力的复兴提供了绝好的机会。中和元年(881)二月，李友金奉命率沙陀、萨葛、安庆三部落及吐谷浑诸部5000人入援京师。李友金行至绛州，绛州刺史沙陀人瞿稹谓监军陈景思：“贼势方盛，未可轻进，不若且还代北募兵。”遂又返回代北。半月间，募兵3万，“皆北边五部之众”。李友金又对陈景思说：“兴大众，成大事，当威名素著，则可以伏人。今军虽数万，苟无善帅，进亦无功。吾兄李司徒父子，去岁获罪于国家，今寄北部，雄武之略，为众所推。若骠骑急奏召还，代北之人一麾响应，则妖贼不足平也。”陈景思“然之，促奏行在”。
李友金为李克用的“族父”，他从行至绛州又返回代北，从兵力不足“未可轻进”到“军虽数万，苟无善帅，进亦无功”，最后不得不请李克用父子出山，都是打着为李唐王朝平“乱”的幌子。然而李友金的真正目的是什么，却很值得怀疑。王夫之说李友金在广明元年六月降唐时，就是李克用“遣李友金伪背己以降而为之内谋”，这恐怕未必是事实。不过，李友金希望沙陀势力再度复兴，这点是毫无疑问的，于是他利用为朝廷平“乱”的机会，名正言顺地招兵买马，聚集力量，最后又名正言顺地请李克用出山，因为正如他本人所说，李克用父子“雄武之略，为众所推”，所以他把沙陀复兴的希望寄托在李克用父子身上。而李克用也没有辜负这位“族父”的期望，他不仅恢复了沙陀人在李国昌时期的鼎盛，而且建立了一个以沙陀人为核心的强大的地方割据政权，为五代沙陀三王朝的建立开辟了道路。
中和三年(883)五月，李克用因镇压黄巢之功被唐朝廷任命为河东节度使。从此，李克用、李存勖父子以河东为基地展开了他们的霸业，而代北集团也在河东形成了它的最后格局。
唐末五代时期的牙军和作为藩帅的各王朝的始祖们有着密切的关系，在创建王朝时，他们是集权力量的核心。李克用虽未及创建王朝，但却是后唐王朝奠基人，直接导致了后唐王朝的建立，他的统治力量的核心无疑亦是牙军。
李克用的牙军，明确载入史册的有义儿军、决胜军、铁林军、横冲军、突骑军、亲骑军、突阵军、五院军、飞骑军、雄威军、厅直军、万胜黄头军、匡霸军、飞腾军、马前直军等等军号。牙将有李克修、李克恭等46人。除此之外，象康延孝、张廷裕、何怀福、阿登啜（杨光远父）、郭绍古、杜汉徽、安怀盛（安叔千父）、史敬思（史建瑭父）、臬捩鸡（石敬瑭父）、杜堆金（杜重威父）、王思同、刘琠（刘知远父）、周密、安福迁、安福顺、安福庆兄弟以及安金俊、安休休等，亦都在李克用军中任职，而且如史敬思、安金俊、安休休、安福迁兄弟等，都是有名的军将。
