刘琨带领招募来的千余人，跋山涉水，冲破汉刘渊部的重重障碍，终于在元嘉元年（307）三月转战到了晋阳（今太原）。
这时，经历了战乱和饥馑洗劫之后，并州已经剩下不到两万人户，而晋阳仅是一座空城，“府寺焚毁，僵尸蔽地，其有存者，饥羸无复人色，荆棘成林，豺狼满道”。即便如此，刘渊的部众还常常来骚扰抢掠。在这种极端困难的条件下，刘琨安抚百姓，招徕流民，一面加强军事防御，一面抓紧生产自救。老百姓携带着武器下地耕耨，士兵在周围警惕地守卫。虽然也偶尔发生战事，但社会秩序相对稳定，生产得到恢复。不到一年光景，这块荒芜的土地又有了生气，流亡在外的人民群众逐渐返回家园，鸡犬之声重新连成一片了。
独力难撑危局晋阳南面是强大的匈奴汉政权，北面是正在崛起的拓跋鲜卑，东面是依仗段部鲜卑支持的西晋幽州刺史王浚。而刘琨的统治仅局限于晋阳及其附近，兵力很少，处境仍然十分艰难。
永嘉二年（308）十月，刘渊在蒲子称帝。十一月，刘琨派遣庞淳攻占壶关，打败刘渊的将领綦毋达。然而，次年七月，刘渊派刘聪和王弥领兵争夺上党，包围了壶关。刘琨以护军黄肃、韩进驰援，二将俱战败牺牲，上党太守庞淳投降，壶关得而复失。后来，刘琨再派都尉张倚领上党太守，疾速进据襄垣，又调动赵拟、李茂等将领继之，三支部队协同作战，夜袭汉军，汉军一时措手不及，丢掉辎重逃窜。张倚等乘胜追击，俘获不少，但仍然没有夺回壶关。
由于刘渊势力日益强大，匈奴铁弗部刘虎和白部鲜卑都归附了刘渊，致使晋阳陷于腹背受敌的困境。刘琨决定兴兵讨伐刘虎和白部鲜卑，以解除后顾之忧，但他自己的兵力不足，只得卑辞厚礼向拓跋鲜卑请求援兵，拓跋鲜卑首领猗卢派来两万骑兵助战。在刘琨的亲自指挥下，一举打败了刘虎和白部鲜卑。
当时，拓跋鲜卑正当发展阶段，渴求向内地发展，刘琨引鲜卑兵为授，一是导致了拓跋鲜卑的内侵，二是引起与王浚的矛盾。刘琨感激拓跋鲜卑的支援，遂与猗卢结为兄弟之盟，并表请朝廷署猗卢为大单于，以代郡封之为代公。代郡地属幽州，王浚大为不满，发兵击猗卢，但反被打败，由此王、刘关系破裂。以后，猗卢嫌代郡悬远不便，要求进入陉北之地，刘琨既无力制止，也有心继续依靠拓跋鲜卑，所以把陉北的楼烦、马邑、阴馆、繁峙、崞等五县让给拓跋鲜卑，迁徙五县人民到了陉南。
刘琨过惯了奢豪的生活，时局紧张，他还能暂时克制；时局一旦好转，他就旧病复发，放纵自己。他嗜好声色，宠爱身边一个懂得音律的佞人徐润，委任他当晋阳令。徐润恃宠骄横，经常越权干预政事。这件事使奋威将军令狐盛感到忧虑，令狐盛敢于直言，多次劝刘琨除掉徐润，刘琨不从。徐润听说，深恨令狐盛，他明知刘琨忠于晋室，故意不阴不阳地对刘琨说：“令狐将军要劝明公称帝呢！”刘琨不禁大怒，也不分青红皂白，下令杀了令狐盛。刘琨的母亲对此很气愤，斥责他说：“你既无深谋远虑，又不会驾御豪杰，只会杀比你强的人，怎么能够成功！这样下去，总有一天我会跟着你遭殃的。”晋阳曾经吸引了许多要求抗击少数民族统治的人，“人士奔迸者多归于琨”，但是刘琨的政治才能使他们失望，因此出现了“一日之中，虽归者数千，去者亦以相继”的状况。
