高干看到曹操后方空虚，准备举兵叛曹，他先询问了名士仲长统的意见，仲长统说：“你有做大事的志向却没有做大事的才干，喜欢招揽士人却不善于选择人才，这就是您要十分戒备的事情。”高干向来自视很高，没有采纳仲长统的意见，以并州遂反。
并州归曹
高干反叛之后，很快就擒拿上党太守，举兵拒收壶关口，并密谋派兵攻打邺城。当时曹操任命荀彧的哥哥荀衍以监军校尉守邺，都督河北军事。荀衍发现了高干的图谋，将来犯的叛军尽诛之，后因此功封列侯。
曹操知道高干背叛自己后，派乐进、李典讨伐他，他们从北道入上党，突然出现在高干后方，高干等人还守壶关，乐进、李典连战连胜，斩杀敌数位大将，但高干顽强固守，李、乐久攻不下，于是曹操准备亲自领兵讨伐。
建安十一年（206）正月，曹操亲征壶关，帅大军过羊肠坂，留下世子曹丕镇守邺城，派别驾、从事崔琰辅佐曹丕。高干听闻曹操亲自率领大军进攻壶关，加上本来的乐进、李典军，自料兵势上不能相抗衡，遂出壶关城，留部将夏昭、邓升守城，跑到匈奴部落，向匈奴单于呼厨泉求救。呼厨泉自平阳之战大败而归，名义上归附曹操，畏惧曹操强大的实力，自然不肯再跟高干等反曹残余有所牵连，便拒绝了高干的请求。
而曹操因为自己兵多将广，看到高干也畏惧自己而逃，到了壶关后便下令：“城陷之后，尽坑敌军。”
壶关守军知道曹操不给希望后拼死作战，结果曹操打了一个多月也毫无战果，这时曹仁向曹操劝谏：“围城攻郭，必须向敌军宣示活门，这是为了替其开辟生路。如今主公向敌军宣告城陷必死，那敌人势将坚心死守。而且此城坚固粮多，要攻，则士卒疲伤，要守，则迁延日久；这样驻军于坚城之下，强攻死守之兵，不是良计。”曹操听从其言，容许壶关守军归降，果然城池立降。于是收录曹仁前后军功，封其为都亭侯。
曹操收复壶关后，高干也离开了并州逃往南方，曹操遂得到北方四州幽、冀、青、并中的最后一个大州。
收服管承
管承是青州一带的一个大海贼，盘据在北海淳于一带作乱，有三千多的部属，曹操攻克壶关后再次派遣乐进、李典讨伐其，并将其击破，管承逃往海岛。
后何夔对朝廷提议：“管承等人不是生下来就喜欢作乱，习惯於作乱，不能自行悔改，没有受到仁德的教化，所以不知道回心从善。现在jūn_duì 逼得他们太急，他们害怕被消灭，必定会合力作战。攻打他们既不容易攻下来，即使获胜，也一定会伤害官吏百姓。不如慢慢用恩德开导，允许让他们自行悔改，就可以不用烦劳jūn_duì 来平定他们。”
曹操认可了何夔的方法，派遣郡丞黄珍前去给他们讲述成败得失的道理，管承等人于是都请求归降朝廷。
时间到了建安十一年（206）曹操已经从袁氏家族手中夺得了北方冀州、青州、幽州、并州四个大州，并且把袁尚、袁熙、高干等人驱逐了出去，在加上曹操原本控制的兖州、豫州、徐州等地盘，他已经了是当时天下最强大的诸侯，实力基本相当于其他诸侯之和。
但袁尚、袁熙等人依然活着，这对曹操北方的统治依然有一定的威胁。