黄河以北虽然已没有晋朝正式官兵，但仍有不少坞主、堡主聚集汉人抵抗胡人。
当年洛阳陷落时，傅祗组建的河阴行台，就得到了李矩的大力支持。荀藩组建密县行台时，按照朝廷旨意任命李矩为荥阳太守。李矩与一泉坞的魏浚等人相交甚好。
李矩在以荥阳为中心的中原地区颇有实力。石虎年轻时，石勒曾派他攻打李矩，结果失败而归。早年刘琨任命的河内太守郭默，被胡人击败后也率众归附了李矩。
晋元帝司马睿下诏让李矩总领河南三郡军务。
汉国分裂成前赵与后赵之后，中原地带三国势力交错。前赵主要以长安为根基，向东一直到河洛地区。后赵主要在黄河以北，而石勒原先在黄河以南攻下的大片领地也在逐步被东晋祖逖光复。
前赵安排汉人将领尹安、宋始、宋恕、赵慎等人驻屯洛阳，他们不满前赵的统治，就投降后赵。后赵随即派遣石生率军前往接收洛阳。尹安等人又反悔了，再次背叛后赵向东晋司州刺史李矩投降。李矩派颍川太守郭默带兵进入洛阳。
在敌后抗战多年的李矩、赵固、上官已、郭默等坞主、堡主，他们既相互扶助共御胡人，但有时又会因为自身利益而互相攻伐，祖逖就派遣使者前往调解，这些人便都接受祖逖的调度。
公元320年七月，晋元帝司马睿下诏授予祖逖镇西将军。
祖逖在军中赏罚分明，与将士们同甘共苦，家中子弟都要亲自耕种、挑担打柴，因此深得部众拥戴。祖逖鼓励、督促农业生产，抚慰、安置归附的兵民，并派人收葬露于野外的尸骨，百姓们因此对他都感恩戴德。
有一次，祖逖置酒邀请父老宴饮，父老们感慨流涕，说：“我辈老了，没想到还能再次得到父母般的关怀，死也无恨了。”他们高兴地唱道：
幸哉黎民免俘虏，
三辰既朗遇慈父。
玄酒忘劳甘瓠脯，
何以咏恩歌且舞。
黄河流域的很多坞堡都有人质被扣留在后赵，祖逖便听任他们同时依附后赵和东晋，并且会时不时地派遣部队假装前去攻打，以此让后赵认为这些坞主并未归附东晋。坞主们因此对祖逖都感恩戴德，只要后赵有什么行动，他们便暗中派人传达给祖逖，因此祖逖对后赵的战事常常会获得胜利，俘获良多。黄河以南的士民大多背叛后赵而归附东晋。
祖逖积极训练士兵、积蓄粮食，为收复黄河以北做准备。后赵王石勒对此非常担心，不敢派兵渡过黄河攻打祖逖。
石勒让幽州守吏修缮祖逖父亲及祖父的坟冢，并安置了两户人家前去看守。做好这些后，石勒就给祖逖写信，要求互通使节并开放边境贸易。祖逖没有正式回复石勒的信，但是听任边境贸易的进行，从而获取了巨大的利润，国家和私人的财富都大大增加了，军队和战马也日益强壮。
有一次，祖逖的牙门童建杀死新蔡内史周密后投降后赵，石勒为了取信祖逖，就将童建斩首，并派人将首级送给祖逖，说：“我最憎恶叛臣和逃亡的官吏。将军的敌人，将军憎恶的人，也是我所憎恶的。”祖逖深受感动，从此以后，凡是从后赵叛逃前来归降的，祖逖一律不予接纳，并且禁止众将侵扰、暴虐后赵民众。
后赵与东晋两国边境之间，逐渐得以休养生息。
公元321年七月，晋元帝司马睿担心王敦的兵力太过强盛，就让亲信组建新军到地方驻守。晋元帝任命尚书仆射戴渊为征西将军、司州刺史，都督司、兖、豫、并、雍、冀六州诸军事，镇守合肥；任命丹杨尹刘隗为镇北将军、青州刺史，都督青、徐、幽、平四州诸军事，镇守淮阴，表面上是让他们讨伐胡虏，实际上则是发展势力来防备王敦。
豫州刺史祖逖见戴渊来了，心里很是不快。祖逖认为戴渊虽是吴地名士，有一定的才华和声望，但却没有宏大的志向和深远的见识。一想到戴渊并未参与祖逖率领的披荆斩棘、收复黄河以南失地的艰苦战斗，如今却要从从容容地前来统率，祖逖心中怏怏不乐。祖逖又听说王敦与刘隗、刁协之间产生了矛盾，国家将要发生内乱，自己认为收复中原的大业难以成功，内心激愤以致发病。
尽管心内忧郁气愤，祖逖并未停止进取，他为了更好的抵御后赵，就下令营建、修缮武牢城。武牢城北面紧靠黄河，西接接成皋，四边开阔可眺望远方。祖逖担心武牢城南面没有坚固的屏障，必然会遭到敌人的袭击，就派侄子汝南太守祖济率领汝阳太守张敞、新蔡内史周闳一起修筑堡垒。
武牢城工程还未完工，祖逖已身患重病。祖逖叹息道：“正要平定黄河以北，而老天却要收我，这是老天不想帮助国家呀。”
这年九月，祖逖死于雍丘。豫州的士人百姓都像失去了自己的亲生父母，谯国、梁国之间纷纷为祖逖建立祠堂。东晋朝廷追赠祖逖为车骑将军。
祖逖去世后，东晋朝廷让祖逖的弟弟祖约担任平西将军和豫州刺史，统领祖逖的部众。
祖约缺乏安抚和驾驭部众的才能，所以不受将士们的拥戴。不久，后赵打破与祖逖之间的默契，屡屡侵犯黄河以南，拔取襄城、城父，又围攻谯、陈留。豫州刺史祖约抵挡不住，退守寿春。黄河以南的形势又变得动荡不安。
后赵侵犯彭城、下邳，东晋徐州刺史卞敦和征北将军王邃退守盱眙。徐州、兖州地区的坞堡也大多投降后赵，后赵在当地设置官员加以抚慰。
东晋兖州刺史郗鉴在邹山拥众数万，因争战不息，粮食紧缺，甚至挖掘田鼠和蛰燕作为食物。后赵乘机攻打郗鉴，郗鉴就退守合肥。东晋尚书右仆射纪瞻认为郗鉴素有名望、道德高尚，应当在朝中任职，就上疏请求征用他。晋元帝司马睿随即将郗鉴征召回朝担任尚书。
公元322年，后赵濮阳侯张宾故去。后赵王石勒亲自前去哭吊时，他十分悲恸地说：“难道这是上天不愿意让我成就大业吗？为何这么早早地就夺去了我的右侯！”
张宾死后，石勒让程遐代替他为右长史。程遐是世子石弘的娘舅，石勒与程遐议事时，每当意见有所不合，他就叹息说：“右侯离我而去，我只能和这种人共事，这难道不残酷吗？”石勒常常为此终日流泪。
后赵向黄河南岸扩张，前赵则将主要精力放在了关中的西边。
在前赵秦州刺史陈安辖境内的仇池地区，氐族酋长杨茂搜死后，他的长子杨难敌继位，号称左贤王，屯驻下辨；小儿子杨坚头号称右贤王，屯驻河池。
公元322年，前赵国主刘曜亲自统率大军讨伐杨难敌。杨难敌迎战，不能取胜，退走保守仇池。仇池氐族、羌族的许多部族，以及原来晋王司马保的部将杨韬、陇西太守梁勋等人都投降了刘曜。
刘曜从陇西迁徙一万多户到长安，然后继续前去攻打仇池。适逢军中疫病流行，连刘曜也染上疾病。刘曜准备退回长安，但是又担心杨难敌会在后面追袭，便派光国中郎将王犷前去游说杨难敌。
杨难敌派使者前往前赵大营请求成为藩属，刘曜任命杨难敌为假黄钺、上大将军，都督益、宁、南秦、凉、梁、巴六州以及陇上、西域诸军事，益、宁、南秦三州州牧，封武都王。
回师长安的途中，刘曜病情越来越沉重，只能乘坐马车慢慢而行。
刘曜返回长安的途中，秦州刺史陈安前来请求朝见，刘曜因病推辞不见。陈安发怒，以为刘曜已死，就反叛了。
陈安在半路截击，抓获了前赵监护辎重的将领呼延寔，对他说：“刘曜已经死了，你还辅佐谁呢！不如和我一起共创大业。”
呼延寔叱骂说：“你接受了人家的恩宠和俸禄，却背叛了他，你自己瞧瞧你的智能哪点比得上主上？我看你即将就会在上邽闹市上被斩首示众，还谈什么大业！快快将我杀了吧！”陈安大怒，就立即将呼延寔斩首。
陈安将呼延寔的长史鲁凭任命为参军。
陈安派兄弟陈集率领三万骑兵前去追袭刘曜，被前赵卫将军呼延瑜反击斩杀。
陈安率军回到上邽，派部将攻克了汧城。陇上的氐族、羌族部落都归附了陈安，陈安的部众达到十多万，于是自称大都督、假黄钺、大将军，雍、凉、秦、梁四州州牧和凉王。
参军鲁凭认为陈安反叛强大的前赵是死路一条，就对他进行劝谏。
鲁凭对着陈安大哭说；“我不忍心看到陈安自取死亡啊！”
陈安大怒，命令将鲁凭斩首。
鲁凭说：“我本来就早该死了。把我的头悬挂在上邽闹市吧，我想看看赵国是怎样斩杀陈安！”
鲁凭被杀一事传到前赵国主刘曜的耳中，他悲恸大哭，说：“贤人是百姓的期望和榜样。陈安在应当求贤的时候却大肆杀戮贤人，我由此得知他是不会有什么作为的。”
一年后，陈安率兵在南安郡围攻前赵征西将军刘贡。前赵休屠王石武率军从桑城赶来救援，和刘贡联合攻打陈安，陈安大败。
陈安收拢了八千残余骑兵，退守陇城
过了不久，前赵国主刘曜又亲自率兵前来围攻陇城，另派军队围攻上邽。
陈安屡战屡败。前赵右军将军刘幹攻克平襄，陇上全部县城投降了前赵。
陈安留下部将杨伯支、姜冲儿坚守陇城，自己则率领精锐骑兵突围，向陕中奔逃。刘曜派将军平先率兵追击。
陈安骁勇异常，他左手挥舞七尺大刀，右手运使丈八蛇矛，接近敌人时刀、矛同时发动，动辄就能杀死五、六个人；远离敌人时则一边骑行一边左右发箭。前赵将领平先也非常勇武、敏捷如飞，和陈安搏战，经过三次交锋，最终夺下了陈安的丈八蛇矛。当时天色近暮而且又下起了大雨，陈安便抛弃马匹，和左右随从藏到山中。前赵士兵到处寻找陈安，但不知道他在何处。
第二天，陈安派部将石容前去窥探前赵军队的动向，被前赵辅威将军呼延青人抓住了。呼延青人向石容严刑拷问陈安的藏身之处，石容始终不肯说，被呼延青人杀死。
雨停以后，呼延青人发现了陈安等人的踪迹，在山涧的弯曲处将他抓住，当即斩杀。陈安善于安抚军中的将士，和他们同甘共苦。他死之后，陇上人想念他，为他作《壮士之歌》：
陇上壮士有陈安，
躯干虽小腹中宽，
爱养将士同心肝。
䯅骢父马铁镂鞍，
七尺大刀奋如湍。
丈八蛇矛左右盘，
十荡十决无当前。
战始三交失蛇矛，
弃我䯅骢窜岩幽，
为我外援而悬头。
西流之水东流河，
一去不还奈子何。
陈安死后，他的部将杨伯支斩杀姜冲儿，献出陇城向前赵投降；别将宋亭杀死赵募，献出上邽向前赵出降。
前赵国主刘曜把秦州杨氏、姜氏等豪门大姓共二千多户迁徙到长安，氐族、羌族各部落也都送来人质请求投降。
刘曜任命赤亭羌族酋长姚弋仲为平西将军，封为平襄公。
刘曜平定陇上后，接着又向西进攻凉州。刘曜派遣部将刘咸进攻驻守冀城的韩璞，又派遣呼延晏进攻驻守桑壁的阴鉴，自己率领二十八万大军屯军于黄河边，营寨连绵一百多里，金鼓之声震天动地，就连黄河的流水都为之沸腾。
凉州西平公张茂部下沿黄河戍守的士兵，都望风而逃。
刘曜扬言要分成一百路同时渡过黄河，直捣姑臧。凉州军民闻讯，大为惊恐。参军马岌劝张茂亲自出城抵御前赵军队，长史氾祎发怒，请求将马岌斩首。
马岌说：“氾祎只是一个无用的书生，有点劝谏、荐举的小才干，却全然不考虑国家大计。明公父子两代多年来就一直想替朝廷翦除刘曜，如今刘曜自行到达此地，远近之人都有心要观察明公的应对举措。当此之时，就应当彰显诚信与勇敢来满足秦州、陇上百姓的期愿。现在我军力量虽然相对薄弱，但从情理上来讲不能不出城迎战啊。”
张茂采纳了马岌出城迎战，屯军于石头。
张茂对参军陈珍说：“刘曜发动三秦兵众，乘着攻破陈安的胜势席卷而来，我们该怎么对付呢？”
陈珍说：“刘曜士兵虽多，但精锐却是极少，他们当中大多都是来自氐族和羌族的乌合之众，恩德和威信也还没有普及全部将士。何况崤山以东后赵正对前赵虎视眈眈，刘曜怎么能不顾心腹之患，而与我军旷日持久的争夺河西之地呢！刘曜二十天内一定会退兵，如果不退，只要给我数千老弱士卒就能擒获他们。”
张茂听后大喜，派陈珍领兵前去援助韩璞。
前赵众将先恐后地想渡过黄河攻打凉州大军。刘曜说：“我军士兵虽然强盛，但畏惧我朝威仪而来的就占三分之二，中军又疲惫困乏，其实战斗力并不算强。现在只需按兵不动，凭借我军威势震慑敌军，如果半个月之内张茂的降表还不送到，就是我辜负诸卿了。”
不久，张茂果然派遣使者送来降表自称藩臣，奉献的马、牛、羊和珍宝等财物不计其数。
刘曜接受了张茂的降表，授予他侍中、太师、凉州牧以及都督凉州、南秦州、北秦州、梁州、益州、巴州、汉中、陇右、西域杂夷及匈奴诸军事，封凉王，赐九锡。
仇池杨难敌听说陈安被杀，十分恐惧，就和兄弟杨坚头向南逃往汉中，呈送人质向成汉请求投降。成汉安北将军李稚因为接受了杨难敌的贿赂，就没有把杨难敌遣送到成都。
杨难敌逃走后，刘曜任命大鸿胪田崧为镇南大将军、益州刺史，镇守仇池。
前赵大军撤退后，成汉将领李稚便让杨难敌回到武都。杨难敌于是依仗险峻地势固守，不再服从成汉。
李稚对自己的失策深为追悔，多次请求出兵征讨杨难敌。李雄便派遣李稚的兄长、侍中、中领军李琀和李稚从白水出兵，派征东将军李寿以及李琀的兄弟李玝从阴平出兵，联合攻打杨难敌。杨难敌发兵抵御，李寿、李玝所部无法前进，而李琀、李稚率领的军队则长驱直入，进抵下辨。
杨难敌派军队截断了李琀、李稚的退路，然后从四面发起围攻。李琀、李稚因过于深入敌地，又无后援，全军覆没。李琀是成汉国主李雄兄长李荡的儿子，素有名望，李雄本想让他作为自己的继承人，如今听说他战死了，心中难受，一连好几天都吃不下饭。
杨难敌攻取仇池，抓获了前赵益州刺史田崧，将他带到面前。
杨难敌的左右侍从命令田崧向杨难敌跪拜。田崧不肯屈服，瞪着眼睛斥骂说：“氐狗！哪有天子大员向叛贼跪拜的道理！”
杨难敌对他说：“田子岱，和我一起共创大业吧。你能忠于刘氏，为什么不能忠于我呢！”
田崧厉色高声说：“氐族贼子，你就是一个奴才，还谈什么大业！我宁愿做赵国的鬼，也不会做你的臣下。”
田崧回过身来，推开并夺下一个人的佩剑，快步向前刺击杨难敌，但没有刺中，被杨难敌杀害了。
不久，前赵武卫将军刘朗又率领三万骑兵攻袭仇池，被杨难敌击败，劫掠了三千多户民众便返回。
前赵忙于平定西疆，而后赵也在不断地扩张地盘。
青州曹嶷拥兵自重，割据一方。后赵国主石勒平定河北后，无法再忍受曹嶷拥兵自重，就派遣中山公石虎率领步、骑兵四万前去讨伐曹嶷。
石虎势如破竹，青州的郡县大都投降了他。石虎进军包围了广固城。
曹嶷孤立无援，自知难以抵抗石虎大军，于是出城投降，被送到襄国处死。
石虎坑杀了投降的士众三万人。石虎性格残暴，喜欢屠城，他原想将曹嶷的部众全部杀死，后赵青州刺史刘征说：“现今让我留下来统治百姓。把人全部杀光了，还怎么统治？我还是回去吧！”石虎于是留下七百名男女分配给刘征，让他镇守广固城。
后赵将兵都尉石瞻侵犯东晋的下邳、彭城，随后又攻取东莞、东海，东晋刘遐无法抵挡，退保泗口。不久，石瞻又攻占邹山，斩杀了兖州刺史檀斌。
除了兵锋向南，后赵也在不断向北扩张。
慕容鲜卑在辽东崛起，并以东晋为正统。石勒为了南北避免两线作战，采用“以夷制夷”的策略，煽动宇文鲜卑攻打慕容鲜卑。
后赵国主石勒加授宇文乞得归官爵，让他前去攻打慕容廆。慕容廆派遣世子慕容皝联合拓跋鲜卑、段氏鲜卑等部落共同抵御宇文鲜卑的大军，以辽东相裴嶷为右翼，慕容仁为左翼。
宇文乞得归据守浇水抵御慕容皝，并派侄子宇文悉拔雄前去抵御慕容仁。慕容仁击败宇文悉拔雄，将他斩杀，然后乘胜和慕容皝一起共同攻打宇文乞得归，大败敌军。
宇文乞得归战败后，丢下军队逃跑了。慕容皝、慕容仁进入宇文鲜卑的都城，并派遣轻骑追袭宇文乞得归，越过国界三百多里还是没有追上，就退了回来。慕容皝将宇文鲜卑国都内的财物珍宝以及数百万的畜产全部收缴，归附的百姓有几万户。
在黄河以南的洛阳一带地区，前赵、后赵与东晋三国势力交错，攻伐不断。
公元324年，后赵司州刺史石生攻打驻扎在新县的前赵河南太守尹平，将他斩首，劫掠了五千多户百姓返回。自此以后，前赵与后赵结成仇敌，两国之间经常互相攻伐劫掠，长安与洛阳之间的河东、弘农等郡县，民不聊生。
石生不仅攻打前赵，也攻打东晋。石生先后寇掠许昌、颍川，俘获了上万人众。
石生接着又进攻驻守在阳翟的郭诵。郭诵与石生交战，石生大败，退保康城。
后赵汲郡内史石聪听说石生战败，就率军急速前来救援。石聪先后攻打东晋司州刺史李矩和颍川太守郭默，均取得了胜利。
东晋司州刺史李矩、颍川太守郭默的军队多次战败，又缺乏军粮，情况紧急。李矩在孤立无援的情况下，为求生存，就使用“驱虎吞狼”的策略，派使者前往前往长安请求归降前赵。
前赵国主刘曜想扩大中原地盘，派中山王刘岳率领士兵一万五千人赶赴孟津，派镇东将军呼延谟率领荆州、司州的士众从崤山、渑水向东进发，想联合李矩、郭默一起攻打石生。
刘岳接连攻克孟津戍、石梁戍，斩获首级五千多，随后将石生围困在金墉城内。
后赵石虎率领步、骑兵四万人前来救援石生，与前赵刘岳在洛水以西展开大战，刘岳战败，又被流箭射中，于是退守石梁。石虎挖壕沟、立栅栏，将石梁团团围住，使得内外隔绝。刘岳的部众没有粮食，非常饥饿，就杀掉战马充饥。前赵将领呼延谟也被石虎的军队击败、杀死。
前赵国主刘曜听说洛阳一带的战况后，便亲自领军前去救援刘岳。后赵石虎率领三万骑兵迎击刘曜。
前赵前军将军刘黑在八特阪大败后赵石聪。
刘曜在金谷屯兵。夜间军中突然无缘无故发生了很大的惊乱，士卒奔逃溃散。刘曜退军到渑池驻扎。
晚上，刘曜的军中再次惊乱溃散，刘曜便退兵返回长安。
前赵国主刘矅退兵后，后赵将领石虎攻下了石梁，擒获了刘岳及其将佐八十多人以及氐族、羌族士众三千多人，全部押送到襄国，还坑杀了九千名刘岳的士兵。
当时，后赵将领王腾献出并州投降了前赵。石虎平定洛阳一带后，便率兵攻打并州王腾，将他擒获斩杀，并坑杀了七千多名士兵。
前赵国主刘曜回到长安时，传来了堂弟刘岳兵败身被擒的消息。刘曜非常悲痛，他穿上素服停驻郊外哭吊刘岳，七天后才进入长安城。刘曜心中愤懑，就生病了。
东晋颖川太守郭默被后赵石聪战败，丢下妻子儿女向南逃跑，回取东晋都城建康。司州刺史李矩的将士私下密谋要背叛东晋投降后赵，李矩无力镇压，也率众南归建康。途中，李矩的部众纷纷逃亡，最后只有郭诵等一百多人跟随着他。李矩途经鲁阳时，坠马而亡。李矩的长史崔宣率领剩余的二千士卒投降了后赵。
从此，东晋的司州、豫州、徐州、兖州地区全部归入后赵。后赵与东晋以淮水为界。
