好在祖逖冷静，董昭英勇，最终击退了樊雅。

随后，祖逖率兵追打，但遭到了张平的残部攻击、

于是祖逖向蓬坞堡主陈川、南中郎将王含求援，两人派部将李头和桓宣助阵。

桓宣单骑进入谯城，对樊雅晓之以理，动之以情，再威之以胁。

最终，樊雅归降。

拿下谯城之后，祖逖终于在豫州稳住了阵脚，打开了北伐的线路。

不久，后赵石虎攻打围困了谯城，王含派遣桓宣前来救援。

石虎见此，只能退兵，桓宣留在谯城，协助祖逖征讨附近不肯归附的坞堡武装力量。

公元318年，司马睿改元称帝，成为东晋的开国皇帝。

此后，不久，曾经帮助过祖逖攻打樊雅的李头因感慨想要得到像祖逖这样的主公，结果引起了陈川的恼怒，便将李头给杀了。

李头的部曲跑去投降了祖逖，陈川更加愤怒，派兵到处劫掠发泄，遭到祖逖的痛击，

陈川因此害怕，干脆就投降了后赵石勒。

319年，祖逖出兵讨伐陈川，石虎带五万大军救援，但是被祖逖击败。

石虎恼怒，在豫州到处劫掠一番之后，带着陈川回了襄国，并留部将桃豹守着陈川的坞堡。

320年，祖逖派兵进逼陈川的坞堡东台，桃豹退到西台和北伐军对峙了四十多天。

于是，祖逖又想出了一个计谋，用沙子冒充粮食，唬住了桃豹，让桃豹以为北伐军的粮草非常多，从而士气大衰。

之后，他又设伏兵，抢了石虎运给桃豹的粮草，然后派遣部将韩潜进占封丘，自己则进驻雍丘。

在击退桃豹之后，祖逖又多次派兵截击后赵的军队，致使后赵在河南一带的力量迅速的衰弱。

同时，在河南也有着不少的豪强建立的坞堡武装，祖逖派人联络这些坞堡，对他们晓之以理，动之以情，将这些坞堡的力量，全都拉到了自己阵营，接受自己的统一指挥。