太兴三年六月祖逖确定刘琨死讯，无比悲痛，立像立碑。命军士司长个个身穿素服，吊祭刘琨。又命公孙成和王安将写给王敦的信带去送到王敦处，暗中告知慕容廆“段部生死，公当自断。”祖逖自此设置将座旁空位，经常自言自语对空位说到：“越石，今戎狄之盛，古之可有？”</p>
“汝与我，闻鸡起舞，志在报国。”</p>
“汝怎能先我而去？”时而暗自流泪，数日不见一人、不食一餐、不言一语。刘琨婢女武氏南下，到了祖逖处。献上刘琨平时写的诗集，和一支胡笳。祖逖一概收归，将胡笳立于空座，不停的念刘琨的诗，直到声哑低靡才肯停下。</p>
八月督军童建与董昭因为战后分配不合，怒上心起。派人遣刺客袭杀董昭又命人送信石虎表示归降。刺客至帐内，董昭与刺客相战。董昭赤手空拳刺客持剑，二人互博十回合，刺客不敌被董昭用胡凳砸昏，众人急忙进入董昭帐。刺客苏醒和盘托出。祖逖不禁赞道：“不愧为我之典韦，能自力而保！”童建得知刺客失手后，惶恐不安携亲信三百人北渡黄河投于石虎。石虎亲自迎接，对童建说道：“汝此来相投，乃弃暗投明。既封你为都尉！”童建感激不尽。</p>
太兴四年，二月祖逖派董昭攻汝南郡，桃豹败退而走。两军对峙四十余日后，祖逖，桃豹粮食逐渐不足。祖逖问于众人破解之法。</p>
桓宣见此说道：“祖公善兵戈，却不知兵法。”</p>
祖约说到：“我兄若不知兵，何有今日之业？”</p>
祖逖止住祖约让桓宣继续说下去。</p>
桓宣说到：“有言道，实者虚之，虚者实之。如同诸葛武侯骗司马懿之粮，有怒而不敢攻，有粮皆献于我也。”</p>
祖逖让桓宣继续说下去，桓宣说到：“桃豹军粮，由汴水而下。我诈而诱之，必获其粮。”</p>
祖逖大喜说道：“汝真乃我之郭嘉！”</p>
众人商议后于是命士卒一百夜中装粮运送，桃豹斥候查看后报于桃豹。桃豹领军攻之，夺取祖逖军粮。发现祖逖粮车中粮袋，个个饱满，打开看到粟米充盈，于是认为祖逖粮食充足，斥候所报有假，于是斩斥候三人。派人向石勒索粮，要求快速补给，祖逖在汴水设伏兵三百由董昭带领，石勒粮船到后，桃豹命人搬运。粮船离去，粮袋堆积如山。桃豹命人清点，这时伏兵四出，桃豹弃粮而逃。祖约尽夺石勒运给桃豹的军粮，逼得桃豹退守东燕。祖逖命冯宠进占封丘，压逼桃豹，桃豹因军中无粮只能撤兵。三月公孙成和王安回到祖逖处，祖逖问二人王敦与朝中诸事。二人一一作答，得知戴渊将要接替祖逖。祖逖三日一言不发，不进食。众人见状苦求祖逖，为当下而谋。祖逖这才恢复以往。</p>
四月桃豹败逃后，祖逖又多次出兵进攻石虎麾下赵军，使石虎疲于防守。石虎问计冉良，冉良不知如何是好。</p>
李农建言道：“不如暂时北退，以防祖逖夜袭！”</p>
石虎听从。</p>
于是二人撤军黄河以北。河南境内有赵固、黄建安、倪超、上官巳、公孙珑（公孙其华）等人割据一方，因各部缺粮，互相掠夺，兵戎相见。倪超部曲被赵固，上官巳二人攻溃，倪超仅剩十人来投祖逖。祖逖接纳倪超并遣王安、桓宣斡旋，王安见赵固说到：“汝自兵一方，何不投祖公？”赵固说到：“于我何益？”王安继续说道：“汝既不投石勒，又为害周边，各路豪强皆想杀汝而并其众！汝疲于应付，若投之祖公。不仅使周身安然，还可为朝建功。”赵固于是答应归附。桓宣见到黄建安时看到石勒的亲信也在这里，二话不说持剑就砍，石勒亲信被桓宣斩杀。黄建安大为恐惧，命人将桓宣逮捕。</p>
桓宣说到：“汝乃晋人，今与石勒共谋。何也？”</p>
黄建安说道：“我势单力薄，欲降石勒何错之有？”</p>
桓宣说到：“今石勒使者死于尔地，汝还想与石勒共谋呼？”</p>
黄建安说道：“乃足下所迫，至我于何地！”</p>
桓宣说到：“北有石勒，周围豪强而据。汝若再杀我，岂不得罪于祖公？”</p>
黄建安于是命人解开桓宣，桓宣说到“祖公正欲北讨石勒，各路豪杰纷纷往之。汝何不投？”黄建安听闻后也只能答应桓宣率部归降。上官巳得知黄建安何赵固二人已投祖逖，不知自己去向，于是询问帐中诸葛青。</p>
诸葛青悠悠然说道：“今晋室必将再乱，君臣不睦。洛阳已复，晋庭却失进取之心。祖逖北伐必然受阻，我等届时又投何人？不如北投石勒。祖逖使者必然到此，令兵众身穿破衣烂甲。持锈器，命众作哀状。来人观之，则自退耳！”</p>
上官巳听从。祖约前来，看到上官巳其人部众，个个有气无力，手持断戈，残破不堪。如诸葛青所料未与其议，自退而走。赵固，黄建安，倪超都服从祖逖，带军攻打赵军。收复黄河南岸中原土地。祖逖礼贤下士，善恤民情，关系疏远、位低之人，也能施布恩信，予以礼遇。将士有功，加以赏赐。他生活俭朴，不畜资产，劝督农桑，深得民心。</p>