但是令韩昌没想到的是刘虞麾下居然冒出一个杨坚来大败难楼，随后占了人多的优势，但是也足以说明这杨坚的不凡了。要知道，幽州三大势力之中，论麾下士卒，最精锐的无疑是公孙续，其次是公孙度，刘虞最弱。而且难楼能成为乌丸族中最大的一个部落的首领，其能力又岂是寻常，能够大败难楼已经说明这杨坚不是一般人物了。
韩昌在得到消息之后多次验证，在确定了消息的真实性之后便将麾下的七名千夫长给召集了起来，难楼的失败无疑会对他们的计划造成一定的影响。本来以韩昌的计划是迅速攻破李成梁的防御，南下渔阳与上谷的难楼齐头并进的。但是现在难楼被杨坚大败，那么他的计划也需要更改一下了。
在从韩昌口中得到了消息的准确性之后七名千夫长都陷入了沉默，他们自然也明白难楼的大败对他们接下来的行动有着极大的影响。
最后，还是一名千夫长向韩昌询问道：“那不知大人是怎么想的？”
此言一出，另外的六名千夫长的目光顿时就集中在了韩昌的身上，他们现在最想知道的就是韩昌是怎么打算的，因为韩昌才是他们这支大军的最高统帅。
韩昌看了这七名千夫长一眼，淡淡的吐出两个字：“退兵。”
韩昌话语刚落，下面的七名千夫长瞬间就炸开了锅，只见一名性格暴躁的千夫长直接大声道：“不行，不能退兵，一旦退兵我们的的族人就白死了，而且如果现在退兵这个冬天我们不知道还会死多少族人。”
韩昌淡淡的看来这名千夫长一眼，随后说道：“好，那你说说如果我们不退兵，就算我们发起最猛烈的攻势，也根本无法在短时间内攻破李成梁的防御。如果在我们和李成梁交战的时候杨坚率兵抄我们的后路那我们要怎么应对？”
这么千夫长顿时哑口无言，因为韩昌所说都是事实，而且是血淋淋的事实。这些情况这名千夫长也明白，只是这次南下不仅损失了不少族人，而且什么都没有得到，他心中有些不满而已。
韩昌又说道：“至于过冬，以我们今年所储备的牛羊，加上那袁绍许诺给我们的粮食，应该能让大部分族人度过这个冬天了。”
此时，另一名千夫长问道：“大人，那袁绍毕竟是汉人，他的话”
这名千夫长话还没有说完就被韩昌那严厉的目光给瞪了回去，这时他才想起来自己面前的这位大人也是汉人。
看着这名千夫长战战兢兢的样子，韩昌略带些冷漠的说道：“放心，袁绍是汝南袁氏的族人，他还不至于在这样的情况上面算计，而且我们也却是做到了跟他的承诺，他若是不给，那就不要怪我们翻脸不认人了。”
缓了一会儿，韩昌又继续说道：“下去准备吧，明日退兵。”
那七名乌丸千夫长互相对视一眼便纷纷退下了。
看着七名乌丸千夫长离开的身影，韩昌叹了一口气，若是可以，他也不想退兵，但是现在的情况却是容不得他不退兵。最重要的是他得到一个消息，进攻右北平的乌延和丘力居两支兵马大败而回，就连乌延也死在了右北平。
初平三年十月，进攻幽州的四大乌丸部落中，难楼在上谷郡被杨坚所败，重伤而回；进攻渔阳的韩昌得到这个消息之后也退兵回到北疆；进攻右北平郡徐无县的乌延和丘力居二人也被公孙军击败，乌延死在公孙续麾下赵云手中，丘力居独自逃回草原；进攻辽西的苏仆延和丘力居的一部分兵马在辽西郡境内被单雄信、韩存保、章邯等人率兵挡住，多次攻城无果之后也退回了草原。