悲愤之中的岳鹏飞在不得以的情况之下，也只能率领剩下的五千封家军将士撤离了雁门关。
“岳将军，让我们留下吧！我们想多杀几个金兵，替将军报仇！”
从太原府突围来到雁门关的杨再兴听说岳鹏飞准备放弃雁门关，与杨青云和李一凡三人来到岳鹏飞面前。
岳鹏飞抬眼看着眼前这三张被战火熏黑的面孔，摇头说道：“将你们留在这里没有任何意义。其实，我也想留下来，多杀些金兵，好为将军报仇。可是，这支封家军是将军亲手交到我岳鹏飞手上的，我不能让封家军在我手上覆灭。你们要记住，就算战神已经消逝，但我封将军的军魂永存。杨青云，李一凡，杨再兴，现在我命令你，带着你们手中剩下来的五千封家军将士，与我撤离雁门关，保住封家军的根。”
杨青云等三人回头望向雁门关外那密密麻麻的金兵，内心纵有满腔怒火，也只能在现实垂下了头。岳鹏飞说的没错，他们必须保住封家军的根。纵然五千封家军将士还能再杀一万金兵，但若封家军在雁门关金军覆没，那他们又将以何颜面去地下面见一手建立封家军的将军？
由于太原府已经完全沦陷，五千封家军将士东，南，北三面均是金军。从雁门关退下来，封家军向西一路转到西夏境内，然后再经西夏转回宋境，辗转数千里，避开金军围堵。用了一年的时间，最后来到江南临安，与临安的南宋朝庭会合。
至此，金军基本上可以说是攻占了曾经大宋淮水至大散关一线的所有领土。
来到临安后，岳鹏飞由于在雁门关的出色表现，得到刚登基成为皇帝的宋高宗的赏识，也让刚建立的南宋朝庭对岳鹏飞刮目相看。
建元二年，金军基本上稳固了淮水以北曾经大宋的所有领地，渡过淮水，向南宋发起了进攻，没多久便攻占了南宋大片土地，一直打到了江南苏州城外。
刚建立的南宋朝庭在金军铁蹄下摇摇欲坠，封岳鹏飞为清远军节度使，江南东路制置使，前往苏州抗击南下的金军。