在汴梁失陷后，双方都属于主战派的一员，但王番心里还是不满徐怀很多桀骜不驯的做法，欣赏不来。
还有一个就是汴梁失陷后，建继帝刚到襄阳即位登基，王番志向颇大，甚至自以为乃是朝中主战派领袖，而当时楚山根基还未稳，王番多少还有些看不上徐怀。
实际上即便是从汴梁突围杀出来，曾在王禀麾下听命作战的刘衍等将，也与枢密使胡楷的关系更为亲近。
王番到荆湖北路出任兵马都部署，都不能算是提拔任用；王番私下也抱怨他到地方应该任经略使，至少也该是转运使。
而建继元年以来，短短三四年间，徐怀封爵还是靖胜侯，但楚山行营从最初淮源、楚山、信阳三县，军民不过二十万众，到此时辖申汝蔡三州，军民七十万众，根基越发深厚。
当然，还有一个关键原因，就是建继帝刚到襄阳登基即位时，王番以及所有的王氏族人都还是深深受崇文抑武的传统影响，即便王氏一族内部议论王萱的婚事时，也都觉得侍中、尚书人家才是良配……