宇文化及率十万精锐大军，打破了江南反王联盟的围堵，从江都离开，一路北上，过了淮水，进入下邳郡。
这里有一位反王，名为张起绪，淮南人，用兵三万囤积在下邳一带。
宇文化及军中有鱼俱罗、宇文成都的猛将，自然派上了用场，经过正面交锋，击溃了这支叛军，于是在下邳郡停留数日，又进攻彭城郡。
彭城郡有两位反王，分别是魏麒麟和张大彪二人，各有数万人马，占山为王，盘踞几处县城。
杨士览劝道：“宇文丞相，我们攻彭城郡，在这里鏖战，没有任何意义，徒增伤亡，将士们战斗欲不高，他们渴望尽快赶到东都去，我们不如西走汝阴郡、汝南郡，在那里补充粮草，汝阳那里有一些贵族门阀，胁迫他们提供粮草，以及修缮武器等，补充我军的消耗，从汝南郡北上，就是颖川郡，也是洛阳的南大门户，我们在那里坐山观虎斗，看李密与王世充两败俱伤，然后趁机拿下东都，宇文丞相说不定能够把持着半壁江山了。”
宇文化及听了有些心动，与弟宇文智及、儿子宇文承基、宇文承趾等商议后，觉得十分可行，便下令全军更改路线，朝着汝阴郡进发，放弃了继续攻打彭城郡的进军战略。
不过宇文化及生性薄凉，又贪图富贵，没有枭雄的能力，所以时间久了，当初推选他首领的那批将领开始有了意见，只是司马德湛是前车之鉴，所以暂时没有人敢谋划兵变之事，但态度消极，对未来并不看好。
裴矩没有死在江都宫变，得以保命，但是他心情很差，因为他对宇文化及的能力摸得清楚，知道他难以成就大业，在反王争雄中，注定会失败，而且各方大势力，都已经把宇文化及作为征讨对象，可谓过街老鼠，人人喊打。
“叔父，我们裴家到底站那一边，难道真要与宇文化及成为一丘之貉吗？”裴尚勇有些埋怨。
裴矩瞪他一眼，伸手指凑在嘴前嘘了一声，然后走到军帐门口向外张望，见没有暗哨旁听之后，转过身道：“裴家底蕴深厚，人才济济，虽然裴蕴兄被宇文化及一怒之下斩了，但我裴族人并没有遭到大屠戮，元气未伤。如今我们可以躲在暗处，继续观望。目前裴仁基父子投靠了李密，裴寂成为李唐的心腹文臣，还有其它裴族人各自效力不同的藩王，这是分开投入，把蛋放在不同篮子，总有成功者，一流门阀的气运就不会衰落。”
裴尚勇道：“叔父，侄儿举得西北军能够成事，打算途中溜掉，投奔大华，不知是否可行？”
“你一个人走太危险了。”
“不光我自己，还有几位俊彦，他们也都打算逃离队伍，投奔明主去。”裴尚勇起了激情，对西北战事的消息格外关注。
裴矩犹豫片刻，才叹道：“好吧，我会给你安排一个小差事，留下来打点粮草之类，到时候，去留就靠你自己选择了。”
“多谢叔父成全！”裴尚勇抱拳，神色兴奋。