于是当天晚上，二更时分，杨玄感就悄悄的带着全军撤退，为了能够多争取一点时间，他甚至下令，营寨物资等全都不带，甚至许多投奔他的兵马的家眷老营，也都不带。
杨玄感逃命的速度还是很快的，他与李密两军汇合，各只带了约三万人南逃，沿着运河先南下，然后再沿蔡水进入淮阳郡，绕过赶到许昌的卫文升军，往汝南、南阳跑，经南阳盆地逃入山南，直奔武关而去。
不得不说，这一招还真是大出各路官军意料之外。
杨玄感跑了一夜，荥阳关上才发现他们半夜跑了，张须陀和裴仁基一商议，得防杨玄感搞花招，于是裴仁基率兵一万出城追，张须陀继续镇守虎牢关。
裴仁基兵少，不敢追太近，于是一路吊在后面慢慢追。
那边卫文升带着六万兵马刚辛苦赶到许昌，结果收到消息说杨玄感居然已经从他们南边跑了。
于是卫文升也只得带着兵马汇合裴仁基一起追。
一开始，卫文升和裴仁基都不敢确定杨玄感是要去武关，还都一直认为他更有可能是要绕过虎牢，杀到洛阳去。
所以一路上，左截右堵的，结果预料错误，倒是让杨玄感成功的杀入南阳。
这时再要追，已经有些来不及了。
进入南阳盆地，这时候许多叛军都不愿再跑了。一路上逢郡过郡，逢县过县，不攻城不破县，只知道跑跑跑，为了速度带的粮食也不多。
一路上叛军粮食已经吃的差不多了，这几天都开始减少配给，叛军大多都吃不饱。
因此到了南阳城下，不少将领就向杨玄感进言，说南阳空虚，又多粮食，攻之易下。南阳是一个大盆地，这里向来是十分富裕之地，说存粮多是没错，南阳空虚也没错，因为之前卫文升从南阳附近经过，也从这里召走了守城之兵。
还有人跟杨玄感说，过了南阳，再往西进，可就都是险山恶水，到时若是诈不开武关，少不得还得强攻硬打，若是军中无粮，士兵疲惫，还如何攻城呢？
所以，先趁南阳空虚，咱们攻破南阳，好好的吃顿饱饭，顺便抢掠一下，振奋下军心士气，咱们然后再去攻武关不迟。
杨玄感左想右想，觉得也确实是这么个理啊，没粮食还怎么打仗，于是同意。
李密率领后军，听说这个消息赶紧来见杨玄感，苦劝说我们之前可是说好的要兵贵神速，要诈开武关，咱们在这里打南阳，那武关不是一下子就知道了咱们来了？还如何骗？再说了，卫文升和裴仁基两狗日的就一直在后面追着呢，虽然判断失误，以为我们会去洛阳，所以跑北面封堵，可如今知道我们要去武关，肯定正全力赶来，咱们这个时候还在这里打南阳，到时他们大军一到，咱们前不得据关，退无所守，大众一散，何以自全？
杨玄感听后觉得这话也很有道理。
但犹犹豫豫半天之后，杨玄感还是决定攻城，“军不可无粮，无粮则自溃也，且先待我取下南阳，夺城中之粮再说。”
南阳城兵确实不多，但南阳也是一座大城，而且太守还是杨家的宗室。他守起南阳来，比谁都积极，别人城破了还能降杨玄感，他能降吗？再说了，谁不知道杨玄感要完。
所以他全力组织守城，杨玄感猛攻三日，结果居然没攻下来。
而这宝贵的三天时间，却又让卫文升和裴仁基终于赶到。
一边是军已无粮的六万叛军，一边是好不容易追上叛军正士气如宏的七万官军，两军毫不客气的在南阳城下大战。
毫无悬念，杨玄感虽猛，可他的六万兵根本比不过卫文升和裴仁基的七万官军，更别说全军又饥又疲。
一日十战，十战十败。
杨玄感军溃百里，六万众一日散尽，只余十余骑相随狼狈逃窜，李密李子密等也全都在混战中溃败失散！