杜伏威在江都安下了无数眼线，当隋军一出兵，他很快便收到了飞鸽传信，也立刻料定隋军要继续打击自己了，在隋军骑兵过六合县时，杜伏威就接到了第二封鸽信，结合隋军大船入江，他终于能判定隋军这次出击的目标，一定是历阳郡。
杜伏威为了给隋军当头一棒，他亲率大军在桃叶山布下埋伏，可惜驿丞不得力，没有把隋军骑兵全部引入埋伏圈，使他战果不显，只歼灭了百名取水的隋军骑兵。
杜伏威目光凶狠地望着远处，良久，他恶狠狠下令道：“全军北撤，去钟离郡！”
一万大军调头离开了桃叶山，向北方的钟离郡撤去.......
三天后，隋军船队抵达了历阳郡，长江南岸是丹阳郡的江宁县，长江北岸则是他们这次出征的目标，杜伏威设在历阳郡的老巢。
房玄龄匆匆来到张铉的船舱前，他低声问门口亲兵道：“将军怎么样了？”
昨晚他们接到裴行俨的急报，骑兵在桃叶山遇伏，阵亡骑兵九十七人，一直对张铉忠心耿耿的骑兵偏将陈旭也不幸在伏击中阵亡，这对张铉打击很大，众人都不敢相劝，只能等他自己平静下来。
亲兵悄声道：“还好，已经恢复正常了。”
这时，船舱里传来张铉的声音，“是军师吗？请进！”
“正是卑职！”
房玄龄走进了船舱，只见张铉正坐在小桌前细看一张地图，房玄龄从地图轮廓，推断出张铉是在看历阳县一带的地形图。
“军师有什么事吗？”张铉收起地图笑问道。
虽然陈旭和骑兵弟兄阵亡给他一个沉重打击，但张铉毕竟是从血腥战场上杀出来的主帅，对生死看得并不重，他已经恢复了常态。
“将军，斥候带来最新情报，现就在外面等候。”
“带斥候去军议舱！”
不多时，一名斥候快步走进军议舱，上前单膝对张铉禀报道：“启禀将军，我们找到了位于六合山南麓的贼军老巢，但现在只剩下一片被大火烧毁的废墟，贼军已经撤离了，带不走的粮食也被他们全部烧毁。”
这个结果在张铉的意料之中，杜伏威既然伏击了隋军骑兵，就说明他们已经知道自己到来，要么积极备战，要么就撤退，看来杜伏威选择了后者。
尽管张铉料到杜伏威可能会撤走，但当这个消息真的到来时，张铉心中还是感到异常愤怒，那意味着他暂时无法为自己死去的弟兄报仇，他的脸色阴沉得十分难看。
军议舱的将领们面面相觑，他们还是来晚了一步，杜伏威居然知道隋军到来，提前撤走了，他们下一步怎么办？
这时，张铉冷冷令道：“船队继续南下，去历阳县！”
旁边参军裴弘劝道：“恐怕罗柱山那边的贼军也撤退了。”
张铉哼了一声，“我不是去打贼兵，我要去拜访历阳太守，看看他给我一个什么交代？”
房玄龄暗暗叹息一声，他明白张铉的用意，如果张铉决定对江淮官府下手，恐怕他是要接受江南士族，和江淮士族对立了。
.......
历阳县是历阳郡郡治，也就是今天安徽和县，是一座位于长江北岸的大县，有人口近二十万，尤其采矿业发达，由于历阳也是大隋重要的铁矿和铜矿产地，生活在历阳县的矿工足有一万八千余人，加上他们的家眷，在历阳县仅靠铁矿为生的人就有七八万人之多。
由于历阳郡北靠江都，紧邻长江，和江宁县隔江相望，历阳郡便成为了杜伏威的核心统治之地，历阳县在某种程度上也成了杜伏威的都城。
虽然杜伏威纵横江淮，但他和青州及河北的乱匪不太一样，他没有据城而守，且兵力分散江淮各地，历阳郡名义上依旧是隋朝的郡县，太守也年年向吏部提交述职报告。