桓谭记得，自己南下前，第五伦用手指着太阳穴，如此说道：“而是思想上的疾病！”
此番换俘的真正目的，是为了瓦解刘秀阵营的意志——当四千俘虏期间好吃好喝的汉兵回到淮南江东，必然会将他们的经历告诉乡党邻居，因幽冀军团军纪差而被妖魔化的魏朝形象，便能得到一定扭转，等再打仗时，淮南、江东士卒便不会拼死而战，而是心存侥幸了。
再者，这四千人里，绣衣卫也已经策反了不少人，他们一旦回家，便是鱼入大海，成为打入敌人内部的细作间谍，可使未来灭吴之战事半功倍。
虽然很希望刘秀能答应换俘，但第五伦并未给桓谭下死命令，休战换俘一事，是连环计，在第五伦出手那一刻，就给刘秀埋下了许多个大坑，不论他选择进退，都会踩中。
于是桓谭也不多言，起身拂袖道：“吾主仁德，这才力排众议发国书，遣我至此，既然吴王不愿接回来君叔、刘植尸骸，不愿四千江东子弟归乡，桓谭也不必久留，今日我便启舟北返！”
……
和来时一样，桓谭的舟船缓缓离开当涂，向淮北驶去，他的族侄桓荣未来相送。
但等那船帆就快消失不见时，桓荣的身影才出现在码头，朝族叔作揖拜别，许久才重新抬起头来，桓荣脸上，竟已是泪流满面。
“族叔昔日教诲、资助，桓荣绝不敢忘，然忠君大于宗族之悌、师长之义，既然各为其主，桓氏二龙，便只能以淮相隔了！”
“自此一别，恐怕再无相见之日。”桓荣是固执的人，哪怕大汉处于弱势，哪怕未来当真无法战胜第五伦，他也会效仿刘植等人，殉汉而亡！
而盱眙行辕处，得知桓谭已走，刘秀怅然若失，只在无人时对邓禹感慨道：“桓谭此来，是第五伦欲在伐兵之后，再度伐谋。”
刘秀当然看穿了第五伦的小伎俩，这哪里是四千俘虏啊，分明是四千把搅乱南方人心的匕首！
邓禹颔首：“所幸早早看穿，逐走了桓谭。”
“不然。”这才是刘秀最无奈之处啊，他说道：“吾等虽千防万防，但还是中了第五伦诡计啊。”
事后刘秀仔细思索，发现即便拒绝，他仍是踏入了第五伦的陷阱。
刘秀苦笑道：“依照第五伦行事，必定对桓谭使汉大肆宣扬，淮北士民饱受战乱，期盼休兵；四千淮南、江东被俘兵卒也心生侥幸，觉得有机会返乡。”
“而今，彼辈得知朕拒绝休战、换俘，定大失所望，第五伦再加以引导，甚至会对朕与大汉心生恨意。下一场仗，淮北士民、东南俘虏，恐将反戈相向。”
邓禹是聪明人，立刻明白过来了，顿时惊出了满身冷汗。
同理，被刘秀拘禁在江东的盖延、渔阳突骑，听说第五伦主动换俘，肯定也会心存愧疚，得知刘秀不肯放人，心怀怨念下，又岂会倾力助汉呢？
前后左右都是陷阱，不论往哪边走都会落得一身污，只能两害取其轻。
“如此一来，第五伦博得仁德之名，反倒是朕陷于不义了。”
刘秀只唏嘘：“今日方知第五伯鱼智计百出，绝非虚闻，此人从不无的放矢，每一次引弓，射来皆是毒箭！无怪乎吾兄英雄一世，竟陷于渭水。”
事已至此，又该如何补救呢？邓禹提议：“既然如此，那四千俘虏家眷，是否要迁入闽中，以绝其乱？”
“不可，朕岂能以小患而失信义于天下？”
刘秀咬牙道：“令人宣扬，就说是第五伦明为换俘，却暗藏兵甲，欲渡淮水，故换俘不成，皆乃魏人之责也！”
“再传密诏，令地方不得刁难四千户人家，若有孤儿无人抚养，皆收入羽林，朕视之为赤子！”
既对外表明了皇帝的一片赤诚，这些孤儿又相当于人质，足以令那四千淮南俘虏不能全心全意投效第五伦。
邓禹直道此策高明，但刘秀却不怎么高兴，甚至有些难过。
“仓促之策罢了，伦以谲，吾以诚，每与伦反，汉方可成事，然今为第五伦毒计所迫，不得已也用诡谲，朕心不安啊。”
邓禹连忙安慰：“兵者诡道也，陛下无须自责。”
刘秀却不这么认为：“本当用祖制，以王霸道相杂取天下，如今却效仿第五伦，同流合污。”
面对这难缠的对手，自起兵后第一次，一向自信的刘秀，竟也有了巨大的无力感，他指着北方，仿佛能看到既得徐，复望扬的强敌
“仲华，若单论玩弄阴谋，纵是吾等加起来，又岂是第五伦的对手呢？”