几乎在朝廷诏书到达福州的同时，杨元道就收到父亲的来信。父亲告诉他：赵汝愚能文能武，为人正派，是个难得的好官，只是短于算计，才遭此劫难，为父又不能帮上什么忙，深感不安和愧疚。你身在福建，代表我杨家，去看看他，陪他说说话，让他想开些。
按老父之意，在赵相爷走后的第十天，他以公干的名义西行。昨天就到了邵武军。在驿馆安排了房间，准备了一些衣物和食品。并与驿长商量好，让他在这里好好歇息两天。
看到赵汝愚又黑又瘦，杨元道眼睛红了：
赵叔，按年龄，你比我爸小不了几岁，是我的长辈，按职级，你是我的上司，于公于私，我都应该来看看，送你一程。别的，都不说，来，我敬你一杯，叔，咬咬牙，熬他几年，还是我大宋的宰相。
赵汝愚老泪纵横，谢谢处恭兄，谢谢元道，放心吧，我能挺过去，从此，再也不想在京为官，回乡养老足矣。
二十天后，在江西铅山，辛弃疾将路过的赵氏父子请进瓢泉山庄。与这位昔日的首相，谈理学讲人生，对酒放歌。
心情灰暗的赵汝愚渡过了美好的一天。
一个多月后，进入湖南境内，赵汝愚与在京都时相比，已判若两人。他面色黑红，络腮胡须如同枯草，整个人骨瘦如柴，俨然一乡村农夫。
舟过潇湘，风雪漫天。
这一年，湖南的冬天似乎特别地寒冷，大雪几日不停，到处是银装素裹，来往的行人戴着斗笠，穿着蓑衣，在近尺深的雪中艰难跋涉。刺骨的寒风不住地扑向疲惫已极的赵汝愚，他觉得自己就像随风吹拂的枯叶，不知会落在何方。
终于到了衡州驿站。只想喝口热汤，躺在温暖的被窝睡他个三天三夜。可是不行，知州钱怀仁要来看他。
这钱大人他是有一些印象，可是不熟，怎么突然要来看他这个落难之人，不知是何居心。
钱大人来了，一副皮笑肉不笑的模样。
哎呀，赵副使，一路风尘，受苦了。
赵汝愚像是掉进冰窟里，深身发抖，听其言观其行，方知其不怀好意。龙游浅水遭虾戏，虎落平阳遭犬欺，他沉默无言，只求其快些离去。
赵副使呀，下官曾请你给换个位子，离开这个鸟都不拉屎的地方，而你理都不理。如今山不转水转，想不到高高在上的首相大人，也千里迢迢，到这穷乡僻壤来，下官可不像你，天这么冷，请你喝两杯水酒，暖暖身子。
赵汝愚咬紧牙关，叮嘱自己，且忍一腔无名火，咽下一口宰相气。
儿子赵崇宪上前说道：钱大人，请回吧，家父一路劳累，又感染风寒，需要休息。
对手装怂，钱大人越发得意，继续冷嘲热讽。
当夜，赵汝愚发起了高烧，赵崇宪忙请驿卒找郎中，可是雪越来越大，冰天雪地，路都难以行走，哪里去寻郎中。
老子挣扎在死亡线上，儿子叫天天不应，叫地地不灵。只有朔风在愤怒中发出阵阵地哀鸣，似乎为这位忠心贤良的人叫屈。
第二天，赵汝愚在驿站里闭上了双眼。一代名相落得如此结局，叫人唏嘘不已。
历史记住了这一天：庆元二年，公元1196年2月13日，农历正月十八。
从本质上看，赵汝愚是一个理想主义者，有原则，讲气节，也有政治家所需要的胆识和气魄。最大的问题就是，缺乏一个战略家应有的手腕，略疏而不注意细节，对某些人的私利之心洞察不明，缺少灵活的变通，从而导致事态越发糟糕，最终无法收拾。