蔡纪同因在西山筑屋苦读，人称西山先生，张敬夫是湖湘人，学问称湖湘学派。将蔡与张并列齐名，足见其在朱心目中地位之高。
朱熹遭受冤屈，赶出京城，心情沉重地回到考亭，蔡纪同看在眼里，疼在心里，默默地协助朱熹，共同搞好书院教学和经典研读工作，尽可能多做一些，不让他为此烦心。
胡英元弹劾朱熹，罗列十项罪名。作为最了解他的人，不由得义愤填鹰:胡编乱造，夸大罪名，此等行为，竟然也是读书人所为，简直是道学弟子的奇耻大辱。
更可气的是，满朝文武、天下举子士人千千万万，无一人为夫子辩白，是非不分，黑白颠倒，难道不是更大的悲哀吗？
与师弟们谈及于此，愤恨之情溢于言表。一位师弟解释道，没人辩白，不代表大家都认可，什么叫敢怒不敢言，说的就是这种情况，如今有皇上撑腰，韩侂胄一手遮天，谁反对谁辩白，谁就捣霉，这就叫顺我者昌逆我者亡。此种情况下，谁还顶风而上？
蔡纪同不得不承认师弟讲的有理，但作为门徒，不为老师说话，于心不安，有些事即便是可能遭受打击，为了正义和良心，也要去做。
因此，在朝廷收到朱熹认罪表的同时，也收到了蔡纪同的辩白书。今天这个结局，他早就料到了。该来的总是要来的，躲也没用。
到府衙报到的次日，蔡纪同在三子蔡沉、学生邱崇的陪同下，开始了流放之旅。行至考亭赢州桥头，朱熹和数十名弟子在此为他饯行。
此时天色昏暗，空中飘起了雪花，寒风刺骨。两位六十多岁的老人紧紧相拥，禁不住热泪盈眶，四十年来相学相知的情景涌现在脑海：
乾道六年（1169年），蔡纪同再上西山，将书斋修葺一下，取名为疑难堂，继续埋头苦读，而此山东面云谷，有个晦庵草堂，那是朱熹的书房。两个书斋一东一西，遥相对应。朱蔡二人商定，在书斋外各悬挂一盏灯笼，如果遇到难处需要与对方讨论学习，即把灯熄灭，第二天过来解难。两山悬灯，忽明忽暗，成为一道独特的风景。纪同每次到朱熹处，朱熹一定留他几天，二人论学讨论，经常通宵达旦。
与朱熹相比，蔡纪同还有一个令人称道的优点。他是一个纯粹的学者，真到做到了热心教育，潜心治学。几十年来，从不问功名利禄之事，论其学识，在当代凤毛鳞角，如果参加科举考试，进士及第当如探囊取物，可他到了四十岁，仍然不提科举之事，许多朋友劝他，他摇头以对。杨万里、尤褒等大臣向朝廷推荐，孝宗皇帝下诏书，宣他进京，他还是摇头，以自己身体有病为由坚辞，六十多岁了仍是一袭白衣，可他依旧谈笑风生，在众多士大夫中毫无愧色。
朱熹看着与自己患难与共的老友，即将远行，禁不住潸然泪下，拉着他的手说：纪同此去，关山千里，不知何日再能相见？万务多加保重。
蔡纪同泰然自若，云来雨来，其心如镜，不迎不拒，两不相碍。即兴赋诗一首：
执手笑相别，毋为儿女悲，
轻醇壮行色，扶摇动征衣，
关山虽千里，痴情永不移，
断不负所学，此心天可知。