绍兴十二年，岳飞被害于风波亭，岳云张宪斩首示众，两家家产都被抄没，家属子女分别贬至广南和福建编管。
岳飞妻子李淑贞41岁，长子岳云之妻巩氏22岁，次子岳雷及其妻赵氏都是16岁，三子岳霖12岁，次女岳银瓶11岁，第三代则更小，岳云长子岳甫四岁，长女岳大斏三岁，次子岳申和岳雷之女岳二娘皆刚满一岁。一家九口人，统统充军岭南。四子岳震七岁，五子岳霆四岁在九江沙河老家，家人闻听岳飞父子遇害噩耗，隐姓埋名于湖北黄梅。长女岳安娘已出嫁高家。
千辛万苦到了岭南，行动没有自由，还要接受县衙役吏的监管。岳银瓶略通史书，咬破手指，血书为父辩冤，县衙非但不理，还恶语相向，小小年纪的她极为失望，痛哭了一场，而后抱着大瓷瓶投井身亡。
十多年后，简州士人张孝祥考中状元，首次向高宗奏明：岳飞忠勇，天下共闻，一朝被谤，不旬日而亡，则敌国庆幸，而将士解体，非国家之福也。第一个站出来，要求给岳飞平反。今朝廷冤之，天下冤之，陛下不知也。当急复其爵，厚恤其家，表其忠义吗，播告中外，使忠魂瞑目于九泉，公道昭明于天下。
此时秦桧尚还当政，平反昭雪之事自是无法谈起。岳云之妻巩氏闻讯，含恨而死。
金海陵王完颜亮率几十万大军南侵，企图一举灭亡宋朝，当时朝野上下同仇敌恺，殿中侍御史杜莘老乃杜甫后裔，十三世嫡孙，一向疾恶如仇，骨鲠敢言。奋笔疾书：岳飞良将也，以决意用兵，文致极法，家属尽徙岭表，至今人言其冤，往往为之涕泗，朝廷应为之昭雪，以激励天下忠臣义士之正气。多名大臣及太学生附议。
高宗皇帝只得下诏，解除岳张家属编管，允许其回乡居住。同时，还解除了对蔡京、童贯家属的拘禁。
次年六月，孝宗即位，主张抗金北伐，接受丞相张浚昭雪岳飞之罪的建议。下诏悬赏寻觅岳飞遗骸，寻访岳飞后代，并予封官授爵。
岳飞含冤致死，遗体草草葬于大理寺偏院一墙角，狱卒隗顺敬佩岳飞，冒着灭族之险，将岳飞遗体挖出，背出城门，埋在钱塘门外九曲从祠旁北山之麓，并将岳飞所佩玉环系于腰间，栽两棵桔树为志，竖牌曰贾宜人之墓。隗顺临死前，又将此事告知其子。坚信岳帅精忠报国，必会沉冤昭雪。
隗顺儿子看到朝廷诏书后，就向临安府报告了此事。
孝宗下令，将岳飞遗骸迁葬至西湖边栖霞岭下，岳云、张宪同葬于此，将岳飞事迹写入宋史传记，赐岳坟旁的智果院为褒忠衍禅寺，并在武昌城东为岳飞建忠烈庙。
而后，朝廷再次下诏，宣布追复岳飞太子少保、武胜定国军节度使和武昌郡开国公等职阶爵位，封还食邑六千一百户食实封二千六百户，追复岳云左武大夫和忠州防御使官职，恢复李娃楚国夫人封号，巩氏加封为忠烈夫人，岳雷为忠训郎、阁门衹侯，岳霖为右承事郎。其他成人的子孙都有封赠。
时隔二十年，岳张两家人才抬起了头。但这只算是昭雪，并非平反。在给岳飞复官的制词中，说岳飞遭谗言诬告陷害而被杀，没有表明是冤案。
次年，岳飞长孙岳甫上奏，请求发还岳案时被抄没的岳家在江州的田宅（计钱三千八百二十二贯八百六十三文、田七顷八十八亩一角一步、地十一顷九十六亩三角、水磨五所、屋四百九十八间）等，宋孝宗也欣然准奏。