庆元二年春，在游灵山期间，信州带湖新居突然失火。熊熊烈焰中，整个宅院和充满诗情画意的雪楼，顿时化为瓦砾和炭灰，所幸家人无人受伤。无奈之中，只得搬到铅山瓢泉去居住。
这瓢泉是他几年前游览铅山期思渡时所得。山坡中，只见泉水自石罅中涌出，过一大石梁，上有两窝，一如臼、一如瓢，泉经“臼”再入“瓢”，水质清澈甘凉。辛弃疾生于泉城济南，十分喜爱活泉之水，便将这一带买下，将原名“周氏泉”改为“瓢泉”。此名取《论语》颜回律身自好故事，“一瓢自乐，贤哉回也。”瓢泉依山傍林，泉边有方青石，长约一米有余，可以憩息。
闲暇之余，常倚石苦吟，填词赋诗。就近营建房舍，颇具规模，主要建筑有稼轩府堂、稼轩公馆和秋水观、停云堂以及蛤蟆塘、花园等。飞阁面高岑，东南结构深。
此次弹劾，辛弃疾已被剥去所有职名，没有一文朝廷俸禄。于是取名稼轩，过上耕田种地的农家生活。田野之上，还可以听到，诸如了却君王天下事，赢得生前身后名，可怜白发生。将万字平戎策，换得东家种树书，等等之类的诗句。
如今结发之妻先他而去，痛苦之余，心神倶疲。不再愤恨不平，也没了游山玩水的闲情逸致，遣散了卿卿等八名侍妾，任由她们随意嫁娶，将家中的大小事务交儿子辛稹、辛秬打理，除了读书填词外，常常饮酒渡日。当年，金戈铁马，气吞万里如虎的豪情，已不复见。想起半生的颠沛流离，他提笔以其姓氏自嘲。
永遇乐
戏赋辛字，送茂嘉十二弟赴调
烈日秋霜，忠肝义胆，千载家谱。
得姓何年，细参辛字，一笑君听取。
艰辛做就，悲辛滋味，总是辛酸辛苦。
更十分、向人辛辣，椒桂捣残堪吐。
世间应有，芳甘浓美，不到吾家门户。
比着儿曹，锳锳却有，金印光垂组。
付君此事，从今直上，休忆对床风雨。
但赢得、靴纹绉面，记余戏语。
也是这首词，韩侂胄无意中才知道他的窘况。不久，朝廷下诏到铅山。恢复辛弃疾集英殿修撰、福建冲佑观提举之职位。
辛弃疾的生活又回到了正轨，续娶林氏为妻，戒酒养病。也正是在这种情况下，收到陆游的信。