金家身为苏州第一家，就住在苏州城北最富饶繁华一带，此地郡邑之盛，甲第入云，名园错综，交衢比屋，街道上更是居货山积，行云流水，列肆招牌，灿若云锦”，朱栏层楼，柳絮笙歌，河面上，船只来来往往，游船画舫款款而过，一等一的富贵之地。
金家的院落本是一个三进三出的院落，虽算不上苏州最富丽堂皇的院落，但也算是数一数二的大户人家，可自从金老爷从朝中退回后，家中就不这么看了，这样的房舍岂能住下一个当朝二品的官儿呢，一番商议，金家就开始大兴土木了，金家既是苏州第一家，要修建，自是要修建一座配得上自家身份地位的院子，为此金家不惜花费重金，寻了一处桃花庵，这里原是宋人章庄简别墅的废墟上仿照陶渊明所说的桃花源，地缩武陵脉，轩开蔚蓝天，造了一座山野田园式的别墅。他造的这座别墅并非是楼榭池馆，因为他的钱不多，实际上只是几间雅致草堂、几个竹亭、竹溪厅、蛱蝶斋。园外一曲清溪蜿蜒流过，溪外一株柳树一株桃。起先金家对此地并不满意，觉得格局太小了，难以与金家的身份地位匹配，但金老爷十分喜欢这里的桃花，金家也只好随了金老爷的意思，将金家搬到了此处，正屋给金老爷独居，其余众人按照长幼有序，住在偏房。虽说是偏房，但也是十步一亭，五步一阁，其富丽堂皇，远胜一般豪门地主可比。
金老爷的主屋，辟了药栏，疏浚后的双荷池，种了荷花，养了池鱼，一派田然景象，金老爷很为满意，取名为桃花庵，自号桃花庵主，最近听人时常唱起，桃花坞里桃花庵，桃花庵里桃花仙。桃花仙人种桃树，又折花枝当酒钱，酒醒只在花前坐，酒醉还需花下眠。酒醉酒醒日复日，花开花落年复年。但愿老死花酒间，不愿鞠躬车马前；车尘马足贵者趣，酒盏花枝贫者缘。若将富贵比贫贱，一在平地一在天；若将贫车马，他得驱驰我得闲。别人笑我忒疯癫，我笑他人看不穿；不见五陵豪杰墓，无花无酒锄作田。觉得这词儿看似庸俗，实则笔力不凡，其难点是“不见五陵豪杰墓，无花无酒锄作田”这一句：
五陵，五陵是汉代长安城外五个汉代皇帝陵墓所在地，分别是高祖的长陵。惠帝的安陵。景帝的阳陵。武帝的茂陵。昭帝的平陵。
五陵原，即是以西汉王朝在这里设立的五个陵邑而得名的。汉高祖九年，刘邦接受了郎中刘敬的建议，将关东地区的二千石大官、高訾富人及豪杰并兼之家大量迁徙关中，伺奉长陵，并在陵园附近修建长陵县邑，供迁徙者居住。以后，汉惠帝刘盈在修建安陵，汉景帝在修建阳陵，汉武帝在修建茂陵，汉昭帝在修建平陵之时，也都竞相效尤，相继在陵园附近修造安陵邑、阳陵邑、茂陵邑和平陵邑。
汉朝时代，重农轻商，尚仁尚俭，没有青楼，即使非常显贵的大官和富人，其富贵也只体现在车尘、马足、显耀、忙碌方面，不能享受寻花觅柳带来的乐趣。唯有到了本朝，经过洪武、永乐、洪熙的励精图治，天下太平，商业繁荣，苏州繁花似景，五湖四海各方富贵人员聚集之地，无论是在政治还是在经济中地位都非常重要。
“不见五陵豪杰墓，无花无酒锄作田。”以金老爷子看，一共有三个意思：第一个意思是，五陵豪杰墓不见了，无花无酒锄作田的社会风气也不见了。第二个意思是，你没看见伺奉五个汉代皇帝墓冢的大官和富人吗？这么显贵的大官和富人都无花无酒，只懂得锄地作田，只解决温饱问题，不解决问题。这样的生活享受还比不上我这么一个闲人、隐士，更不能和明朝的官员比了。第三个意思是，应该对已经成为历史的“五陵豪杰墓”以及“无花无酒锄作田”的社会风气视而不见，不要想着复古。
但从另一面看，这花枝巷之所以能够常年繁荣昌盛，新人一批接一批细水长流、源源不断地进来，背后是有一只看不见的手在默默操纵着，这涉及到一种文化，甚至一种政治理念。有种树，才有花可摘。能通过青楼看穿世情的人不多，能吟唱这首诗的人，算得上一个，不过这其中，也不免有几分自我吹捧的意思，如此一来，“不见五陵豪杰墓，无花无酒锄作田”这一句亦可做这样的解释：看那五陵豪杰多么的风光，如今他们的坟墓也是没有花，没有酒更是被锄开做了良田。和好了歌里面的“古来将相在何方，荒冢一堆草没了”表达的意思相近。这表达一种对功名利禄的淡薄和轻视的感情，给“别人笑我太疯癫，我笑他人看不穿”做了一个很有力的注脚，算是对自己人生的一种自我安慰，自我勉励，要说早在二十年前，金老爷子未必喜欢这种略显颓废放浪之意的诗词，那时候他还年轻，春风得意马蹄疾，自然体会不出诗中的自我放逐的心境，可如今他年事已高，所见所想所感，也不再是二十年前可比了，再来看的话，自是别有一番见解。