嘉靖元年，严嵩担任南京国子监侍读，嘉靖四年又擢升为南京国子监祭酒，在这期间，他与同在南京的张璁、桂萼皆有往来，尤其与桂萼往来频繁，二人皆是江西籍，是乡党，平日里诗书往还，多所颂扬，不仅如此，其子严世藩与桂萼之子还同延请一师，关系可谓是相当亲密。
那时，他的官秩要远高于张璁、桂萼，完全有机会融入礼仪派，但当时他却看不清形势，再则也是自持身份，没有掺和到大礼仪一案，待的张璁、桂萼平步青云，先后入阁，他连肠子都快悔青了。
这些年，桂萼对他颇为照拂，他的仕途亦是一帆风顺，不过，鉴于朝中对礼仪派攻讦的凶猛，且张璁、桂萼二人因争权而不和，他一直与礼仪派是若即若离，可即便如此，也经常遭受言官攻讦，嘉靖八年，工科给事中陆粲攻讦张璁、桂萼之时，就连他一块扫了进去。
如今，桂萼病故，张璁致仕，他也被打发来南京养老，这叫他如何甘心？苦苦琢磨之下，他便发现，胡万里或许是个机会，这小子有能耐，点子多，能够时时引起嘉靖的注意，再则，以这小子与张璁的关系，算是不折不扣的礼仪派，张璁复出就无须说了，即便张璁不能复出，李时、方献夫、汪鋐亦会将其纳入一党，多加照拂。
因此，在张璁致仕的这段时期，折节下交胡万里，对他而言。实是利大于弊，难得的是这小子在诗文方面小有名气。完全可以诗书往还。
且说二人进了西院的花厅，谦让几次才分主宾落座，一落座，严嵩便含笑道：“在京师便听闻长青赴福建上任之时，夜游秦淮，连吟两首堪称传世之佳作，老夫此番来南京就任，尚能在秦淮河上听的歌女传唱。一晃三载，长青可另有佳作？”
说什么都好，就是别谈诗词，胡万里夹袋里如今可没有上好的诗词，见对方一开口便是诗词，他便微笑着道：“实不敢当勉庵公谬赞。”微微一顿，他才接着道：“为官以来。整日案牍劳形，忙于打板子，拨算盘，忙着迎来送往，哪里还有闲暇吟诗做词，让勉庵公见笑了。”
见他落落大方。毫不拘谨，严嵩不由暗赞了一声，当下便笑道：“长青这倒是实话，官身不自由，州县官员做为亲民官。诸事繁杂，实是无暇吟弄风月。”略微顿了顿。他才接着道：“秋高气爽，正是郊游佳季，九月正宜观赏栖霞丹枫，长青可有兴趣一道赴栖霞山参与文会？”
文会？胡万里一听便觉头大，金陵文风鼎盛，文人士子多好文会，来南京不过数月，他已是接到好几次邀请，他都是以公务繁忙婉言谢绝，不想严嵩竟然会亲自登门相邀，难道这个大奸臣不仅字写的好，在诗词一道亦颇不凡？转念，他便想到此人乃是有名的青词宰相，想来诗词定然不差。
不过，他如今哪有闲情去参加什么文会，再说，即便有闲情，他也没兴趣，有那闲功夫，还不如携美出游，稍一沉吟，他便道：“勉庵公盛情相邀，实是却之不恭，然笑子如今公务缠身，实是难以得闲，还望勉庵公见谅。”
竟然直接就拒绝了？严嵩不由一愣，他不仅是二品大员，官阶高出胡万里一截，而且素有诗名，早在翰林院做庶吉士时，便得首辅李东阳的盛赞，文章堪称翰林之冠，以如此身份折节相邀，对方竟然毫不犹豫的拒绝了，这让他情何以堪？
见严嵩尴尬，胡万里微微一笑，道：“晚生已上疏请辞，这段时间忙于公务交接，未尽事宜亦须妥善安排，着实无暇。”
上疏请辞？严嵩狐疑的看了他一眼，立时便反应过来，不由暗赞了一声，这小子大有他当年的风范，不过，这小子既管着彩票的发行，又兼着农学院的祭酒，嘉靖却未必会允准他辞官。
略一沉吟，他便道：“长青是何时上的折子？”
听的他如此问，胡万里不由瞥了他一眼，这家伙竟是个自来熟，这种事也开口就问，跟你很熟吗？不过，上折子请辞的事瞒不住，也没必要瞒，而且他也想听听严嵩的看法，这人应该是善于揣摩嘉靖的心思的，当即他便道：“已有二十日。”
听的有二十日之久，严嵩微微一笑，端起茶盅轻轻刮了刮，浅啜了几口，这才放下茶盅，含笑道：“长青圣眷深隆，无须忙于交接事宜。”
见他说的如此肯定，胡万里不由微觉诧异，当下便殷勤的为他续了茶，这才含笑道：“还请勉庵公不吝指教。”