吕夷简原籍京东路莱州，因其祖父吕龟祥曾任安徽寿州知州，故吕氏移家寿州。吕夷简出身仕宦之家，伯父吕蒙正乃是太宗和真宗时期的宰相，父亲吕蒙亨官至光禄寺丞、大理寺丞。
这样显赫的身世让他在官场上平步青云，赵祯当初也重视过他，不过因为他和王曾之间的矛盾，使得赵祯对他的人品开始怀疑。
曾经的一件小事一直让赵祯念念不忘，西溪每家都有种植***的习惯，而吕夷简到任后，受其感染，也植牡丹一株，聊以**。
他这般的官员种植牡丹自然与旁人不同，对待这种赏玩之物竟围以朱栏，悉心呵护，花开百朵，成为海滨盛事。
吕夷简月下看花，情不能己，当即赋《咏牡丹》一首：异香浓艳压群葩，何事栽培近海涯。开向东风应有恨，凭谁移入王侯家？
诗词的内容自然是吕夷简以花自喻，其怀才不遇之情溢于言表。
而就是这首《咏牡丹》让赵祯心中不爽，既然夸耀自己的才华，那就应该有对应这些才华的功绩，后来赵祯把他召回朝堂这数十年间，他吕夷简几乎默默无闻，所有的上疏内容在赵祯看来千篇一律，全部挑拣那些最为稳妥的事情来办，办好了有功，办不好了也无过，这样的人就是官场之中最为圆滑的存在，完全是混资历的典型。
而且吕夷简此人为人气量狭小，虽有才气也不能服众，官员之中对他的风评也不是很高，最喜欢安稳保守，反对革新。
曾经出任同平章事的他过于专权，对待反对他的人不够宽容，这些人物常常被他贬往远方任职，而有趣的是其中就有孔宗愿的父亲孔道辅。
而欧阳修的扒灰案和他也有说不清道不明的关系，毕竟是做了几年宰相的人，其他人或许还会嘴下留德为为尊者讳，但欧阳修却不在乎。
大宋的风气本就开放，没人会因为说话而担心得罪某人受到打击，这相反会变成德行有愧的表现，于是欧阳修毫无顾忌的在公开场合批评吕夷简。
“二十年间坏了天下。其在位之日，专夺国权，胁制中外，人皆畏之”。
寻常人也就罢了，被欧阳修这般简在帝心的人物如此批评，本就气量不大的吕夷简心中记恨。
而钱明逸却是吕夷简一手提拔起来的谏官，欧阳修现在是礼部尚书，主持文道改革，在这个最关键的时候被人用“扒灰”这种腌臜事泼身，聪明人很快就能联想到吕夷简。
但事情是钱明逸做的，吕夷简只不过是当年提拔他的人，两人之间的关系还没到可以互相指挥的程度。
谏官一项都是清流，绝不会和其他高官同流合污，最关键的是吕夷简已经致仕。
按道理来说以吕夷简这样的高官致仕，年龄也不小，朝廷多少也应该分个公爵之类的爵位以显示他的身份。
但赵祯偏偏没有给他以公爵为封，而是以低一等的文忠侯为封爵，同样现在还是宰执的范仲淹却是许国公，两者之间的差距非常之大。