太宰武陵王晞，与简文帝系出同胞。简文即位，顾念本支，当然优礼相待。惟晞素好武事，又与殷浩子涓，常相往来。浩殁时，温遣人赍书往吊，涓并不答谢，为温所恨，因并及晞。新蔡王晃，系从前新蔡王腾后裔，亦与温有隙。还有广州刺史庾蕴，太宰长史庾倩，散骑常侍庾柔，皆为前车骑将军庾冰子，就是废帝奕皇后庾氏的弟兄。庾后既连带被废，降为东海王妃，温恐庾家族大宠多，阴图报复，于是想出一法，先扳倒武陵王晞，诬他父子为恶，曾与袁真同谋叛逆，因即免官归藩。简文帝不得不从，出晞就第，罢晞子综晞等官。温又迫令新蔡王晃，诬罪自首，连及武陵王晞父子，并殷涓庾倩庾柔等，一同谋逆，且将太宰掾曹秀，舍人刘强，凭空加入，一古脑儿收付廷尉。御史中丞谯王恬，即谯王承孙。阴承温旨，请依律诛武陵王怛。简文帝复诏道：“悲惋惶怛，非所忍闻，应更详议。”温复自上一表，固请诛晞，语近要挟，简文帝手书给温，内有晋祚未移，愿公奉行前诏；若大运已去，请避贤路云云。温览到此诏，也不觉汗流色变，始奏废晞及三子家属，皆徙新安郡，免新蔡王晃为庶人，徙锢荥阳。殷涓庾倩庾柔曹秀刘强，一律族诛。简文帝不便再驳，勉依温议，可怜殷庾两大族，冤冤枉枉死了若干人。炎炎者灭，隆隆者绝。庾蕴在广州任内，闻难自尽，蕴长兄前北中郎将庾希，季弟会稽王参军庾邈，及希子攸之，并逃往海陵陂泽中。独东阳太守庾友，也是蕴兄，因子妇为温从女，特邀赦免。温自是气焰益盛，擅杀东海王奕三子，及田氏孟氏二美人。旋复奏称东海废黜，不可再临黎元，应依昌邑故事，筑第吴都。简文帝商诸褚太后，请太后下令，谓不忍废为庶人，可妥议徙封。温复奏可封海西县侯，有诏徙封奕为海西县公。废后庾氏，积忧病殁，尚追贬为海西公夫人。会吴兴太守谢安，入为侍中，遥见温面，便即下拜。温惊呼道：“安石谢安表字见前。何故如此？”安答道：“君且拜前，臣难道敢揖后吗？”温明知安有意嘲讽，但素重安名，不便发作，且默记前时女尼微言，也有戒心，因即上书鸣谦，求归姑孰。诏进温为丞相，令居京师辅政。温仍然固辞，乃许他还镇。
秦王坚闻温废立，顾语群臣道：“温前败灞上，后败枋头，不知思愆自贬，遍谢百姓，反且废君逞恶，六十老人，作此举动，怎能为四海所容？古谚有云‘怒其室，作色于父’便是桓温的注脚呢。”