桓宣武既废太宰父子，仍上表曰：“应割近情，以存远计。若除太宰父子，可无后忧。”简文手答表曰：“所不忍言，况过于言？”宣武又重表，辞转苦切。简文更答曰：“若晋室灵长，明公便宜奉行此诏；如大运去矣，请避贤路。”桓公读诏，手战流汗，于此乃止。太宰父子远徙新安。
桓温罢免了太宰司马晞父子之后，继续给简文帝上奏章说：“应该割断亲近的私情，为长远打算。如果能彻底除掉太宰父子，就会免除后患。”简文帝手书批复说：“这些话我都不忍心去说，更何况去做？”桓温又重新上奏章，言辞更加恳切。简文帝又回复说：“如果晋王室的国运久长，明公就应该奉行我的诏令；如果晋王室国运已去，就让我退位让贤吧。”桓温读诏书时，手抖了，还流了汗，这才终止了杀掉太宰父子的想法。最后把他们远远地流放到了新安。