ثم عُزل مدة لطيفة، ثم أُعيد، ثم عُزِل بأخيه بهاء الدين، وتوجَّه إلى مصر على وظائف أخيه، ثم عاد إلى القضاء على عادته، ثم عُزل وحصل له محنة شديدة، ثم عاد إلى القضاء. واستمر به إلى أن توفي عام 771 هـ (?).

ولقد كان التقي يُوصِي ابنه التاج - رحمهما الله - أن لا يطلب القضاء ولا يرغب فيه؛ لئلا يُوكل إلى نفسه فيهلك، فإنَّ مَنْ تولى القضاء ذُبح بغير سكين.

يقول التاج رحمه الله: "وكان يقول لي في أيام مرضه قبل أن يحصل لي القضاء: إيّاكَ ثم إيّاكَ أن تطلُبَ القضاء بقلبك، فضلًا عن قالَبِك، فأنا أطلبُه لك؛ لعلمي بالمصلحة في ولايتك لك ولقومك وللناس، وأما أنت فاحذَرْ، لئلا يكِلَكَ اللهُ إليه، على ما قال - صلى الله عليه وسلم -: "يا عبدَ الرحمنِ (?) لا تَسْألِ الإمارة" (?) الحديث.