هناك طرق عديدة يفقد بها القاضي ولايته للقضاء ويخرج منها، وأهم هذه الطرق:
1 / عزل القاضي من قبل الإمام أو نائبه إذا وجد الإمام أفضل منه أو ظهر عجزه وعدم كفاءته، أو أقر بأنه حكم بجور متعمدا أو ثبت عليه ذلك بالبينة. فقد عزل عمر بن الخطاب رضي الله عنه شرحبيل بن حسنة عن القضاء فقال له شرحبيل: أعن سخطة عزلتني قال: لا ولكن وجدت من هو مثلك في الصلاح وأقوى منك في العمل. فقال: يا أمير المؤمنين إن عزلك عيب فأخبر الناس بعذري ففعل عمر ذلك.
2 / فسق القاضي: إذا ارتكب القاضي بعض الأفعال المفسقة كشرب الخمر أو غيره من الكبائر فإنه ينعزل لحظة فسقه ولا تعتبر أحكامه بعد تلك اللحظة. قال ابن قدامة: (فأما إن تغيرت حال القاضي بفسق أو زوال عقل أو مرض يمنعه من القضاء أو اختل فيه بعض شروطه فإنه يعزل بذلك ويتعين على الإمام عزله وجها واحدا) .
3 / الردة: لأن الإسلام شرط في صحة ولاية القاضي، وشرط في استمرارها، وعلى هذا فلو ارتد قاض عن الإسلام فإن ولايته للقضاء باطلة من تلك اللحظة التي ارتد فيها.