وأما القضاء:

فقد عاش القاضي أبو يعلى في ظل خلافة القادر بالله، الذي تعتبر مدته في الخلافة أطول المدد، فقد أنافت على أربعين سنة، وكان من الفقهاء المشتغلين بالعلم حتى عده ابن الصلاح في طبقات فقهاء الشافعية.

وكان القادر بالله يميل إلى القاضي أبي يعلى ويقربه. فلما توفي سنة 422 هـ، وخلفه ولده القائم بأمر الله، ولاه على قضاء الحريم، وكان يُشترط لهذا المنصب الجمع بين العلم والزهد، وكان القاضي أبو يعلى على جانب عظيم من الزهد والورع والعبادة والعفة والنظافة. وأما العلم فهو المفسر الأصولي الفقيه المحدث المناظر.

فكان هو المرشح الوحيد لهذا المنصب في رأي القائم بأمر الله. فوافق أبو يعلى على ذلك بعد إلحاح شديد وتمنع متكرر، واشترط على الخليفة شرائط، منها:

أن لا يحضر أيام المواكب الشريفة، ولا يخرج في الاستقبالات، ولا يقصد دار السلطان، وفي كل شهر يقصد نهر المعلّى يوما وياب الأزج يوماً، ويستخلف من ينوب عنه في الحريم. فاستجاب الخليفة لشروطه، وولاه القضاء في الدماء والفروج والأموال، وأسند إليه قضاء حرّان وحلوان العراق (?).

فسار في القضاء سيرة الأبرار النزهاء، فأصلح الفساد، وأنصف المظلوم، وأوصل الحقوق، وفصل الخصومات، وكان في ذلك كله يعرض المذهب الحنبلي على ميدان الواقع، ولا يخفى ما في ذلك من إعطاء هذا المذهب قوته وحيويته في الجانب القضائي، وكان القاضي أبو يعلى من السابقين الأولين في الكتابة في موضوع الأحكام السلطانية (?) من وجهة نظر الإجتهاد الحنبلي، ولعل عمله في القضاء وعلاقته الطيبة مع الخليفة هي التي حفزت همته لذلك.