وبنيت له في بعض الأوقات موضعها دكة، ثم أزيلت، وذلك قبل ولايته للقضاء. ولما بنى أَبُو المعالي بن النبل مدرسة بالريان جعلها للحنابلة، وفوض أمرها إلى القاضي أبي يعلى هذا. وكان ذا فصاحة، لسن.
ومن بعض كتبه إلى بعض العلماء: فلو أن الكرم مقلة كان هو إنسانها، أو المجد لغة لكان هو لسانها، أو السؤدد دهرا لكان هو ربيع أزمانه، أو الشرف عمرًا كانت صفوة ريعانه، أو الأجواد شهبا لكان هو الشمس التي إذا ظهرت خفيت الكواكب لظهورها، وإذا تأملها الراءون ردت أبصارهم عن شعاعها ونورها.
وللشيخ أبي الفرج بن الجوزي في القاضي أبي يعلى هذا مدائح كثيرة.
فمن ذلك قوله يهنيه بقدوم رجب، أنشده عنه ابن القطيعي في تاريخه: