وله شعر حسن، منه ما رواه عنه تلميذه القاضي أبو الطيب الطبري: [من المتقارب]
ألا قل لمن كان لي حاسدا … أتدري على من أسأت الأدب
أسأت على الله في فعله … لأنك لم ترض لي ما وهب
فجازاك عني بأن زادني … وسد عليك وجوه الطلب
ذكره الشيخ أبو إسحاق في كتابه «طبقات الفقهاء» وأثنى عليه، ثم قال: وأنشدني قاضي بلدنا أبو علي الداودي قال: أنشدني أبو الفرج لنفسه: [من الوافر]
أأقتبس الضياء من الضباب … وألتمس الشراب من السراب
أريد من الزمان النذل بذلا … وأريا من جنى سلع وصاب
أرجّي أن ألاقي لاشتياقي … خيار الناس في زمن الكلاب (?)
يعني بالأري العسل.
ومن شعره أيضا: [من الخفيف]
مالك العالمين ضامن رزقي … فلماذا أملّك الخلق رقي
قد قضى لي بما عليّ وما لي … خالقي جل ذكره قبل خلقي
صاحبي البذل والندى في يساري … ورفيقي في عسرتي حسن رفق
فكما لا يرد عجزي رزقي … فكذا لا يجر رزقي حذقي
توفي سنة تسعين وثلاث مائة.
أبو عبد الله الحسين بن أحمد بن محمد ابن الحجاج الشاعر، ديوان شعره في عشر مجلدات.
تولى حسبة بغداد، وقيل: إنه عزل بالإمام أبي سعيد الإصطخري.