وصنف في ذلك كتابًا، وأسمعه، وصنف الآخر كتابًا سماه: "الرد على المتعصب العنيد المانع من ذم يزيد"، وقرأته عليه، مات عبد المغيث وهما متهاجران. وقلت: هذه المسألة وقع بينهما بسببها فتنة، ويقال: إنه تبع أبا الحسين بن البناء؛ فإنه صنف في "منع ذم يزيد ولعنه"، وابن الجوزي صنف في جواز ذلك، وقد حكى فيه: أن القاضي أبا الحسين صنف كتابًا فيمن يستحق اللعن، وذكر فيهم يزيد، وذكر كلام أحمد في ذلك، وكلام أحمد، إنما فيه لعنُ الظالمين جملة، ليس فيه تصريح بجواز لعن يزيد معينًا، وقد ذكر القاضي في المعتمد نصوص الإمام أحمد في هذه المسألة، وأشار إلى أن فيها خلافًا عنه.

حكى أن عبد المغيث كان يومًا في زيارة قبر الإمام أحمد، وأن الخليفة الناصر وافاه في ذلك اليوم عند قبر الإمام أحمد، فقال له: أنت عبد المغيث الذي صنف مناقب يزيد؟ فقال: معاذ الله أن أقول: إن له مناقب، ولكن من مذهبي أن الذي هو خليفة المسلمين إذا طرأ عليه فسق لا يوجب خلعه، فقال: أحسنت يا حنبلي! واستحسن منه هذا الكلام، وأعجبه غاية الإعجاب. قال ابن الصيرفي حاكيًا عن ابن الجوزي: أنه كان يقول: إني لأرجو من الله أن اجتمع أنا وعبد المغيث في الجنة، قال: وهذا يدل على أنه كان يعلم أن الشيخ عبد المغيث من عباد الله الصالحين، فرحمة الله عليهما، وصنف عبد المغيث: "الانتصار لمسند الإمام أحمد"، أظنه ذكر فيه أن أحاديث المسند كلها صحيحة، وقد صنف في ذلك قبله أبو موسى، وبذلك أفتى أبو العلاء الهمذاني، وخالفهم الشيخ ابن الجوزي.

ولصاحب الترجمة كتاب "الدليل الواضح في النهي عن ارتكاب الهوى الفاضح" يشتمل على تحريم الغناء وآلات اللهو، وذكر فيه تحريم الدف بكل حال، في العرس وغيره، وأجاب عن حديث: "أعلنوا النكاح، واضربوا عليه بالدف" بأن معناه: أعلنوا إعلانًا يبلغ ما يبلغ صوت الدف - لو ضرب به - لتمحوا سنة الجاهلية من نكاح البغايا المستسر به، وأجاب عن حديث الجاريتين اللتين كانتا تغنيان في بيت عائشة - رضي الله عنها -: بأنهما لم تكونا مكلفتين