وكانت وفاته في طريق النيل وهو عائد منها إلى بغداد، فحُمِلَ تابوتُه إلى بغداد لسبعٍ بَقين من جمادى الآخرة، فدُفن بداره بسوق يحيى من الجانب الشرقي في محلَّة الرُّصافة. وقيل: إنه دُفِنَ بمشهد باب التبن ظاهر مشهد موسى بن جعفر، وَرَثاه الشريف الرضي (?)، وقال: [من المتقارب]
نَعوهُ على ضنِّ قلبي بهِ ... فلِلَّهِ ماذا نعى الناعيانِ
رضيعُ صفاءٍ (?) له شُعبةٌ ... من القلبِ مثل (?) رضيع اللِّبانِ
وما كنت أحسب أن الزمان (?) ... يَفُلُّ مضاربَ ذاكَ اللسانِ
بَكيتُكَ لِلشُّرَّدِ السائِرا ... تِ تفتَّقُ ألفاظُها بالمعاني
لِيَبْكِ الزمانُ طويلًا عليكَ ... فقَد كُنْتَ خِفَّةَ روحِ الزَّمانِ
فعاب الناس على الرضيِّ ذلِكَ ولاموه، وتكلَّموا فيه بهذا السبب، وقالوا: إنما كان يُحِبُّه لأنه كان يهجو أصحاب رسول الله - صلى الله عليه وسلم -، وكان الرضيُّ قد اعتنى بشعره، فاختار منه قطعةً كبيرةً، إلا أنها غيرُ سالمةٍ مما يُنسَبُ إليه.
وقال أبو الفرج ابن الجوزي: رآه أبو الفضل ابن الخازن في نومه بعد موته، فقال له: ما فعل الله بك؟ فقال: [مجزوء الرجز]
أفسدَ حُسْن مذهبي ... في الشِّعر سوءُ المذهبِ
وحَمليَ الجِدَّ على ... ظهرِ حِصانِ اللَّعبِ
لم يَرضَ مولايَ على ... سَبِّي لأصحابِ النَّبي
وقال لي ويحكَ يا ... أحمقُ لِم لَمْ تَتُبِ
من بُغضِ قومٍ مَنْ رَجَا ... ولاءَهم لم يخب
رُمْتَ الرِّضا جهلًا بما ... أصلاكَ نارَ الغضَبِ
وقال علي بن المحسن التنوخي (?): أنشدنا ابن الحجاج لنفسه: [من البسيط]