فسلموا عليه، فرد عليهم، وجعلوا يتحدثون، ففتح عينيه وقال: ما هذا الحديث؟! اذكُروا الله، قولوا: لا إله إلا الله، فقالوها ثم قاموا، فجعل يذكرُ الله ويحركُ شفتيه بذكره، ويشير بعينيه، فدخل رجلٌ فسلم عليه وقال: أما تعرفني يا سيدي؟ قال: بلى، فقمتُ لأناوله كتاباً من جانب المسجد، فرجعت وقد خرجتْ روحُه، وذلك يوم الإثنين الثالث والعشرين من شهر ربيعٍ الأولِ سنةَ ست مئة، وبقي ليلة الثلاثاء في المسجد، واجتمع الغدَ خلقٌ كثير من الأئمة والأمراء، ما لا يحصيهم إلا اللهُ - عز وجل -.
قال ولدُه: ودفناه يومَ الثلاثاء بالقَرافة مقابلَ قبرِ الشيخِ أبي عمرِو بنِ مرزوقٍ في مكانٍ ذكرَ لي خادمُه عبدُ المنعم أنه كان يزور ذلك المكانَ، ويبكي فيه إلى أن يبل الحَصى، ويقول: قلبي يرتاح إلى هذا المكان - رحمه الله تعالى، ورضيَ عنه، وألحقه بنبينا محمد - صلى الله عليه وسلم -.
ورثاه غيرُ واحد من العلماء، منهم الإمامُ أبو عبدِ الله محمدُ بنُ سعدٍ المقدسي الأديبُ بقصيدةٍ طويلةٍ أَولُها قولُه: [من البسيط]
هذَا الذِي كُنْتُ يَوْمَ البَيْنِ أَحْتَسِبُ ... فَلْيَقْضِ دَمْعُكَ عَنِّي بَعْضَ ما يَجِبُ
يا سائِرِينَ إلى مِصْرٍ بِرَبِّكُمُ ... رِفْقاً عَلَيَّ فَإِن الأَجْرَ مُكْتَسَبُ
قُولُوا لِساكِنِها حُيِّيتَ مِنْ سَكَنٍ ... يا مُنْيَةَ النَّفْسِ ماذا الصَّدُّ والغَضَبُ
بالشَّامِ قَوْمٌ وفي بَغْدَادَ قد أَسِفُوا ... لا البُعْدُ أَخْلَقَ بَلْواهُمْ وَلا الحِقَبُ
قَدْ كُنْتَ بِالْكُتْبِ أَحْياناً تُعَلِّلُهُمْ ... فَاليومَ لا رُسُلٌ تَأْتي وَلا كُتُبُ
أُنْسِيتَ عَهْدَهُمُ أَمْ أَنْتَ في جَدَثٍ ... تَسْفِي وَتَبْكي عَلَيْكَ الريحُ والسُّحُبُ
بَلْ أَنْتَ في جَنَّةٍ تَجْني فَواكِهَها ... لا لَغْوَ فيها وَلا غَوْلٌ وَلا نَصَبُ
يا خَيْرَ مَنْ قالَ بَعْدَ الصَّحْبِ: حَدَّثَنا ... ومَنْ إليهِ التُّقَى والدينُ يَنْتَسِبُ
لَوْلاكَ ماتَ عَمُودُ الدينِ وانْهَدَمَتْ ... قَواعِدُ الحَقِّ وَاغْتالَ الهُدَى عَطَبُ