ولمّا كبرت سنه رحمه الله.. ابتدأ به مرض ألجأه إلى ترك التدريس لمدة نيف وعشرين يوما، وكتب وصيته في الحادي والعشرين من رجب (974 هـ) ، وفي ضحوة الإثنين (23) من الشهر المذكور لبى نداء ربه راضيا مرضيا.
وصلي عليه تحت باب الكعبة الشريفة، ودفن في المعلاة بقرب من موضع صلب ابن الزبير رضي الله عنهما، في التربة المعروفة بتربة الطبريين.
ورثاه الشعراء، وبكى عليه الناس زمنا، وكان لموته رنة حزن وأسف عمت بلاد الحرمين واليمن ونواحيها.
رحمه الله رحمة الأبرار، وأسكنه جنات تجري من تحتها الأنهار.
وهذه أبيات أوردها العلامة العيدروس في «النور السافر» لصاحبه الفقيه أحمد باجابر، يمدح بها ابن حجر قال فيها [من الكامل] :
قد قيل من حجر أصمّ تفجرت ... للخلق بالنص الجلي أنهار
وتفجرت يا معشر العلماء من ... حجر العلوم فبحرها زخار
أكرم به قطبا محيطا بالعلا ... ورحاؤه حقا عليه تدار «1»