ما لا تحتمله الجِبَّلة البشرية لولا معونة اللَّه وتوفيقه، بحيث إني جلست فيه نحو أربع سنين ما ذقت اللَّحم إلَّا في ليلةٍ، دُعينا لأكلٍ فإِذا هو لحم يُوقد عليه، فانتظرناه إلى أن ابهارَّ الليل، ثم جيء به، فإذا هو يابسٌ كما هو نِيءٌ، فلم أستسغ منه لقمة.
وقاسيتُ أيضًا من الإيذاء من بعض أهل الدروس التي كنا نحضرها ما هو أشدُّ من ذلك الجوع إلى أن رأيت (?) شيخنا ابن أبي الحمائل قائمًا بين يدي سيدي أحمد البدوي، فجيء باثنين كانا أكثر إيذاءً لي، فضربهما بين يديه فمُزِّقا كل مُمزقٍ).
كل هذه الأسباب كانت حاملةً له على مغادرة مصر والإِقامة بمكة، فسكنها لمدة (34) سنة، حتى توفي بها، وكان منزله بالحريرة قريبًا من سوق الليل، كما كانت له خلوة برباط الأشرف قايتباي بقرب المسجد الحرام.
كان لابن حجر رحمه اللَّه أقران وزملاء كُثُر، منهم:
1 - شمس الدِّين، محمد بن أحمد الرملي، (919 - 1004 هـ)، وقد شارك ابن حجر رحمه اللَّه في الأخذ عن والده الشِّهاب الرملي المتقدِّم ذِكْره، وشاركه في القراءة والحضور على شيخ الإِسلام زكريا الأنصاري في "صحيح البخاري".
وكانا كفرسي رِهان، وجرت بينهما خلافاتٌ فقهيةٌ، ومسائل علمية، وخلافهما من الخلاف المعتبر عند متأخري فقهاء الشافعية، وأُلِّفَتِ الرسائل والكتب في ذكر الخلاف بينهما في مسائل الفقه (?).
2 - العلامة المحدث بدر الدِّين الغزي، الشافعي (ت 984 هـ)، لقيه بمصر،