ولما بلغ الثاني عشر من عمره صلى بالناس التراويح في مكة في بيت الله الحرام، إذ أنه كان مع وصيه الخروبي في مكة في تلك السنة.

وسمع في تلك السنة "صحيح البخاري" على مسند الحجاز عفيف الدين عبد الله النشاوري1.

وقد نشأ الحافظ ابن حجر نشأة كانت في غاية العفة والصيانة والرياسة، وتذكر المصادر أن الخرُّوبي المذكور لم يأل جهداً في رعايته والعناية بتعليمه. فكان يستصحبه معه عند مجاورته في مكة2.

وظل يرعاه إلى أن مات سنة787هـ وكان الحافظ ابن حجر راهق ولم تعرف له صبوة ولم تضبط له زلة3.