ونشأ ابن حجر يتيما - كما عبر هو عن نفسه -1 إذ مات أبوه العالم الأديب الشاعر التاجر سنة777هـ2. وكانت أمه قد ماتت قبل ذلك وهو طفل3.
وكان له أخ شقيق نشأ وطلب العلم، ثم مات فحزن عليه والده جداً، ولكن أحد المشايخ الصالحين بشره بأن الله سيخلف عليه غيره ويعمره، قال ابن حجر: "فولدت أنا له بعد ذلك بيسير، وفتح الله بما فتح"4. وليس له سوى شقيقة واحدة أكبر منه نشأت ومهرت في العلم وتوفيت شابة سنة798هـ، وقد وصفها أخوها بقوله "أمي بعد أمي"5.
وبعد وفاة أبيه، لم يكن له من يكفله، وكان والده قد أوصى قبل وفاته بولده اثنين من الذين كانت بينه وبينهم مودة، وأصبح اليتيم في وصاية "زكي الدين أبي بكر ابن نور الدين على الخرُّوبي" ت787هـ، وكان تاجراً كبيراً بمصر.
ولم يدخل الكتاب حتى أكمل خمس سنين، فأكمل حفظ القرآن الكريم وله تسع سنين6.