توفي والده وهو صغير فنشأ في حجر أمه وأقبل على طلب العلم منذ الصغر وقد تحدث عن نفسه فيما ذكره الفِرَبْري عن محمد بن أبي حاتم ورّاق البخاري قال: سمعت البخاري يقول: "ألهمت حفظ الحديث وأنا في الكتاب"، قلت: وكم أتى عليك إذ ذاك؟، قال: "عشر سنين أو أقل"، إلى أن قال: "فلما طعنت في ست عشرة سنة حفظت كتب ابن المبارك ووكيع وعرفت كلام هؤلاء - يعني أصحاب الرأي-"، قال: "ثم خرجت مع أمي وأخي إلى الحج, فلما طعنت في ثمان عشرة سنة صنفت كتاب قضايا الصحابة والتابعين ثم صنفت التاريخ بالمدينة عند قبر النبي صلى الله عليه وسلم وكنت أكتبه في الليالي المقمرة"، قال: "وقلَّ اسم في التاريخ إلا وله عندي قصة إلا أني كرهت أن يطول الكتاب".

رحلته في طلب العلم وسماعه الحديث: -