كانت بداية طلبه للعلم بالمدينة النبوية صغيراً، فبدأ - كما هو معتاد عند أبناء المسلمين - بحفظ القرآن الكريم، فحفظه في ثمانين ليلةً1، ثم أقبل على تعلِّم الأنساب، فذهب إلى عبد الله بن ثعلبة بن صُعير العدوي، وكان عالماً بالأنساب، فجلس يتعلم منه الأنساب عامةً ونسب قومه خاصةً، فجاء رجلٌ يسأل عبد الله بن ثعلبة عن مسألة فقهية في الطلاق فَعَيِيَ عن الجواب، وأشار إلى سعيد بن المسيب، فقال الزهري: قلت في نفسي: ألا أراني مع هذا الرجل المسن يعقل أن رسول الله صلى الله عليه وسلم مسح على رأسه2 وهو لا يدري ما هذا! فانطلقت مع السائل إلى سعيد بن المسيب، فجالسته سبع حجج، وأنا لا أظن أن أحداً عنده علم غيره3.

وفي رواية: أن السائل عن المسألة الفقهية هو الزهري نفسه، فقال: إن كنت تريد هذا فعليك بهذا الشيخ سعيد بن المسيب4.

ومهما يكن، فقد ترك الزهري تعلم الأنساب، واتجه إلى تعلم