من أشهر شيوخه: 1 - حماد بن زيد، حافظ العراق:، وكان حماد إماماً من أئمة أهل السنة.
وقال أحمد فيه: هو من أئمة المسلمين من أهل الدين، وهو أحب إليَّ من حماد بن سلمة.
وهو الذي قال فيه ابن المبارك:
أيها الطالب علماً ائت حماد بن زيد
فاقتبس علماً وحلماًَ ثم قيَّده بقيدِ
ودع البدعة من آثار عمرو بن عبيد
حماد بن زيد هو شيخ علي بن المديني، وهو الشخصية الأولى ربما بعد أبي علي، الذي كان له أعظم الأثر في توجيه علي بن المديني إلى طلب السنة، وكان شيخ البصرة.
2 - سفيان بن عيينة: وكان طلاب الحديث يتكلفون الحج، وما قصدهم إلا لقاء سفيان بن عيينة.
البخاري أخرج لـ علي بن المديني، عن سفيان بن عيينة في صحيحه (196) حديثاً.
3 - يحيى بن سعيد القطان: وهو الذي درس على يديه الرجال، وكان يستفيد من علي بن المديني كما قلنا، ويقول: إني كلما قلت: لا أحدث كذا، استثنيت علياً، فلو قلت: لا أحدث أسبوعاً أو شهراً، يقول: أنا أستثني في قلبي علي بن المديني إذا جاءني أحدثه.
وكان علي ملازماً لشيخه يحيى بن سعيد القطان يسأله عما أشكل عليه من أمور النقد، حتى يسأله عن أحواله الشخصية.
فقال يوماً: قلت لـ يحيى بن سعيد في ربيع الأولي سنة: (190هـ) كم لك من سنة؟ قال: إذا مضى شهر، أو شهران، استوفيت سبعين، ودخلت في أحد، -أي: واحد وسبعين.
وكان علي يحب يحيى حباً جعله يشتهي أن يراه في المنام، فيقول: مكثت أشتهي أرى يحيى بن سعيد القطان في النوم مدة، قال: فصليتُ ليلةً العَتَمَة -العشاء- ثم أوترت واتكأت على سريري، قال: فسنح لي -أي: في المنام- رأيت خالد بن حارث، فقمت فسلمت عليه وعانقته، وقلت له: ما فعل بك ربك؟ قال: غفر لي على أن الأمر شديد.
قلت: فما فعل يحيى بن سعيد القطان؟ قال: نراه كما ترون الكوكب الدري في أفق السماء، أي: أن الله رفعه منزلة عالية جداً.
من شيوخ علي بن المديني: عبد الرحمن بن مهدي رحمه الله، وهذا الذي قال علي بن المديني فيه: "لو أخذت فأُحْلِفْتُ بين الركن والمقام، لَحَلَفْتُ بالله عز وجل أني لم أر أحداً قط أعلم بالحديث من عبد الرحمن بن مهدي ".
وكان عبد الرحمن بن مهدي استفاد منه علي بن المديني جداً.
يقول علي بن المديني: كنا في جنازة معاذ، وعبد الرحمن بن مهدي آخذٌ بيدي، فقال عبد الرحمن لي -أي: أثناء الجنازة ونحن نتبع الجنازة-: ألا أحدثك حديثاً ما طن في أذنيك؟ حدثني صاحب السرير -الذي هو الميت- وسرد علي الحديث.
وعبد الرحمن بن مهدي يفيد تلميذه علي بن المديني حتى في وقت تشييع الجنازة.
وعندما نقول: شيوخ علي بن المديني: فلان، وفلان، وفلان، هؤلاء العظماء، فهؤلاء العلماء كلهم ساهموا في صياغة شخصية علي بن المديني، ولذلك هناك نقطة مهمة جداً وهي: أن هؤلاء العلماء الأئمة الكبار ما جاءوا من فراغ، ما ظهروا من غابة أو صحراء، ما خرجوا الإجراء نتاج بيئة تربى فيها وأخذ فيها عن الأجلاء، هذه تربية، فهذه الشخصيات صيغت من شخصيات أخرى، أجيال تربي أجيالاً، وعندما نتوسع أكثر في المحدثين، نرى فعلاً أن هذه القضية واضحة، أجيال تربي أجيالاً، سفيان بن عيينة يربي علي بن المديني، وعلي بن المديني يربي البخاري، والبخاري يربي غيره، فمسألة تخرُّج الأجيال على أيدي أجيال، وأن الواحد كان يحتك بشخصيات فذة هذا الذي ينشئ الشخصية، ما الذي يساعد على نمو الشخصية؟ يحاط أن الإنسان بأناس كبار أجلاء أئمة، فيخرج إماماً في النهاية.
وهذه المسألة -كما قلنا- واضحة غاية الوضوح، إنسانٌ شيوخُه: - سفيان بن عيينة، وعبد الرحمن بن مهدي، وعبد الرزاق الصنعاني، وغيرهم.
وقرناؤه: - أحمد بن حنبل، ويحيى بن معين، وابن أبي شيبة.
وتلاميذه: - البخاري، وأبو حاتم الرازي، وأبو داود.
لا بد أن يكون شخصية فذة.
فمن هنا نتعلم درساً كبيراً في أن الإنسان إذا أراد أن يرتقي بنفسه فعلاً، فلا بد أن يُحاط بشخصيات على مستوى عظيم حتى يكون لها ذلك الأثر في نفسه.