وأما تلقيه للعلم وطلبه للحديث، فقد بدأ تقريباً وهو في الخامسة عشرة من عمره، وذلك أنه روى عن أبيه الذي توفي سنة: (178هـ) وعن غيره، ولما لاحظ شيخه سفيان بن عيينة بفراسته رغبة ابن المديني الشديدة في العلم والتحصيل، قال له مودعاً له: أما إنك ستُبْلَى بهذا الأمر، وأن الناس سيحتاجون إليك، فاتقِ الله ولتُحْسِن نيتك فيه.
وهذه فائدة مهمة: إذا رأى المدرس من طالبٍ نبوغاً، وأدرك بفراسته أن هذا الطالب سيكون له شأن في المستقبل، فعليه أن يوصيه؟ لا يمكن إهمال الطالب النابغة أو الذكي، أو المجد الذي يُتَوَقع أن يكون له شأنه في المستقبل، يوصيه كما أوصى سفيان علي بن المديني.
إذاً: الوصية بتقوى الله وحسن النية في الطلب، رأى طالباً مُجِداً حافظاً مهتماً، عرف أن هذا سيكون له شأن، فأوصاه بتقوى الله، وإحسان النية في طلب العلم، وإلا فإن هذا الطالب ربما قد يكون في المستقبل من أئمة السوء والضلالة، وهناك من الحفاظ ومن الناس الذين عندهم فقه وفهم عندما ساءت نيتهم ودخل عليهم الهوى أضلوا عباداً كثيراً: (إن أخوف ما أخاف على أمتي الأئمة المضلين).
وقد صدقت فراسة سفيان رحمه الله في تلميذه علي بن المديني، فعندما كبر -رحمه الله- احتاج الناس إليه، وأثنى العلماء على علي بن المديني رحمه الله في قوة حفظه، وعدُّوه من الأئمة الحفَّاظ، كـ أبي يعلى الفراء، وابن عساكر، والذهبي، وابن رجب الحنبلي، وابن العماد، وجمال الدين يوسف بن تغري بردي، والخزرجي، كلهم وصفوا علي بن المديني رحمه الله بأنه إمام حافظ.
وقال الإمام أحمد رحمه الله: كان علي بن المديني أحفظنا للطوال.
وقال ابن أبي حاتم: سمعت محمد بن مسلم بن وارة عندما سئل عن علي بن المديني ويحيى بن معين: أيهما كان أحفظ؟ قال: علي كان أسرد وأتقن.
ويحيى أفهم لصحة الحديث وسقيمه.
وأجمعهم: أبو عبد الله أحمد بن حنبل.
وقال ابن أبي حاتم أيضاً: سألت أبي رحمه الله عن أحمد بن حنبل وعلي بن المديني: أيهما كان أحفظ؟ قال: كانا في الحفظ متقاربين، وكان أحمد أفقه، وكان علي أفهم بالحديث.
وعلي بن المديني رحمه الله كانت له في طلب العلم رحلات ولقاءات بالمشايخ، وكان له حرصٌ ومثابرةٌ على طلب العلم، وتقدمت الإشارة إلى أن ابن المديني غاب عن البصرة في طلب العلم إلى اليمن ثلاث سنوات، ولا شك أنه قد واجه فيها صعوبات؛ لأن اليمن في ذلك الوقت لم تكن بلاد كسب ولا تجارة، ولذلك لما ودع عبد الرزاق أحمد بن حنبل عندما جاء يطلب العلم عنده في اليمن والرواية في الحديث، قال له وقد عرض عليه شيئاً من المال: خذ هذا الشيء فانتفع به، فإن أرضنا ليست بأرض متجرٍ ولا مكسبٍ، فـ علي بن المديني ذهب إلى اليمن، ومعنى ذلك أنه واجه صعاباً ومشاقَّاً، وكان إذا دخل بلداً، كعادة العلماء يطوف على شيوخها واحداً واحداً يغترف مما عندهم ولا يترك أحداً.
ولما كان في يوم النفير من مزدلفة -لما قدم مكة للحج- إلى منى، كان ملازماً لشيخه الوليد بن مسلم - والوليد بن مسلم شيخ أهل الشام ومحدث الديار الشامية في ذلك الوقت- ملازماً للوليد بن مسلم في مسجد منى، مع أن الزحام عليه كثير، يأخذون عنه العلم وينتظرون فرصة في الموسم، ومع ذلك كان علي بن المديني ملازماً له، حتى قال في شغفه في طلب الحديث: يحملني حبي لهذا الحديث أن أحج حجةً، فأسمع من محمد بن الحسن.
وكان يقول: ربما أذكر الحديث في الليل، فآمر الجارية أن تسرج السراج، فأنظر في الحديث- إسراج السراج كان شَغْلَة، ليس مثل مفتاح النور الآن، ومع ذلك كانوا يفعلونه مرات كثيرة، البخاري رحمه الله ربما فعله في الليلة الواحدة عشرين مرة، كلما تذكر فائدة قام لكتابتها، يضع خده على الوسادة، فيتذكر الفائدة، فيقوم ويشعل السراج ويكتب، عشرين مرة في الليلة.