كان علي بن المديني رحمه الله شديد العناية بكتب المحدثين، -النُّسَخ- وينظر فيها، قال علي بن المديني: تركت من حديثي مائة ألف حديث، فيها: ثلاثون ألفاً لـ عباد بن صهيب -هو الآن جمع أحاديث كثيرة، مائة ألف شطب عليها؛ لأنه تبين له أنها غير صالحة للنشر، منها ثلاثون ألفاً لـ عباد بن صهيب؛ لأن عباد بن صهيب أحد المتروكين، فإذا كان علي ابن المديني ترك مائة ألف حديث، وشطب عليها، فكم الأصل والأساس الباقي؟! وقال علي بن المديني: نظرت لـ روح في أكثر من مائة ألف حديث - روح بن عبادة من شيوخ علي رحمه الله- كتبتُ منها عشرة آلاف، فإذا كان قد نظر لـ روح بن عبادة فقط في مائة ألف حديث، ويكتب عن أبي معاوية الضرير عن الأعمش ألف وخمسمائة حديث، فلا شك أنه نظر لغير روح مثل ذلك، وما كَتب عن الأعمش من غير طريق أبي معاوية أكثر، فهذا يُشْعِر بتَبَحُّر الرجل واستقصائه لأطراف الأحاديث المختلفة.
وذكر السخاوي أن الطرق التي عند علي بن المديني لحديث واحد فقط الذي هو: (من كذب عليَّ متعمداً، فليتبوأ مقعده من النار) أن له - لـ علي بن المديني - عشرون طريقاً في هذا الحديث فقط: (من كذب عليَّ متعمداً) وهذا يدل على شدة اعتنائه بطرق الحديث.
بالنسبة للأحاديث عندما يقول: مائة ألف، أو يقول البخاري: حفظت مائة ألف حديث صحيح، أو قال: انتقيت هذا الكتاب من ستمائة ألف حديث، وأحمد بن حنبل يقال: إنه يحفظ ألف ألف حديث، هذا معناه أنه يدخل المراسيل والمقاطيع والمعلقات، ويدخل فيها المرفوع والصحيح والضعيف والشواهد والمتابعات ولذلك يقول الذهبي رحمه الله تعالى: "ما على وجه الأرض من أحاديث النبي صلى الله عليه وسلم الصحيحة المرفوعة من غير تكرار عشرة آلاف حديث فقط"، لكن عندما يقول: مائة ألف، هذا يقصد بها كل شيء، المقطوع الذي إلى التابعي، والمرسل، والمعلق، وكل الأنواع، والمكررات، والشواهد، والمتابعات، يدخل هذا كله في عموم لفظة حديث.
وكذلك فإنه رحمه الله كان يطلع على حديث مالك اطلاعاً دقيقاً، وكذلك نُسَخ الزهري، وكتاب عبد الأعلى، وحدثت في ذلك قصة، قال علي بن المديني: سألت أبي عن أبي حفص الفلاس، فقال: قد كان يطلب، قلت: روى عن عبد الأعلى، عن هشام، عن الحسن بن علي: (الشفعة لا تورث) فقال: ليس هذا في كتاب عبد الأعلى، عن هشام، عن الحسن -فعنده خبرة بكتاب عبد الأعلى، ولذلك جزم لولده عبد الله، أنه ليس في ذلك الكتاب.
وكذلك فإنه كان ينتخب الكتب وينتقي منها، وهذا يدل على إتقانه، وأنه ليس بجمَّاع فقط.