قال ابن المديني عن بداية تقييده للحديث وعلومه: مرَّ بنا الجمَّاز ونحن في مجلس للحديث، فقال: يا صبيان -كان علي بن المديني يلعب مع الصبيان في صغره -أنتم لا تحسنون أن تكتبوا الحديث، كيف تكتبون أُسَيْداً وأَسِيْداً وأُسَيِّداً؟ -هذه كلها من أسماء الرواة، أَسِيْد، وأُسَيْد، وأُسَيِّد، كيف تكتبون هذا وهذا وهذا؟ قال ابن المديني: فكان ذلك أول ما عرفت التقييد وأخذت فيه، لَفَتَت نظره هذه الملاحظة، وبدأ يهتم بالتقييد والشكل والتفريق في نطق الكلمات المتماثلة كتابةً، والمختلفة لفظاً ونطقاً، فبدأ تمييزه منذ صغره في قضية الدقة.
فالرجل منذ الصبا كان مهتماً بدقائق الأشياء، وهذا كان له شأن عظيم في المستقبل.
وهنا يجب أن نلتفت إلى هذه القضية، وهي: أن إلقاء الملاحظة على الصغير مع بساطتها، أو عدم الاهتمام بها قد تكون لها آثاراً كبيرة عليه في المستقبل، فربما يندفع الإنسان لحفظ القرآن، أو طلب العلم الشرعي، أو إلى شيء من الخير بفعل ملاحظة، وأحياناً تكون بدون قصد، يبديها أحد الأشخاص له، لكنها تقر في نفس الصبي وترسخ فيه، ويكون لها أبعاداً في نفسه، فتنفتح له بها آفاق ومجالات.
إذاً: يجب عدم التواني في توجيه الصغار، وكذلك ألَّا يستحقر الإنسان الملاحظة أو التنبيه؛ لأنه قد يكون هذا هو الدافع لأن يكون هذا الولد من العلماء في المستقبل.
وكذلك قد يكون تنبيهاً على جانب مُهْمَل في حياته، فيبدأ بالاهتمام به.
وكذلك كان ابن المديني رحمه الله له تمييز وذكاء مبكر، فقال إبراهيم بن عثمان بن أبي شيبة: سمعت علي بن المديني يقول: جلست إلى عبد الله بن خراش وأنا حدث، فسمعته يقول: حدثنا العوام، عن إبراهيم التيمي، عن أبيه، عن علي، أن النبي صلى الله عليه وسلم نصب المنجنيق على أهل الطائف، فعلمتُ أنه كذاب -هذا وهو حدث، في نقد الكلام- لكن جده شهاب بن خراش ثقة مأمون.
فلما جلس إليه اكتشف كذبه وكان عمره لم يتجاوز العاشرة تقريباً.
استمر علي بن المديني في الدراسة في الكتَّاب إلى السنة الرابعة عشرة من عمره تقريباً، ولذلك يقول علي بن المديني عن نفسه: مات أبو عوانة وأنا في الكتَّاب، والمعروف أن أبا عوانة قد توفي سنة: (176) أو (175هـ) فإذا طرحنا هذا من سنة ولادة علي بن المديني، يكون في ذلك الوقت عمره تقريباً أربعة عشر عاماً.