أما ما كان لـ علي بن المديني رحمه الله من الأولاد، فقد ذُكِر أن له ولدان، هما: محمد، وعبد الله، وقد رويا عن أبيهما، وكان يصطحب معه أولاده إلى مجالس المحدثين، وقد ورد في ذلك قصة وقعت لـ محمد بن علي بن المديني حيث يخبرنا عنه ابنه جعفر، فيقول: سمعت أبي يقول: خرج أبي إلى أحمد بن حنبل يعوده وأنا معه، قال: فدخل عليه وعنده يحيى بن معين وذكر جماعة من المحدثين، قال: فدخل أبو عبيد القاسم بن سلاَّم، فقال له يحيى بن معين: اقرأ علينا كتابك الذي عملته للمأمون - غريب الحديث، وهو من الكتب المشهورة في تبيان معاني الكلمات الغريبة أو الصعبة في الأحاديث- فأخذه أبو عبيد فجعل يقرأ ويبدأ بالأسانيد ويدع تفسير الغريب.
قال: فقال له أبي -أي: علي رحمه الله-: يا أبا عبيد! دعنا من الأسانيد نحن أحذق بها منك.
فقال يحيى بن معين لـ علي بن المديني: دعه يقرأ على الوجه، فإن ابنك محمداً معك، أي: إذا كنت حاذقاً بهذا العلم، فإن ولدك يحتاجه.
إذاً: الشاهد: أنه كان رحمه الله يعتني بأخذ أولاده إلى مجالس الحديث.
وهذه فائدة مهمة بالنسبة لطلبة العلم ألا يحرموا أولادهم العلم وخاصة إذا بلغوا سناً يميزون به ويستفيدون من الحضور، فعليهم أن يأخذوا أولادهم إلى مجالس العلم، وبعض الطلبة ينسى أخذ أولاده إلى حلق العلم، حتى قال بعض المحدثين -وربما صدق في ذلك- أربعة لا فائدة منهم: فذكر: - حارس الدرب، ومنادي القاضي، ورجل يكتب في بلده ولا يرحل في طلب العلم، وابن المحدث؛ لأن أغلبهم يشتغل عن أولاده، فلا يهتم بتربيتهم ألبتة.
وأرَّخ البخاري رحمه الله لوفاة شيخه علي بن المديني في يوم الإثنين، ليومين بقيا من ذي القعدة، سنة: (234هـ)، فهذه سنة وفاة علي رحمه الله تعالى.