كان علي بن المديني رحمه الله حريصاً على حضور مجالس العبادة والذكر بصحبة الصالحين، يقول ابن المديني رحمه الله: كنا عند يحيى بن سعيد القطان، فلما خرج من المسجد خرجنا معه - القطان هذا من كبار العلماء- فلما صار بباب داره وقف ووقفنا معه، فانتهى إليه الروبي -ولعل هذه صفة، أو اسم لشخص كان قارئاً يجيد قراءة القرآن- فقال يحيى لما رآه: ادخلوا، فدخلنا -رأى هؤلاء الجماعة وفيهم قارئ حسن الصوت، أدخلهم جميعاً لعله يكون مجلساً إيمانياً، جلسوا في المجلس- فقال للروبي: اقرأ، فلما أخذ في القراءة، قال علي المديني: فنظرت إلى يحيى قد تغير وجهه انفعالاً وتأثراً بالقراءة حتى بلغ: {إِنَّ يَوْمَ الْفَصْلِ مِيقَاتُهُمْ أَجْمَعِينَ} [الدخان:40] غُشِي عليه -أي: على يحيى رحمه الله- وكان هناك باب قريب منه، فانقلب عليه، فأصاب فقار ظهره وسال الدم، فصرخت النساء، وخرجنا فوقفنا بالباب حتى أفاق بعد كذا وكذا -خرجوا لأجل تمكين النساء من الدخول للمعالجة المعاينة، وهذا من الأدب، قال: فوقفنا بالباب حتى أفاق بعد كذا وكذا، ثم دخلنا عليه فإذا هو نائم على فراشه وهو يقول: {إِنَّ يَوْمَ الْفَصْلِ مِيقَاتُهُمْ أَجْمَعِينَ} [الدخان:40]-يكرر الآية التي سمعها من القارئ- فما زالت فيه تلك القرحة حتى مات رحمه الله، وقد ذكر هذه القصة الذهبي في سير أعلام النبلاء.
إذاً: علي بن المديني رحمه الله ممن عايش أولئك الأئمة، وهم أناس يخافون الله، يبكي الواحد منهم عند سماعه لكتاب الله تعالى حتى يُغشَى عليه، ولذلك يكتسبون مع العلم الخشوع، لم تكن المسألة فقط مجرد فوائد علمية، أو مجرد معلومات، إنما أشياء مع الخشوع، والأدب، والإيمان، والتقوى، والزهد وهكذا يتعلمون العلم والأدب العلم والإيمان جميعاً، وهذه هي الطريقة الصحيحة في التعليم، وليست إلقاء المعلومات.
وكثيرٌ من المَجالس التي تَحصل ربما يكون قصارى ما فيها إلقاء معلومات، أما أن يتأثروا من بعض الحاضرين أو من الشيخ فهذا قليل مع الأسف! ولذلك فإن صحبة العلماء العاملين الصالحين هي المكسب الحقيقي وهي الفائدة.
وكان علي بن المديني رحمه الله يتتبع شيوخه في جانب العبادة، فقال ابنٌ لـ يحيى بن سعيد: إن أباه كان يختم القرآن في كل يوم.
قال علي: فتفقدته وأنا معه في البستان، فختمه في ذلك الوقت، فكان يتتبع شيخه ليتأسى به، ونحن نعرف أن القرآن لا يفقه في أقل من ثلاثة أيام؛ ولكن لأسباب ذكرها العلماء، وقد كان بعض السلف يختمون في كل يوم.
وكذلك من الأشياء التي تأثر بها علي بن المديني رحمه الله، من القصص التي حصلت له ونقشت في قلبه أشياء: قال محمد بن نصر: سمعت علي بن المديني يقول: إني أزور امرأة عبد الرحمن بن مهدي بعد موته - عبد الرحمن بن مهدي من كبار العلماء، وهذا وفاء لـ عبد الرحمن كان يزور أهله- فرأيت سواداً في قبلة البيت، فقلت: ما هذا؟ فقالت: هذه موضع استراحة عبد الرحمن، كان يصلي بالليل، فإذا غلبه النوم وضع جبهته على هذا الموضع، أي: اتكأ عليه حتى لا يستغرق، فإذا غلبه النوم، وضع جبهته على هذا الموضع.