كان علي بن المديني رحمه الله موقراً لأهل العلم، فجاء عن إسحاق بن إبراهيم بن أبي حبيب، قال: كنت أرى يحيى القطان يصلي العصر، ثم يستند إلى أصل منارة مسجده، فيقف بين يديه علي بن المديني، وابن الشاذكوني، وعمرو بن علي، وأحمد بن حنبل، ويحيى بن معين وغيرهم، يسألونه عن الحديث وهم قيام على أرجلهم إلى أن تحين صلاة المغرب، لا يقول لواحد منهم: اجلس، ولا يجلسون هيبةً وإعظاماً.
هذا من تبجيله مع قرنائه لأهل العلم.
وذكر الخطيب أيضاً، عن فتح بن نوح النيسابوري، قال: أتيت علي بن المديني، فرأيت محمد بن إسماعيل جالساً عن يمينه، وكان إذا حدث ابن المديني التفت إلى البخاري كأنه يهابه، مع أن البخاري تلميذ عند علي بن المديني؛ لكن علي بن المديني كان يلتفت إلى البخاري في كل معلومة أو كلام أو حديث؛ هيبةً له، وكأنه ينظر هل يوافق عليه محمد بن إسماعيل أو عنده اعتراض؟ وكذلك نظرة احترام وهيبة إلى محمد بن إسماعيل مع أنه كان تلميذاً عند علي بن المديني رحمه الله.