ومن القصص التي تدل على نبوغه في العلم منذ صغره، أنه أخبر عن نفسه، قال: كنا في جنازة فيها عبيد الله بن الحسن العنبري وهو يومئذٍ قاضي البصرة، وله موضعه في قومه وقدره عند الناس، فتكلم في شيء، فأخطأ، فقلت وأنا يومئذٍ حدث: ليس هكذا، عليك بالأثر، فتزايد عليَّ الناس، لأنه وهو حدث (صغير) ينتقد العنبري قاضي البصرة وهو رجل معظم عندهم، وقدره كبير، فالناس وقعوا في ابن مهدي، هذا الحدث الصغير كيف يخطئ أو ينتقد هذا الشيخ الكبير.
فقال عبيد الله العنبري: دعوه، وكيف هو؟ يستفهم من هذا الحدث -الغلام- يقول: ما هو الصحيح؟ فأخبرته.
فقال: صدقت يا غلام، إذاً أرجع إلى قولك وأنا صاغر.
وهذا الرجوع إلى الحق من تواضع العلماء رحمهم الله، ولو جاء من غلام صغير، ولو كان أمام الناس، وهذه وإن كان ظاهرها الحط من شأن هذا الكبير، لكنها في الحقيقة ذِكْرٌ وشَرَفٌ، فإن الإنسان يعظم في نفوس الناس؛ إذا رجع إلى الحق، وإن كانت المسألة في ظاهرها جهلٌ منه في هذه المسألة، أو نقص، لكن يطغى على هذا النقص رجوعه إلى الحق.
وصحب عبد الرحمن بن مهدي شيخه سفيان وحج معه سنة: (159هـ) ثم رجع إلى البصرة (160هـ)، فمات سفيان الثوري في دار عبد الرحمن بن مهدي، أي: مات الشيخ في دار التلميذ.