كان عبد الرحمن بن مهدي رحمه الله حافظاً: يقول القواريري: أملى عليَّ ابن مهدي عشرين ألف حديث حفظاً.
وقد بلغ من تبجيل العلماء له أن حدَّث عنه ابن المبارك، وابن وهب، وهما من شيوخه.
وأخذ عنه سفيان حديثاً، قال عبد الرحمن بن مهدي: سمع سفيان الثوري مني حديثاً، فكتبه، فكون عبد الرحمن بن مهدي يكون عنده حديثاً ليس عند الثوري هذه لمفردها منقبة عظيمة.
وقال ابن مهدي: ربما كنت أماشي عبد الله بن المبارك، فأذاكره بالحديث، فيقول: لا تبرح -قف! انتظر- حتى أكتبه، ويكتب الشيخ عن التلميذ -يكتب عبد الله بن المبارك عن عبد الرحمن بن مهدي - فهذه منقبة لـ عبد الرحمن بن مهدي، وتواضع من ابن المبارك، وتواضع يتعلمه الطالب من الشيخ.
وقال خالد بن خداش: كنت عند حماد أنا وخويل، فجاء عبد الرحمن بن مهدي، فجلس، ثم قام وانصرف، فقال حماد: هذا من الذين لو أدركهم أيوب لأكرمهم، وأيوب من كبار العلماء والمحدثين.
وقال حماد بن زيد: لئن عاش عبد الرحمن بن مهدي ليخرجن رجل أهل البصرة، فكأنه قال: سيخرج عالماً بصرياً نفتخر به على سائر البلدان، ونقول: هذا عين أهل البصرة، رجل أهل البصرة خرج منها، نستغني به عن غيره، أو أنه يقول: إنه سيكون له شأن عظيم، والبلد ستكون قد أخرجت عالِمَها إذا استمر الأمر بـ عبد الرحمن بن مهدي على ما هو عليه، وفعلاً كان ذلك.
قال زياد بن أيوب: كنا في مجلس هشيم، فلما قام هشيم أخذ أحمد بن حنبل، ويحيى بن معين، وخلف بن سالم، بيد فتىً أمَّنَ، فأدخلوه مسجداً، وكتبوا عنه وكتبنا، فإذا هو عبد الرحمن بن مهدي.
وعبد الرحمن بن مهدي أكبر من الإمام أحمد، ويحيى بن معين، وهو شيخ الجميع، لكن معنى ذلك أنهم كتبوا عنه وهو لا يزال شاباً، ولم يكتبوا عنه لما صار شيخاً كبيراً فقط، بل كتبوا عنه قبل ذلك.
وقال ابن المديني: إذا اجتمع يحيى بن سعيد، وعبد الرحمن بن مهدي على ترك رجل، لم أحدث عنه.
فإذا اختلفا -قال بعضهم مثلاً: هذا يُحْتَجُّ به، وقال الآخر: هذا لا يُحْتَجُّ به- أخذت بقول عبد الرحمن؛ لأنه أقصدهما، وكان في يحيى تشدداً، وكما قال العلماء: يقسَّم أهل الجرح والتعديل إلى ثلاثة أقسام: 1 - قسم متشدد ومتعنت، وربما يضعف الراوي الثقة أحياناً، أو يقدح فيه لسبب ليس بقادح.
2 - قسم متوسط.
3 - قسم متساهل، ربما يوثق الضعفاء.
عبد الرحمن بن مهدي وأحمد بن حنبل معدودان في الطبقة المتوسطة المعتدلة من علماء الجرح والتعديل.
وكان يحيى بن سعيد القطان رحمه الله فيه شيء من التشدد، لا يقبل الروايات إلا من أناس بلغوا الغاية.
وقال أحمد بن حنبل: اختلف عبد الرحمن بن مهدي ووكيع بن الجراح في نحو من خمسين حديثاً من حديث الثوري، فنظرنا فإذا عامة الصواب في يد عبد الرحمن.
وسأله ابنه صالح بن أحمد بن حنبل: أيُّما أثبت عندك: عبد الرحمن بن مهدي، أو وكيع؟ فقال الإمام أحمد: عبد الرحمن أقل سَقْطاً من وكيع في سفيان، قد خالفه وكيع في ستين حديثاً من حديث سفيان، وكان عبد الرحمن يجيء بها على ألفاظها، وهو أكثر عدداً لشيوخ سفيان من وكيع، وروى وكيع عن نحو من خمسين شيخاً لم يروِ عنهم عبد الرحمن، ولقد كان لـ عبد الرحمن تَوَقٍّ حسنٍ، أي: ينتقي.
وقال أبو حاتم: "عبد الرحمن بن مهدي أثبت أصحاب حماد بن زيد، وهو إمام ثقة، أثبت من يحيى بن سعيد، وأتقن من وكيع، وكان قد عَرَض حديثه على سفيان الثوري ".
وقال علي بن المديني: "نظرت! فإذا الإسناد يدور على ستة، ثم صار علم هؤلاء الستة إلى اثني عشر، ثم انتهى علم الاثني عشر إلى ستة -مرة أخرى- فنظر في أكثر الأسانيد فوجدها تدور على ستة من كبار العلماء، مَن بعدَهم تلاميذهم أشهر وأكثر من روى عن الستة اثني عشر شخصاً، الطبقة الثانية، ثم لوحظ أن هؤلاء الاثني عشر الذين رووا عنهم، اجتمع علم الاثني عشر عند ستة، الطبقة الثالثة، الستة هؤلاء هم: 1 - يحيى بن سعيد القطان.
2 - عبد الرحمن بن مهدي.
3 - يحيى بن زكريا بن أبي زائدة.
4 - وكيع بن الجراح.
5 - عبد الله بن المبارك.
6 - يحيى بن آدم.
وهؤلاء هم شيوخ: علي بن المديني، والإمام أحمد، ويحيى بن معين.
الطبقة التي بعدهم هي: 1 - علي.
2 - يحيى.
3 - أحمد.
4 - ابن أبي شيبة، وغيرهم.
الطبقة التي بعدها: البخاري وغيره.