قال ابن المديني: دخلت على امرأة عبد الرحمن بن مهدي وكنت أزورها بعد موته -لأنه شيخه- فرأيت سوداً في القبلة، فقلت: ما هذا؟ قالت: موضع استراحة عبد الرحمن، كان يصلي بالليل فإذا غلبه النوم وضع جبهته عليها.
فأثر في الجدار.
وقال علي: كان ورد عبد الرحمن كل ليلة نصف القرآن.
وقال رسته: وكان عبد الرحمن يحج كل عام، فمات أخوه وأوصى إليه فأقام على أيتامه، فسمعته يقول: قد ابتليت بهؤلاء الأيتام، فاستقرضت من يحيى بن سعيد أربعمائة دينار احتجت إليها في مصلحة أرضهم.