وأما بالنسبة لفقهه رحمه الله، فإنه بطبيعة الحال لم يكن له مذهب معين، ولكنه كان يذهب مذهب تابعي أهل المدينة، ويقتدي بطريقتهم.
يقول الإمام أحمد بن حنبل عن عبد الرحمن بن مهدي: كان يتوسع في الفقه، كان أوسع فيه من يحيى -أي: يحيى بن سعيد القطان - وكان يحيى يميل إلى قول الكوفيين، وكان عبد الرحمن يذهب إلى بعض مذاهب الحديث، وإلى رأي المدنيين.
وطريقتهم في ذلك الوقت هي الأخذ بآثار القرآن والسنة، فهم أناس عندهم فهم وعلم باللغة، يأخذون بالقرآن والسنة، ويجمعون الأحاديث، وآثار الصحابة، يفتون بها ويتبعونها، هذا هو المذهب.