كان الإمام عبد الرحمن بن مهدي على مذهب السلف الصالح رحمهم الله، معتقداً بمذهب أهل السنة والجماعة، شديداً على أهل البدع؛ من الجهمية، والقدرية، والمتأولة.
قال رسته: سمعت عبد الرحمن بن مهدي يقول: الجهمية يريدون أن ينفوا الكلام عن الله، وأن يكون القرآن كلامه -أي: يريدون أن ينفوا أن يكون القرآن كلام الله، وأن الله كلم موسى- وقد أكَّده الله، فقال: {وَكَلَّمَ اللَّهُ مُوسَى تَكْلِيماً} [النساء:164] فقد أكَّد الله أنه كلم موسى بقوله: {تَكْلِيماً} [النساء:164] {وَكَلَّمَ اللَّهُ مُوسَى تَكْلِيماً} [النساء:164].
فأما الجهمية القُدامى، فإنهم قد حاولوا أن تكتب هذه اللفظة في القرآن: (وَكَلَّمَ اللهَ مُوسى)، بدل {وَكَلَّمَ اللَّهُ} [النساء:164] لكي ينسبوا الكلام إلى موسى، وينفوا عن الله الكلام، فقال كاتب المصحف وكان سُنِّيَّاً: يا أحمق، إذا غيرنا هذه، فماذا أفعل بقول الله تعالى: {وَلَمَّا جَاءَ مُوسَى لِمِيقَاتِنَا وَكَلَّمَهُ رَبُّهُ} [الأعراف:143]؟! كيف بها في هذه؟! أما الذين تأثروا بمذهب الجهمية من المتأخرين، مثل: الأشاعرة، فإنهم إذا أتوا إلى هذه الآية: {وَكَلَّمَ اللَّهُ مُوسَى تَكْلِيماً} [النساء:164] ولا يستطيعون أن يحرفوها، يقولون: كَلَّمَهُ يعني: جرَّحه بأظافر الحكمة، وهذا من أفسد الكلام والتفسير، وما الحاجة إلى تجريح موسى بأظافر الحكمة؟! فإن الله يقذها في قلب موسى بدون تجريح، وهل يحتمل كلام العرب كل هذا التعسف لكي يُصْرَف اللفظ عن ظاهره من أجل مذهب فاسد، أو قواعد من علم الكلام الفاسد التي أخذوها عن الكفار! وقال إبراهيم بن زياد الملقب بـ سبلان: قال لي ابن مهدي: "لو كان لي سلطان، لألقيت من يقول: إن القرآن مخلوق في دجلة بعد أن أضرب عنقه".
وفي رواية قال: "لو كان لي سلطان، لقمت على الجسر -الذي يعبر منه جسر النهر- فلا يمر بي أحدٌ إلا سألته عن القرآن، فإذا قال مخلوق؛ ضربتُ عنقه وألقيته في الماء".
وقال عبد الرحمن بن مهدي أيضاً: "إن الجهمية أرادوا أن ينفوا أن يكون اللهُ كلَّم موسى، وأن يكون استوى على العرش، أرى أن يُستتابوا، فإن تابوا وإلا ضربت أعناقهم".
وهذه الشدة على أهل البدعة واجبة لكي تحاصَر البدعة، لأن أهل البدع لو تُرك لهم المجال؛ فإن أمرهم سيتفشى، فكان السلف في أشد ما يكون على أهل البدع بمحاصرتهم.
قال ابن مهدي بحضرة يحيى القطان وقد جاء ذكر الجهمية، ما كنت لأناكحهم، ولا أصلي خلفهم، ولو أن رجلاً منهم خطب إلى أَمَة لي ما زوجتُه.