مائدة الأمير يزيد بن حاتم، وكان يوحنا المتطبب حاضرا، فقال: إن كان الطب حقا فإن الشيخ يموت الليلة. فلما كان في السحر سمعوا صيحة فقيل: ما هذه الصيحة؟ فقيل: مات عبد الرحمن القاضي.

وكان - رحمه الله تعالى - قبل ذلك، يخوّف الناس من أكل الحيتان مع اللبن، فقال له يزيد بن حاتم: «اذكر الحديث الذي سمعناه منك».فقال له عبد الرحمن: «لا يكون إلا ما قدر الله عزّ وجلّ وأراده»، فأفلج من ليلته ومات في الوقت.

وقال أبو الغارات السراج: شهدت جنازة [عبد الرحمن بن زياد] ابن أنعم [سنة إحدى وستين ومائة] وأنا غلام، وشهدها الأمير يزيد بن حاتم، فوقف يزيد خارجا من «باب نافع» ينتظر الجنازة فأخذت بمعقد ثفر دابته، فلما نظر إلى جماعة الناس وازدحامهم وكثرتهم تمثل بهذا البيت فحفظته منه، وهو:

يا كعب ما راح من قوم ولا ابتكروا ... إلا وللموت في آثارهم حادي

وكان ذلك يوما عظيما.