ذكره أبو إسحاق الصريفيني، ولم ينبه عليه المزي.
قال البخاري في «تاريخه»: مات قبل ابن عمر قاله عبد الله بن صالح، عن الليث، عن يونس، عن ابن شهاب: مات في زمن معاوية. وقال: زمعة عن الزهري: قال ابن عمر لرافع: يا أبا خديج.
وذكره في «الصغير والأوسط» في «فصل من مات بعد الخمسين إلى الستين». زاد عن أبي حنيفة رجل من رهط زياد بن كليب قال: كنت بالمدينة فإذا جنازة قيل: جنازة جبير بن مطعم إذ أتوا بجنازة رافع بن خديج.
وفي «كتاب أبي أحمد العسكري»: له ابن عم يقال له ظهير بن رافع بن خديج ابن عدي، وليس بابنه، مات رافع أيام معاوية، وكان يخضب بالصفرة وأجازه النبي صلى الله عليه وسلم يوم أحد.
وفي «طبقات ابن سعد»: أمه حليمة بنت عروة بن مسعود، ومن ولده: سهل، وعبد الرحمن، ورفعاة، وعبيد الله، وزياد، وعبد الله، وأسيد، وإبراهيم، وعبد الحميد.
ولرافع عقب اليوم بالمدينة وبغداد، وكان له أخ يقال له رفاعة، وله صحبة، وانتقض جرحه الذي كان أصابه بأحد أو حنين - شك عمرو بن مرزوق -.
زاد البيهقي في «الدلائل»: