العاص أعتق أبا رافع إلا سهما واحدا من أسهم لم يسم عددها فاشترى النبي - صلى الله عليه وسلم - ذلك السهم فأعتقه – فضربه الأشدق مائة سوط، ثم قال له: مولى من أنت؟ قال: مولى النبي - صلى الله عليه وسلم - فضربه مائة أخرى. فلما رأى عبد الله بن أبي رافع أخاه غير راجع، وأن عمرا قد ألح في ضربه قام إلى عمرو، فقال: اذكر الملح - يعني: الرضاع - فأمسك عنه.
وقال: وروي أن عبيد الله بن أبي رافع أتى الحسن بن علي، فقال: أنا مولاك. فقال في ذلك مولى لتمار بن عباس بن عبد المطلب، [يعزله ويعيره]:
جحدت بني العباس حق أبيهم ... فما كنت في الدعوى كريم العواقب
متى كان أولاد البنات كوارث ... يحوز ويدعى والدا في المناسب
يريد أن العباس أولى بولاء موالي رسول الله - صلى الله عليه وسلم - لأن العم مدعو والدا.
ولما ذكره ابن خلفون في كتاب " الثقات " قال: كان من جملة التابعين وهو ثقة، قاله يحيى وابن صالح وغيرهما.
وذكره أبو نعيم الفضل بن دكين في تاريخه، ونسبه حجازيا.
وذكره خليفة في الطبقة الثانية من أهل المدينة، ومسلم في الطبقة الأولى.
وابن شاهين في الثقات.
قال المالكي في كتابه " طبقات أهل القيروان ": كان كاتبا رجلا صالحا فاضلا، روى عن جماعة من العلماء.