وكانت حروب الردة ثم الفتوح لعهد أبي بكر وعمر ولصدر من عهد عثمان قد أتت على عدد كبير من كبار الصحابة، فلما كان عهد معاوية تصدر للفتوى الحفظة والفقهاء من صغارهم ومنهم رافع بن خديج.

وكان الملتزمون بالسنة في ذلك العهد وفي طليعتهم فقهاء الصحابة وصدور الإفتاء منهم، يجهرون بإنكار ما يشهدونه من تغير وتبدل في تصرفات أولي الأمر والعامة، وكانوا على أولي الأمر منهم أشد على العامة، فهم يدركون أن صلاح العامة بصلاح أولياء الأمر منهم، بل إن الإنكار على معاوية ابتداء من عهد عمر - رضي الله عنه - ومع أن عمر كان يكله إلى ربه في بعض ما ينكر من مظاهره ويعتذر عنه معاوية بأعذار تتصل بالسياسة، فإن مآخذ بعض الصحابة عنه كانت من يومئذ تستعلن , بيد أنها اشتدت وبلغت حد المجابهة في عهد عثمان - رضي الله عنه - ثم ارتفعت إلى أن أصبحت نمطًا من التحدي لما صار إليه الأمر.

وكان لرافع بن خديج موقف من عثمان نفسه بادئ الأمر، ويظهر أنهما بلغا إلى تفاهم بعد ذلك، أو أن رافعًا فضل أن يسالمه اجتنابًا إلى مصير أبي ذر , ولأن ما ينكر عليه لم يكن في تقديره مما ينبغي أن يدفعه إلى مناهضته. ويظهر أن رافعا كان في عهد عثمان قد اعتزل الزراعة فالطبري يقول (?) إن عثمان فرض له ولأبي ذر عظما لكل واحد منهما كل يوم وما كان عثمان ليقبل هذا الفرض لو أنه لبث مواصلًا لعمله الفلاحي.