قال أبو عثمان النهدي: فكنا نغبطه. واستعمله عمر على بعض صدقات البصرة، وقيل بل كتب لأبي موسى (?) فلما لم يقطع الشهادة مع الشهود على المغيرة جلدهم وعزله وقال له: ما عزلتك لخزية، ولكني كرهت أن أحمل على الناس فضل عقلك. ورووا أن عمر أرسله إلى اليمن في إصلاح فساد، فرجع وخطب خطبة لم يسمع مثلها، فقال عمرو بن العاص: " أما والله لو كان هذا الغلام قرشياً لساق الناس بعصاه "، فقال أبو سفيان: والله إني لأعرف الذي وضعه في رحم أمه، فقال له علي: ومن؟ قال: أنا. قال مهلا يا أبا سفيان. فقال أبو سفيان أبياتاً من الشعر:
أما والله لولا خوف شخص (?) ... يراني يا علي من الأعادي
لأظهر أمره صخر بن حرب ... ولم تكن المقالة عن زياد