فلما جاء الأجل وأراد علي أن يبعث أبا موسى للحكومة أتاه رجلان من الخوارج زرعة بن البرج الطائي، وحُرقوص بن زهير السعدي، فقالا له: لا حكم إلا لله، وقالا له: تب من خطيئتك، وارجع عن قضيتك، واخرج بنا إلى عدونا نقاتلهم حتى نلقى ربّنا.
فقال علي: قد أردتكم على ذلك فصيتموني. قد كتبنا بيننا وبين القوم كتاباً، وشرطنا شروطاً، وأعطينا عهوداً. وقد قال الله تعالى: {وَأَوْفُوا بِعَهْدِ اللَّهِ إِذَا عَاهَدْتُمْ} [النحل: من الآية91] .
فقال حرقوص: ذلك ذنب ينبغي أن تتوب منه.
قال علي: ما هو ذنب، ولكنه عجز في الرأي وقد نهيتكم عنه.
قال زرعة: يا علي لئن حكّمت الرجال لأقاتلنّك، أطلب بذلك وجه الله.
فقال له علي: بؤساً لك، وما أشقاك، كأني بك قتيلاً تسفي عليك الرياح.
قال: وددت لو كان ذلك. وخرجا من عنده يقولان: لا حكم إلا لله.
وخطب علي ذات يوم فقالوها في جوانب المسجد. فقال علي: الله أكبر كلمة حق أريد بها باطل، فوثب يزيد بن عاصم المحاربي فقال: الحمد لله غير مودع ربنا ولا مستغني عنه. اللهم إنا نعوذ بك من إعطاء الدنية في ديننا، فإن إعطاء الدنية في الدين إذهان في أمر الله وذل راجع بأهله إلى سخط الله، يا علي أبالقتل تخوفنا؟ أما والله إني لأرجو أن نضربكم بها عمّا قليل غير مصفحات، ثم لتعلم أينا أولى بها صليا.
وخطب علي يوما آخر، فقال رجال في المسجد: لا حكم إلا لله، يريدون بهذا إنكار المنكر على زعمهم. فقال علي: الله أكبر كلمة حق أريد بها باطل، أما إن لكم علينا ثلاثاً ما صحبتمونا: لا نمنعكم مساجد الله أن تذكروا فيها اسمه، ولا نمنعكم الفيء ما دامت أيديكم مع أيدينا، ولا نقاتلكم حتى تبدؤنا، وإنا ننتظر فيكم أمر الله. ثم عاد إلى مكانة من الخطبة.