وأما بالنسبة لموقفه من أهل البدع، فإن أبا عبيد -رحمه الله- كان شديداً على أهل البدع كعادة السلف في ذلك الوقت، وكان صاحب خبرة ومراس، واحتكاك بأصحاب الفرق الضالة، ونقل أخبارهم، وسبر غَوْرَهم، فقال: عاشرت الناس، وكلمت أهل الكلام، فما رأيت أوسخ وسخاً ولا قذراً، ولا أضعف حجةً، ولا أحمق من الرافضة، ولقد وُلِّيت قضاء الثغور -تولى القضاء ثمانية عشر عاماً- فنفيت منهم ثلاثة رجال؛ رافِضِيَّيْن وجهمياً، وقلت: مثلكم لا يساكن أهل الثغور وأخرجتهم، أي: أنهم وبال على المسلمين، فإن الثغور تحتاج إلى جهاد، والثغور هي: رباط في الجهاد، والجهاد يحتاج إلى أناس من أهل التقى والصلاح والسنة، ينتصر بهم المسلمون، أما مثلكم أنتم فأنتم سبب هزيمة فأخرجهم ونفاهم.