عبد الملك، وابن أخيه العباس بن الوليد بن عبد الملك في جيوش كثيفة، وخرج يزيد بن المهلب عن البصرة في جموع كثيفة عظيمة، فالتقوا بالعقر من أرض بابل فاقتتلوا قتالا شديدا، فقتل يزيد وعدة من إخوته في جمع من أهل العراق وانهزم الباقون، وذلك في سنة 102، وقيل إن الّذي تولى قتل يزيد القحل بن عياش بن حسان بن سمير بن شراحيل بن عرين بن أبى جابر بن زهير بن جناب، وفي ذلك يقول المسيب بن الرفل الكلبي مفتخرا:
قتلنا يزيد بن المهلب بعد ما ... تمنيتم أن يغلب الحق باطله
فما كان من أهل العراق منافق ... عن الدين إلا من قضاعة قاتله
وقال رفيع بن أزير الأسدي في مقتله مخاطبا يزيد بن عبد الله بن مروان:
إليك أمير المؤمنين مسيرنا ... على المقربات والمحذفة البتر
نزيد أمير المؤمنين بأرضه ... رءوسا جناها بين بابل والعقر
ولاقى يزيد بن المهلب باكرا ... من الموت ساقته الحتوف وما يدرى
وركب من بقي من آل المهلب وأتباعهم السفن حتى صاروا إلى قندابيل من أرض السند فوجه مسلمة هلال بن أحوز المازني لاتباعهم، فلحقهم بها، فقتل منهم جمعا وأسر الباقين، فكان المهلب عند وفاته استخلف يزيد بن المهلب على عمله وأمر سائر إخوته بالسمع والطاعة له.
وكانت وفاة المهلب بمروالروز من أرض خراسان في ذي الحجة سنة 83 وهو على إمرتها يومئذ، وفيه يقول نهار بن توسعة التميمي:
ألا ذهب العز المقرب للتقى ... ومات الندى والجود بعد المهلب
أقاما بمروالروز رهني ضريحه ... فقد غيبا عن كل شرق ومغرب