وشغلهم أجناد الشام عنه، وقد كان عمر اتخذ في كل مصر على قدره خيولاً من فضول أموال المسلمين عدةً لكون إن كان. فكان بالكوفة أربعة آلاف فرس، فلما وقع الخبر لعمر كتب بأن يسرح الجند منها إلى الشام مدداً لأبي عبيدة. ولما أحيط بالمسلمين جمع أبو عبيدة الناس فحمد الله وأثنى عليه وقال: أيها الناس إن هذا يوم له ما بعده أما من حيي منكم فإنه يصفو له ملكه وقراره، وأما من مات منكم فإنها الشهادة. فأحسنوا بالله الظن ولا يُكرِّهن إليكم الموت أمر اقترفه أحدكم دون الشرك، توبوا إلى الله وتعرضوا للشهادة فإني أشهد، وليس أوان الكذب، أني سمعت رسول الله صلى الله عليه وسلم يقول: من مات لا يشرك بالله شيئا دخل الجنة. وكأنما كان في الناس عقل تنشطت، فخرج بهم وخالد على الميمنة وعباس
على الميسرة وأبو عبيدة في القلب وعلى باب المدينة معاذ بن جبل فاجتلدوا بها، فإنهم كذلك إذ قدم القعقاع متعجلا في مائة وانهزم أهل قنسرين بالروم، فاجتمع القلب والميمنة على قلبهم، وقد انكسر أحد جناحيه وأوعبوا المدد، فما أفلت منهم مخبر، وذهبت الميسرة على وجهها، وكان آخر من أصيب منهم بمرج الديباج انتهوا إليه فكسروا سلاحهم وألقوا يلامقهم تخفيفا فأصيبوا وتغنموا. ولما ظفر المسلمون جمعهم أبو عبيدة فخطبهم وقال: لا تتكلوا ولا تزهدوا في الدرجات فلو علمت أنه يبقى منا أحد لم أحدثكم بهذا الحديث.
توفي أبو عبيدة في طاعون عمواس سنة 19 وكان من أعماله في الشام وعدله ما حببه إلى الروم حتى إنهم لما فتحوا له باب الجابية بدمشق سنة أربع عشرة للهجرة ودخل خالد بن الوليد من الباب الشرقي عنوة، قال خالد لأبي عبيدة: اسبهم فإني دخلت وشرحبيل بن حسنة عنوة، فأبى أبو عبيدة. ولذلك كان الروم يميلون إلى أبي عبيدة دون خالد