بعد عودة أبي عبيد إلى بغداد واتصاله بـ عبد الله بن طاهر لم تطُل إقامته هناك، فرحل من بغداد إلى مصر والشام بصحبة الإمام العلم المشهور يحيى بن معين -رحمه الله تعالى- وقدم دمشق طالب علم، مع أنه كان قاضياً (18) سنة، وكان علماً وعالماً؛ لكن رحل إلى دمشق وسمع من هشام بن عمار، وسليمان بن عبد الرحمن، وحدَّث عنهما، وكانت رحلته في سنة: (214هـ) تقريباً، وفي سنة: (219هـ) خرج إلى مكة حاجاً، وأكرمه الله بأداء المناسك ودخل المدينة النبوية، ويدل على ذلك أنه لما شرح حديث (أن النبي صلى الله عليه وسلم حرَّم ما بين عير وثور) وهذا الحديث فيه كلمة (عير وثور) وهي من الكلمات الغريبة التي يُتَوَقَّع أن توجد، وهذا الحديث يوجد في كتاب غريب الحديث لـ أبي عبيد، لأن هذا الكتاب يشرح فيه أبو عبيد -رحمه الله- الألفاظ الصعبة والغريبة في الأحاديث، وهذا أشهر كتاب لـ أبي عبيد، وعُرف واشتُهر به.
فطبيعة الحال لما مر بكلمتي (عَير وثور) شرحهما، وأنهما اسم جبلين، فقال: عير بـ المدينة معروف وقد رأيته، وهذا يدل على أنه دخل المدينة.
ثم إنه -رحمه الله- ذهب إلى مكة، وتوفي فيها في المحرم من سنة: (224هـ)، ودُفن في المعلاة، مقبرة أهل مكة.
وقيل: إنه رأى رؤيا قبل أن يموت في مكة، وكان قد عزم على الخروج من مكة إلى العراق في صباح اليوم التالي، فرأى رؤيا أن النبي صلى الله عليه وسلم كان جالساً وعلى رأسه قومٌ يحجبونه، والناس يدخلون عليه ويسلمون عليه ويصافحونه، قال: فلما دنوتُ أدخل مع الناس مُنِعْتُ، فقلت لهم: لِمَ لا تخلوا بيني وبين رسول الله صلى الله عليه وسلم؟ فقالوا لي: لا والله لا تدخل ولا تسلم عليه، وأنت غداً ذاهب إلى العراق.
كيف تخرج العراق غداً ثم تريد أن تسلم عليه؟! فقال: فقلت لهم -وهذا كله في المنام-: إني لا أخرج إذاً، فأخذوا علي العهد ألا أخرج، ثم خلوا بيني وبين النبي صلى الله عليه وسلم، فدخلت وسلمت عليه وصافحته، فلما أصبح أبو عبيد -رحمه الله- بعد هذه الرؤيا، فاسخ كَرِيَّه -أي: الشخص الذي اتفق معه على الكِراء إجارة القافلة أو الدابة من مكة إلى العراق، فسخ معه عقد الإجارة- وجلس في مكة إلى أن توفي بها، ودُفن فيها رحمه الله تعالى.