بدأت الرحلة الثالثة في سنة (444هـ) فتوجه من بغداد إلى دمشق وسمع من كثيرٍ من محدثيها، ثم توجه إلى مكة ولم يكن يترك طريقه بدون فائدة، بل كان يشغله بتلاوة القرآن الكريم، فيقول أحد مرافقيه وهو أبو الفرج الأسفرائيني: كان الخطيب معنا في طريق الحج يختم كل يومٍ ختمة، قراءة ترتيل، ثم يجتمع عليه الناس وهو راكب يقولون: حدثنا فيحدثهم، وهكذا قضى الطريق متقرباً إلى الله تعالى بتلاوة القرآن، وإسماع الناس الحديث عن النبي صلى الله عليه وسلم، ولما وصل مكة وطاف ببيت الله الحرام، وصلى ركعتين خلف المقام توجه إلى ماء زمزم وشرب منه ثلاث شربات، وسأل الله ثلاث حاجات، آخذاً بقول النبي صلى الله عليه وسلم: (ماء زمزم لما شرب له) وهذه الثلاث هي: الأولى: أن يحدث بـ تاريخ بغداد في بغداد.
الثانية: أن يملي الحديث بجامع المنصور، وكان جامعاً مشهوراً لا يحدث به إلا النوادر ممن يؤذن له من الخليفة.
الثالثة: أن يدفن بجانب بشر الحافي، وهو أحد الورعين الزهاد العباد، فتمنى أن يدفن بجانبه، وبلغه أن كريمة المروزية مجاورة بـ مكة المكرمة، وعندها سماعٌ عالٍ لـ صحيح البخاري؛ لأن كريمة عُمِّرت إلى سن المائة رحمها الله تعالى، فذهب إليها وقرأ عليها صحيح البخاري في خمسة أيام.
وبعد الانتهاء من فريضة الحج والاجتماع بمحدثي مكة، والمشاهدات النافعة التي حصلت له، كما قال الله عز وجل: {لِيَشْهَدُوا مَنَافِعَ لَهُمْ} [الحج:28] قفل راجعاً إلى الشام من الحجاز، فمر بـ البيت المقدس أولى القبلتين ومسرى النبي صلى الله عليه وسلم، واجتمع بعلمائها، مثل: أبي محمد عبد العزيز بن أحمد بن عمر المقدسي وسمع منه الحديث، ولعل هذا الدخول لـ بيت المقدس كان في سنة (446هـ).
ثم انتقل بعدها إلى صُوْرٍ وسمع فيها من بعض مشايخها، مثل: عبد الوهاب بن حسين العمر الغزال، وانتهى مكثه بمدينة صُوْر فتوجه راجعاً إلى وطنه بغداد حاملاً معه رواياته الجديدة، ومسموعاته التي تزود بها، وبدخوله بغداد، انتهت المرحلة الثانية من حياته.