ولقد بدأ الحافظ رحمه الله رحلاته وهو في العشرين من عمره تقريبًا، إذ رحل إلى بغداد سنة [561]، وإذا عرفت أنهم لم يكونوا يرحلون إلا بعد سماعهم من مشايخ بلدانهم، علمت أنه طلب العلم منذ صغره رحمه الله.
فرحل إلى بغداد مرتين.
رحل المرة الأولى سنة [561]، هو، وابن خاله الشيخ موفق الدين بن قدامة، واستغرقت إقامتهما ببغداد نحو أربع سنوات، وكان الحافظ رحمه الله ميله إلى الحديث، والموفق يريد الفقه، وكان من أثر تلازمهما تفقه الحافظ، وسماع ابن قدامة.
ثم رحل إلى الحافظ أبي طاهر السِّلفي بالإسكندرية مرتين:
الأولى سنة [566]، وأقام مدة، والثانية سنة [570]، وسمع من السلفي كثرًا، فقد كتب عنه نحوًا من ألف جزء.
وكان قبل رحيله إلى السلفي يحضر مجالس الحديث بدمشق، وكان يحضرها أيضًا الملك نور الدين بن زنكي، وكان إذا أشكل شيء على القارىء، بينه الحافظ، ففقده الملك بعد ذلك، فقال: أين ذاك الشاب؟، فقيل: سافر.
وهذا يدل على نباهته، وقوة حفظه منذ الصغر.
ورحل إلى مصر أيضًا مرتين، فسمع وحدث، وحدثت له فيها أحداث منها: أنه اجتمع بالملك العادل، إذ يقول هو في ذلك:
"والملك العادل اجتمعت به، وما رأيت منه إلا الجميل،