لقد كان الحافظ عبد الغني- رحمه الله- شأنه شأن الحفاظ الكبار من قبله، فقلما تجد حافظًا من الحفاظ، أو عالِمًا من العلماء، إلا وقد رحل في طلب العلم.
والرحلة في طلب العلم أمر معروف في الإِسلام منذ الصدر الأول وقد ألف الخطيب البغدادي كتابه المعروف "الرحلة في طلب الحديث".
ومالهم لا يرحلون، وقد أوصئ بهم النبي - صلى الله عليه وسلم -، فقد روى ابن ماجة (247) عن أبي سعيد الخدري رضي الله عنه، عن رسول الله - صلى الله عليه وسلم - قال: "سيأتيكم أقوام يطلبون العلم، فإذا رأيتموهم، فقولوا لهم: مرحبًا مرحبًا بوصية رسول الله - صلى الله عليه وسلم -، واقنوهم" قلت للحكم: ما "اقنوهم"؟ قال: علموهم. وفي نسخة: "وأفتوهم".
ولقد رحل الحافظ وهو في العشرين من عمره تقريبًا فرحل إلي بغداد مرتين، أولاهما كانت سنة (561 هـ)، فرحل هو وابن خاله الشيخ الموفَّق، فكانا يخرجان معًا، ويذهب أحدهما في صحبة رفيقه إلي درسه وسماعه، كانا شابين مُخْتَطين، وخوفهما الناس من أهل بغداد، وكان الحافظ ميله إلي الحديث، والموفق يريد الفقه، فتفقه الحافظ، وسمع الموفق، فلما رآهما العقلاء علي التصون وقلة المخالطة أحبوهما، وأحسنوا إليهما، وحصَّلا علمًا جمًّا, فأقاما ببغداد نحو أربع سنين، ونزلا أولًا عند الشيخ عبد القادر، فأحسن إليهما، ثم مات بعد قدومهما بخمسين ليلة، ثم اشتغلا بالفقه والخلاف علي ابن الْمَني.