بعد وفاة والده تابع جمعه للحديث من أفواه المحدثين، وطاف على محدثي بغداد يأخذ عنهم الحديث، وبعد أن رأى بأنه قد أكمل الأخذ عنهم عزم على الرحلة مرة ثانية، وكان عنده اختياران: إما أن يذهب إلى مصر، وإما أن يذهب إلى نيسابور، فتردد فاستشار شيخه البرقاني رحمه الله وهو من كبار الحفاظ، وقال له: هل أرحل إلى ابن النحاس في مصر أو أخرج إلى نيسابور إلى أصحاب الأصم؟ فأشار عليه شيخه إلى نيسابور، وعلل ذلك قائلاً: إنك إن خرجت إلى مصر إنما تخرج إلى رجلٍ واحد، إن فاتك ضاعت رحلتك، وإن خرجت إلى نيسابور ففيها جماعة، إن فاتك واحدٌ أدركت من بقي، فخرج إلى نيسابور وزوده شيخه البرقاني رحمه الله برسالة لطيفه إلى محدثي أصبهان، وكتب إلى أبي نعيم، رحمه الله الحافظ الكبير يوصيه بتلميذه الخطيب البغدادي، ويقول له فيها: قد نفذ إلى ما عندك عمداً متعمداً أخونا أبو بكرٍ أحمد بن علي بن ثابت أيده الله وسلَّمه، ليقتبس من علومك، ويستفيد من حديثك، وهو بحمد الله من له في هذا الشأن سابقةً حسنة، وقدم ثابت، وفهم حسن، وقد رحل فيه وفي طلبه، وقد حصل له منه ما لم يحصل لكثيرٍ من أمثاله الطالبين له، وسيظهر لك منه عند الاجتماع به، مع التورع -هذه المسألة ليست مسألة فقط حفظ روايات- مع التورع والتحفظ وصحة التحصيل -أي: الدقة- ما يحسّن لديك موقعه، ويجبل عندك منزلته، وأنا أرجو إن صحت منه لديك هذه الصفة أن تبين له جانباً، وأن توفر له وتحتمل منه ما عساه يورده من تثقيل في الاستكثار، أو زيادةٍ في الاصطبار، فقديماً حمل السلف عن الخلف ما ربما ثقل.
خرج الخطيب البغدادي رحمه الله مع رفيقٍ له اسمه أبو الحسن علي بن عبد الغالب متوجهاً إلى نيسابور، وفي رحلته كان يحصل له من العبادة الشيء الكثير، وقد رآه رفقاؤه الذين معه، وحصلت له في الرحلة من الروايات والأحاديث ما ألهاه عن النساء والطعام والشراب، بل ربما أنساه حاجته للنوم! فمن العجائب التي حصلت له، ويضرب له المثل في سرعة القراءة، وشهد له الحافظ ابن حجر رحمه الله بذلك، أنه قرأ صحيح البخاري كاملاً على إسماعيل بن أحمد الضرير في ثلاثة أيام قراءة ضبط على شيخ، ولا يعرف أنه حصل لغيره مثل هذا.
ورجع بعد ذلك إلى بغداد وسمع وقرأ فيها ذلك، ولما استقر بها عكف على كتابه المشهور تاريخ بغداد، ولما اكتملت فصول الكتاب، واجتمعت مادته، عزم على أداء فريضة الحج شكراً لله عز وجل، ولتتم النعمة، ولتتم رحلاته في أقطار العالم الإسلامي في ذلك الوقت.