كانت رحلته الأولى إلى البصرة في (412هـ) والتقى بكبار محدثيها، ومنهم: أبو عمر القاسم، وأبو جعفر بن عبد الله الهاشمي، وسمع منه سنن أبي داود وغيرها، وعاد إلى بغداد في السنة نفسها، وفي الطريق مر بـ الكوفة والتقى بمحدثيها واستفاد فوائد، وقد ذكر ذلك في كتابه: تاريخ بغداد، ولما رجع من هذه الرحلة لم تطل فرحة أبيه به؛ لأن أباه توفي في هذه السنة، وعاجلته المنية يوم الأحد من نصف شوال في السنة ذاتها التي رجع فيها الولد من رحلته.
فتولى ابنه دفنه بنفسه ولم يؤثر ذلك في نيته في الطلب وعزمه عليه، واقتضب الخطيب رحمه الله هذه الحادثة في ترجمة والده، فقال: توفي يوم الأحد النصف من شوال سنة (412هـ) ودفنته من يومه في مقبرة باب حرب، ولم يزد على هذا كلمةً واحدة.