ولد يوم الخميس لست بقين من جمادى الآخرة سنة 392 هـ، ونشأ في درزيجان، وهي قرية كبيرة جنوب غربي بغداد. [1]
كان أبوه يتولى الخطابة في جامع القرية لمدة عشرين عاما، فأولى ولده اهتماما وتوجيها حيث عهد به إلى هلال بن عبد الله الطيبي (ت 422 هـ) فأدبه وأقرأه القرآن، كما استفاد أيضا من منصور الحبّال في القراءات.
وسمع الحديث في حلقة أبى الحسن بن رزقويه بجامع بغداد في المحرم سنة 403 هـ ثم انقطع، وأخذ يتردد على مجلس أبى حامد الإسفرائينى الفقيه الشافعي في مسجده. [2]
وبعد وفاة الحبال أفاد الخطيب من ابن الصيدلاني الذي كان يعلّم القراءات في جامع الدارقطنيّ. ثم عاد الخطيب إلى حلقة ابن رزقويه مرة أخرى في بداية سنة 406 هـ وواظب على ذلك حتى سنة 412 هـ، وقد استفاد الخطيب من شيخه ابن رزقويه فتحمل عنه سماعا وإجازة روايات من مصنفات عديدة مشهورة ألفها معظمها يتعلق بالحديث والرجال. [3]
هذا وقد أفاد الخطيب من محدّث بارز آخر هو أبو بكر البرقاني الذي كان الخطيب يجله، فكان له أثر كبير في توجيهه نحو الحديث، وقد تحمل عن البرقاني مصنفات عديدة سماعا وإجازة.
ولم يمنع الخطيب شغفه بالحديث من متابعة تحصيل الفقه، فقد درسه على الفقيهين الشافعيين المشهورين: أبى الطيب الطبري، وأحمد بن محمد المحاملي. [4]
وقد أفاد الخطيب عن عدد كبير من العلماء البغداديين، وكذلك من العلماء الواردين على بغداد ممن استقوا العلم منها وتأثروا بثقافة علمائها وسمعوا عليهم مصنفاتهم أو مصنفات المؤلفين القدامى التي ملكوا حق روايتها سماعا أو إجازة.