وفضله أشهر من من أن يوصف، وأخذ الفقه عن أبي الحسن المحاملي، والقاضي أبي الطيب الطبري، وغيرهما، وكان فقيهًا، فغلب عليه الحديث والتاريخ. ولد في جمادى الآخرة سنة 392 يوم الخميس لست بقين من الشهر، وتوفي يوم الاثنين سابع ذي الحجة سنة 463 ببغداد.

وقال السمعاني: توفي في شوال، وسمعت أن الشيخ أبا إسحاق الشيرازي كان من جملة من حمل نعشه؛ لأنه انتفع به كثيرًا، وكان يراجعه في تصانيفه، والعجب أنه كان في وقته حافظ المشرق، وأبو عمرو يوسفُ بنُ عبد البر صاحبُ كتاب "الاستيعاب" حافظُ المغرب، وماتا في سنة واحدة كما سيأتي - إن شاء الله تعالى -.

وذكر محب الدين بن النجار في "تاريخ بغداد": أن أبا البركات إسماعيل بن سعد الصوفي، قال: إن الشيخ أبا بكر بن زهراء الصوفي، كان قد أعد لنفسه قبرًا إلى جانب قبر بِشْر الحافي، وكان يمضي إليه في كل أسبوع مرة، وينام فيه، ويقرأ فيه القرآن كله، فلما مات أَبو بكر الخطيب، وكان قد أوصى أن يدفن إلى جانب قبر بشر الحافي، فجاء أصحاب الحديث إلى أبي بكر بن زهراء، وسألوه: أن يدفن الخطيب في القبر الذي كان قد أعده لنفسه، وأن يؤثره به، فامتنع من ذلك امتناعًا شديدًا، وقال: موضع قد أعددته لنفسي منذ سنين، يؤخذ مني!.

فلما رأوا ذلك، جاؤوا إلى والدي الشيخ أبي سعد، وذكروا له ذلك، فأحضر الشيخ أبا بكر بن زهراء، وقال له: أنا لا أقول لك أعطهم القبر، ولكن أقول لك: لو أن بشرًا الحافي في الأحياء، وأنت إلى جانبه، فجاء أَبو بكر الخطيب يقعد دونك، أكان يحسن بك أن تقعد أعلى منه؟ قال: لا، بل كنت أقوم وأُجلسه مكاني، قال: فهكذا ينبغي أن يكون الساعة، قال: فطاب قلب الشيخ أبي بكر، وأذن لهم في دفنه، فدفنوه إلى جانبه بباب حرب، وقد كان تصدق بجميع ماله، وهو مئتا دينار فرقها على أرباب الحديث والفقهاء والفقراء في مرضه، وأوصى أن يتصدق عنه بجميع ما عليه من الثياب، ووقف جميع كتبه على المسلمين، ولم يكن له عقب.