إلى بغداد فسكنها ودرس بالمدرسة النظامية وحدث بالمسند مرارا وكان شيخا صالحا ثقة صحيح السماع سمعنا منه.
توفي يوم الأحد ودفن يوم الإثنين سابع عشرين ذي القعدة من سنة ست وستمائة ببغداد وكان مولده بواسط في رمضان سنة ثمان وعشرين وخمسمائة.
سمع الجامع لأبي عيسى الترمذي من أبي الفتح الكروخي وقد حدث قديما بدمشق عن عبد الأول بمسند أبي محمد عبد الله بن عبد الرحمن الدارمي وسمع من أبي بكر الزاغوني وغيرهم دخلت عليه في شعبان من سنة سبع وستمائة فرأيته مختل العقل ذكر لي أن الملائكة تنزل عليه من كنيسة داره بالثياب الخضر في هذيان طويل ثم قرئ عليه بعد ذلك كتاب الترمذي فحدثني بعض أصحابنا أنه كان إذا طال عليه المجلس شتمهم بفحش وأدار عينيه عن يمين وشمال ينظر شيئا ليضربهم به وحدثني رفيقنا أبو محمد عبد العزيز بن الحسين بن هلالة قال دخلت على أبي تراب الكرخي يوما فقال لي من أين أنت فقلت من بلاد المغرب فقال لي أنت من بلاد عبد المؤمن فقلت نعم فبكى وقال لا رضي الله عن صلاح الدين ذاك فساد الدين لا صلاح الدين أخرج الخلفاء من مصر وجعل يسبه وخفت ان يفطن بنا أحد فيؤذينا فقمت وخرجت من عنده.
وتوفي أبو تراب في ثالث عشر شعبان من سنة أربع عشرة وستمائة.