قال أبو بكر الخلال: "أبو حاتم إمام في الحديث"، وقال ابن خراش: "كان من أهل الأمانة والمعرفة"، وقال النسائي: "ثقة"، وقال أبو نعيم: "إمام في الحفظ والفهم"، وقال اللالكائي: "كان إماما عالما بالحديث حافظا متقنا ثبتا"، وقال ابن أبي حاتم: "سمعت موسى بن إسحاق القاضي يقول: ما رأيت أحفظ من والدك، قلت له فرأيت أبا زرعة؟ قال لا، قال: وسمعت يونس بن عبد الأعلى يقول: أبو زرعة وأبو حاتم إماما خراسان ودعا لهما وقال: بقاؤهما صلاح للمسلمين"، وقال الخطيب: "كان أحد الأئمة الحفاظ الأثبات مشهورا بالعلم مذكورا بالفضل"، وقال ابن أبي حاتم: "سمعت أبي يقول: قلت على باب أبي الوليد الطيالسي: من أغرب عليّ حديثا غريبا مسندا صحيحالم أسمع به فله عليّ درهم يتصدق به وهناك حلق من الخلق أبو زرعة فمن دونه وإنما كان مرادي أن أستخرج منها ما ليس عندي، فما تهيأ لأحد منهم أن يغرب عليّ حديثا"، وقال أحمد بن سلمة النيسابوري: "ما رأيت بعد إسحاق ومحمد بن يحي أحفظ للحديث ولا أعلم بمعانيه من أبي حاتم"، وقال عثمان بن خرزاذ: "أحفظ من رأيت أربعة: إبراهيم بن عرعرة ومحمد بن المنهال الضرير وأبو زرعة وأبو حاتم".