قال أبو حاتم بن حبان: يروي عن القاسم وغيره أشياء كأنها موضوعة، وكان ممن غلب عليه التقشف حتى صار وهمه شبيها بالوضع، تركه أحمد بن حنبل ويحيى بن معين، سمعت عمر بن محمد: سمعت محمد بن حريث البخاري يقول: سمعت هانئ بن النضر يقول: سألت علي بن المديني عن جعفر بن الزبير؟ فقال: استغفر ربك.
قال أبو حاتم: روى جعفر بن الزبير [ق 75/ ب] عن القاسم عن أبي أمامة نسخة موضوعة أكثر من مائة حديث، روى عنه المكي بن إبراهيم.
ولما ذكره ابن شاهين في «جملة الضعفاء» قال: كان شعبة يحلف أنه كذاب.
وقال يعقوب بن سفيان: ضعيف متروك مهجور.
وقال أبو زكريا يحيى الساجي: ثقة، وقد روى مناكير.
وفي «العلل» لعبد الله بن أحمد عن أبيه قد روى عنه عبد الرحمن بن مهدي ووكيع، وكان يتشيع.
وذكره أبو الفتح الأزدي - فيما ذكره ابن خلفون في كتاب «الثقات» - فقال: مائل عن القصد فيه تحامل وشيعية غالية وحديثه مستقيم، وهو مولى مزاحم بن زفر من تيم الرباب، وكان له ابن يقال له: علي يحسن الحديث ثقة.
وقال ابن صالح: ثقة، كان فيه تشيع، وكان متعبدا.
وكناه ابن الأثير: أبا شيبة.