كان خليفة ثقة لدى معظم أئمة الحديث، غير أن ابن أبي حاتم وعلي بن المديني غمزاه بعض الغمز. فقد جاء عند الأول في كتاب الجرح والتعديل1: "وسألت أبي عنه فقال: لا أحدث عنه هو غير قوي, كتبت من مسنده أحاديث ثلاثة عن أبي الوليد, فأتيت أبا الوليد وسألته عنها فأنكرها وقال: ما هذه من حديثي, فقلت: كتبتها من كتاب العصفري، فعرفه، وسكن غضبه.
قال أبو محمد: انتهى أبو زرعة إلى أحاديث كان أخرجها في فوائده عن شباب العصفري، فلم يقرأها علينا، فضربنا عليها وتركنا الرواية عنه"2.
وابن أبي حاتم وأبوه من المتشددين في الجرح, وليس فيما حكياه ما يدل دلالة قاطعة على ضعف خليفة، ذلك أن أبا الوليد الطيالسي أنكر الأحاديث في البداية -وقد يكون سبب ذلك أنه وجد في رجال الأحاديث من ينكر أمره- ثم سكت وسكن غضبه عندما علم أن الرواية عند خليفة. وهذا يعني أن خليفة كان صادقًا في روايته.
أما ابن المديني فقد روي عنه أنه قال: "لو لم يحدث شباب كان خيرًا له". وهذه الرواية جاءت في كامل ابن عدي قال: "حدثنا محمد بن جعفر بن يزيد الطبري ثنا محمد بن يونس بن موسى: سمعت علي بن المديني يقول: لو لم يحدث شباب كان خيرًا له. وكان الفضل بن الحباب يذكر أنه كان عند أبي الوليد الطيالسي، فجاءه شباب العصفري برسالة علي بن المديني أن لا يحدث يحيى بن معين, فغضب أبو الوليد وقال: لم لا أحدثه؟ قال ابن عدي: ولا أدري هذه الحكاية عن علي بن المديني "لو لم يحدث شباب كان خيرًا له" قال ابن عدي: إنما يروي عن علي بن المديني الكديمي، والكديمي لا شيء، وشباب من متيقظي رواة الحديث، وله حديث كثير، وتاريخ حسن، وكتاب في طبقات الرجال.