كان ذا حافظة عجيبة، قال سفيان عن نفسه: ما استودعت قلبي شيئاً قط فخانني.
وكانوا يقدمونه في الحفظ على مالك وعلى شعبة، وقال يحيى القطان: ليس أحد أحب إليَّ من شعبة ولا يعدله أحد عندي، وإن خالفه سفيان أخذت بقول سفيان.
وقد خالفه في نحو من خمسين موضعاً في حفظ الأحاديث، وكان الحق فيها مع سفيان.
وكان ليله يُقسم جزأين: جزء لقراءة القرآن وقيام الليل، وجزء لقراءة الحديث وحفظه، وكان حفظه يبلغ نحواً من ثلاثين ألفاً، وقال ابن عيينة: ما رأيت رجلاً أعلم بالحلال والحرام من سفيان الثوري.
وقال شعيب بن حرب: إني لأحسب أن يُجاء غداً بـ سفيان حجة من الله على خلقه يقول لهم: لم تدركوا نبيكم قد أدركتم سفيان.
وقال أبو بكر بن عياش: إني لأرى الرجل يصحب سفيان فيعظم في عيني.
كانت مرافقة الرجل له شرف وقال عبد الرحمن بن مهدي رحمه الله: كنا نكون عند سفيان فكأنه قد أوقف للحساب من خشيته لله، فلا نجترئ أن نكلمه وهو في تلك الحال من الخشية، فنعرض بذكر الحديث، ونذكر في الكلام بيننا شيئاً عن الحديث، فيذهب ذلك الخشوع فإنما هو حدثنا وحدثنا، ويبدأ بالتحديث.
وكان يطلب سماع الحديث وهو مستخف لما هرب واضطر للاختفاء كان وهو مستخف يطلب العلم، قال سليمان بن المثنى: قدم علينا سفيان الثوري، فأرسل إليَّ: إنه بلغني عنك أحاديث وأنا على ما ترى من الحال، فائتني إن خف عليك، قال: فأتيته فسمع مني، وفعل ذلك بعدد من أصحابي.
وقال ابن المبارك عن سفيان: كنت أقعد إلى سفيان الثوري فيحدث، فأقول: ما بقي شيء من علمه إلا وقد سمعته، ثم أقعد عنده مجلساً آخر فأقول: ما سمعت من علمه شيئاً.