لا يعرف على وجه التحديد من بدأ التصوف في الأمة الإسلامية ومن هو أول متصوف وإن كان الإمام الشافعي ـ رضي الله عنه ـ عندما دخل مصر قال: تركت بغداد وقد أحدث الزنادقة فيها شيئًا يسمونه السماع. . والزنادقة الذين عناهم الشافعي هنا هم المتصوفة (والسماع) هو الغناء والمواجيد والمواويل التي ينشدونها ومعلوم أن الشافعي دخل مصر سنة 199هـ ـ وكلمة الشافعي توحي بأن قضية السماع هذه قضية جديدة ولكن أمر هؤلاء الزنادقة يبدو أنه كان معلومًا قبل ذلك. بدليل أن الشافعي قال كلامًا كثيرًا عنهم كقوله مثلًا (لو أن رجلًا تصوف أول النهار لا يأتي الظهر حتى يكون أحمق) (تلبيس إبليس لابن الجوزي ص370) وقال أيضًا: ما لزم أحد الصوفية أربعين يومًا فعاد إليه عقله أبدًا (المصدر السابق ص370) ، وكل هذا يدل على أنه قد كان هناك قبل نهاية القرن الثاني الهجري فرقة معلومة عند علماء الإسلام يسمونهم أحيانًا بالزنادقة وأحيانًا بالمتصوفة. .
وأما الإمام أحمد فقد كان معاصرًا للشافعي وتلميذًا له في أول الأمر فقد أثر عنه أقوال كثيرة في التنفير من أفراد معينين نسبوا إلى التصوف. كقوله في رجل جاء يستفتيه في كلام الحارث المحاسبي: قال أحمد بن حنبل: " لا أرى لك أن تجالسهم " وذلك بعد أن اطلع أحمد بن حنبل على مجالسهم التي كانوا يجلسون فيها للبكاء ـ ومحاسبة النفس كما يزعمون ـ والكلام على الوساوس وخطرات القلوب. فلما اطلع الإمام أحمد على ذلك قال لسائله محذرًا إياه من