كان أبو فرويد يعمل بتجارة الصوف ولم يحالفه النجاح في تجارته فاضطر للانتقال إلى لايبزيج ثم إلى فيينا بحثاً عن الحراك الاجتماعي (كان فرويد يبلغ من العمر أربع سنوات حينما استقرت الأسرة في فيينا وبقي فيها بقية حياته) . وكانت خلفية أبويه حسيدية، وأمه على وجه الخصوص جاءت من برودي (في جاليشيا) أحد أهم المعاقل الحسدية، وكان جدها الأكبر تساديك حسيدي. وكان أبوها أحد تلاميذ الواعظ أدولف جلينيك (1820 ـ 1893) القبَّالي الشهير، والذي كان يُلقي محاضراته في فيينا. ورغم هذه الخلفية الحسيدية الأرثوذكسية تزوج الأبوان على يد حاخام إصلاحي، فالأب كان قد فقد إيمانه الديني بعد أن هبت عليه رياح الاستنارة وأصبح يؤمن إيماناً مطلقاً بالعلم والعقل (المادي (.

كان أبو فرويد يكبر أمه بحوالي عشرين عاماً، وكان يتسم بالجمود والديكتاتورية (ولذا كان لا يذكره بالخير) ، على عكس الأم التي وصفها فرويد بأنها كانت حنونة، وكان ينسب لها كل الصفات الحميدة. ويبدو أنه كان مستحوذاً على حب أمه إلى أن وُلد أخوه جوليوس فأحس فرويد نحوه بالكره العميق، ولكن حينما مات الأخ فجأة شعر فرويد بالذنب. وذكر فرويد أنه رأى أمه عارية فأثارته جنسياً، كما دخل مرة وهو في سن السابعة وتبول في غرفة نوم والديه. ويبدو أن علاقته بمربيته الكاثوليكية كانت تتسم بقدر كبير من الإبهام إذ كان يحبها ويكرهها في آن واحد، وكثيراً ما كانت تصحبه إلى الكنيسة. ويبدو أن الأبوين اهتما بفرويد على حساب إخوته بسبب نبوغه الملحوظ، ولذا كانت غرفته الغرفة الوحيدة المزودة بمصباح كيروسين (على عكس الغرف الأخرى المزودة بشموع) . كما مُنع إخوته الآخرون من أن يتعلموا الموسيقى حتى لا يزعجوا أخاهم أثناء التدريب.