جده: حنبل -الذي اشتهر بالنسب إليه- كان واليًا على منطقة سرخس في خراسان.
وأبوه: محمد كان قائدًا صغيرًا في الجيش العباسي المرابط في خراسان، وكان يسكن في مرو، ثم رحل منها إلى بغداد، فاشترى دارين، سكن واحدة، وأكرى الأخرى.
وأمه: صفية بنت ميمون بن عبد الملك، من بني شيبان المقيمين في البصرة، نزل أبوه عندهم، فخطبها من جدها الذي كان أحد وجوه البصرة، وعاد بصحبتها إلى مرو.
زوجاته: تزوج زوجته الأولى عائشة بنت الفضل، من العرب من الربض، وهو في الأربعين من عمره، وأنجب منها صالح أكبر أولاده، ولم يتزوج عليها حتى ماتت، فلما ماتت تزوج ابنة عمه ريحانة بنت عمر، وأنجب منها ابنه عبد اللَّه، فلما ماتت اشترى جارية اسمها حُسن، وتسرى بها، ومات وهي عنده.
وأولاده: صالح أبو الفضل، وعبد اللَّه أبو عبد الرحمن، وبه كان يكنى الإمام أحمد، لأن هذِه كانت كنيته قبل أن يتزوج، وبقيت تلازمه بعده.
وله ستة أولاد آخرين من جاريته حُسن: الحسن والحسين، توأمان، وماتا بالقرب من ولادتهما، ثم ولدت الحسن ومحمدًا، فعاشا حتى صارا من السن إلى نحو الأربعين سنة، ثم ولدت بعدهما سعيدًا وزينب، وتكنى أم علي.
ترك له والده دارين، فكان يسكن دارًا، ويكري الأخرى، وكان ربما احتاج فخرج مع اللقاط، وكانت زوجته أم صالح تغزل له الغزل وتبيعه، وانقطعت نفقته في بعض أسفاره، فعرض عليه بعض أصحابه النفقة، فلم يقبل، وأكرى نفسه من بعض الحمالين. وفي مرة رهن نعليه عند خباز.