وكانت أسرة ابن حزم تعيش فى قرية تملكها تسمى منت ليشم من قرى مدينة لبلة على بعد خمسين كيلو مترا غربى إشبيلية، وبها ولد أبوه أحمد، ورحل منها مبكرا إلى قرطبة، ليحرز لنفسه ما استطاع من الثقافة، وسرعان ما لمع بين أقرانه بقدرته الأدبية وبلاغته ومعرفته بالتاريخ. وتعرّف عليه ابن أبى عامر حاجب الخليفة المؤيد أثناء الطلب والتلمذة، وكان يعجب به، فاتخذه وزيرا له سنة 381 مما جعله يسكن فى الجانب الشرقى من قرطبة بناحية الزاهرة مدينة أبى عامر ومجمع قصوره. وأقصاه فترة عن وزارته للنظر فى كور غربى الأندلس، ثم أعاده إلى الوزارة. وبلغ من ثقته به أن كان يستخلفه حين مغيبه عن قرطبة، ووزر من بعده لابنه عبد الملك المظفر. ورزقه الله بابنه على سنة 384 ووكل تربيته فى صباه إلى جوارى قصره وكنّ على حظ كبير من الثقافة الأدبية-شأن أمثالهن من الجوارى فى قرطبة ومدن الأندلس-وفى ذلك يقول ابن حزم فى كتابه «الطوق»: «لقد شاهدت النساء وعلمت من أسرارهن ما لا يكاد يعلمه غيرى، لأنى ربّيت فى حجورهن، ونشأت بين أيديهن، ولم أعرف غيرهن، ولا جالست الرجال إلا وأنا فى حدّ الشباب وحين أبقل وجهى (نبت الشعر فيه) وهنّ علّمننى القرآن وروّيننى كثيرا من الأشعار ودرّبننى فى الخط». وجعلته هذه النشأة يستشعر مبكرا عاطفة الحب لمن؟ ؟ ؟ كن فى سنه من الجوارى، ويقول فى الطوق إنه أحب حينئذ جارية شقراء فما استحسن بعدها سوداء الشعر أبدا. وظل يختلط بهؤلاء الجوارى ويعيش معهن كما يقول إلى حد الشباب وحتى أصبح يافعا فى سن الثانية عشرة أو بعدها بقليل إذ يذكر أن أباه اصطحبه إلى مجلس الحاجب المظفر بن المنصور بن أبى عامر سنة 396. ولم يلبث أن أخذ يتتلمذ للشيوخ وفى مقدمتهم ابن الجسور المتوفى سنة 400 وعنه أخذ الحديث النبوى وتاريخ الطبرى وكان لا يزال فى سن مبكرة. وكثيرا ما كان يرافق أباه فى مجلس وزارته ويستمع إلى مادحيه من الشعراء ويحفظ بعض أشعارهم، وكان أبوه لا يزال يسكن الجانب الشرقىّ من قرطبة، حتى إذا بدأت الفتنة الكبرى سنة 399 رأى أن يتحول عن دوره المحدثة فى هذا الجانب إلى دورهم القديمة فى الجانب الغربى من قرطبة، وكان الخليفة المؤيد هشام قد عزل وأعيد سريعا، فاتهمه بمساعدته للثائرين ضده واعتقل وأغرم إغراما ماليا فادحا، وتوفى سنة 402.

وظل الفتى على فى هذه الأثناء يتابع دروسه على الشيوخ وقراءاته. ويتزوج من جارية له كلف بها تسمى نعما كانت غاية فى الحسن خلقا وخلقا، ولم يلبث القدر أن فجعه فيها وهو دون العشرين فالتاع لوعة شديدة، حتى ليقول إنه أقام بعدها سبعة أشهر لا يتجرد