تولى سليمان بن الحكم الحكم من سنة (403هـ - 407هـ) وكان الجيش الرئيسي له من البربر، وكانوا يريدون أن يستولوا على الحكم، فكونوا قوة أساسية كبيرة، واستعانوا بالبربر من بلاد المغرب وهجموا على سليمان بن الحكم وأخرجوه من الحكم وقتلوه، وتولى خلافة المسلمين في الأندلس في سنة (407هـ) رجل من البربر اسمه علي بن حمود الذي تسمى بـ الناصر بالله، استقر الأمر لـ علي بن حمود في قرطبة وعين أخاه القاسم بن حمود على إشبيلية في سنة (407هـ)، وبذا أصبح الذين يتملكون الأمور في قرطبة وما حولها هم البربر في ذلك الوقت سنة (407هـ).
والعامريون الذين فروا إلى شرق الأندلس لم يسكتوا، بل بحثوا عن أموي آخر هو عبد الرحمن بن محمد بن عبد الله من أحفاد عبد الرحمن الناصر، وبايعوه على الخلافة، وسمى نفسه المرتضي بالله، فأخذوه وذهبوا به إلى قرطبة لحرب علي بن حمود البربري، وبالفعل دارت حرب بين العامريين ومعهم المرتضي بالله وبين البربر وعلى رأسهم علي بن حمود كانت النتيجة بين الفريقين أن قتل في الموقعة علي بن حمود والمرتضي بالله.
لكن تمكن البربر من الانتصار في الموقعة النهائية وتولى الحكم القاسم بن حمود حاكم إشبيلية سابقاً.
ثم قامت بعد ذلك صراعات كثيرة وأتوا برجل آخر من بني أمية وهكذا استمر هذا الوضع إلى سنة (422) أي: أن (13) خليفة تولوا الحكم من سنة (399هـ - 422هـ) ثم يجتمع العقلاء من أهل الأندلس، والعلماء وكبار القوم، واتفقوا على عزل بني أمية تماماً عن الحكم؛ لأنه لم يعد هناك من بني أمية من يصلح لإدارة الأمور، فقد انتهى عهد الخلفاء والأمراء ومن تبعهم أبداً ليسوا على شاكلتهم، فاجتمعوا على خلعهم.
وعملوا بالفعل مجلس شورى في قرطبة في سنة (422)، وولوا عليه رجلاً اسمه أبو الحزم بن جهور، وهذا الرجل كان من علماء القوم، وكان يشتهر بالتقوى والورع ورجاحة العقل، وظل الحال هكذا سنة أو سنتين أو ثلاث، لكن واقع الأمر أن أبا الحزم بن جهور لم يكن يسيطر هو ومجلس الشورى الذي معه إلا على قرطبة فقط، أما البلاد والأقاليم الأخرى في الأندلس فقد ضاع السيطرة عليها، وبالفعل بعد ثلاث أو أربع سنوات من هذا التاريخ بدأت الأندلس تقسم بحسب العنصر إلى دويلات مختلفة، ليبدأ ما يسمى بعهد دويلات الطوائف أو عهد ملوك الطوائف.