ارتد الناس عن الإسلام فترة من الزمان بعد أن اغتيل عقبة بن نافع في القيروان على يد البربر وهو في طريق عودته من المغرب الأقصى، فنظر موسى بن نصير في سبب ارتداد الناس عن الإسلام بصورة متكررة، فوجد خطأين للسابقين وتجنبهما رحمه الله موسى بن نصير ولذلك ثبت الإسلام في عهده في تلك البلاد بعد ذلك.
الأمر الأول: أن عقبة بن نافع ومن معه كانوا يفتحون البلاد فتحاً سريعاً، ولا يحمون ظهورهم في أماكن كثيرة إذا توغلوا فيها، فانقلب عليه الناس وأحاطوا به وقتلوه، فبدأ موسى بن نصير يفتح البلاد في هدوء وفي حذر، وبدأ يتقدم خطوة خطوة ويؤمن ظهره ثم يدخل خطوة أخرى ويؤمن ظهره فتم فتح البلاد في 7 سنوات أو في 6 سنوات، بينما عقبة بن نافع فقد تم له الأمر في شهور معدودة.
الأمر الثاني: أن هؤلاء القوم لم يعرفوا الإسلام حق المعرفة، فبدأ يعلمهم الإسلام، فأتى بالتابعين من منطقة الشام والحجاز ليعلموا الناس الإسلام، فأحب الناس الإسلام ودخلوا في دين الله سبحانه وتعالى أفواجاً، وبدأ يأخذ في صبر شديد يعلم الناس هذا الدين حتى أصبح البربر في المنطقة هم جند الإسلام وأهله.
موسى بن نصير رحمه الله بعد أن استتب له الأمر في شمال أفريقيا فكر في قوله سبحانه وتعالى: {قَاتِلُوا الَّذِينَ يَلُونَكُمْ مِنَ الْكُفَّارِ وَلْيَجِدُوا فِيكُمْ غِلْظَةً} [التوبة:123]، فقال: البلاد المجاورة لشمال أفريقيا هي بلاد الأندلس، إذاً: لابد أن أفتح بلاد الأندلس، كان موسى بن نصير رحمه الله قد أتم فتح الشمال الأفريقي كله إلا مدينة سبتة، وهي مدينة من المدن المغربية، تقع على مضيق جبل طارق مباشرة، وبلاد الأندلس يفصل بينها وبين المغرب مضيق جبل طارق، ومضيق جبل طارق ليس مضيقاً هيناً بسيطاً، فإن عرضه في بعض المناطق 13 كيلو ويصل عرضه في بعض المناطق الأخرى 37 كيلو، وعلى ساحله ميناءان شهيران كبيران هما: ميناء طنجة وميناء سبتة.
فتح كل الشمال الأفريقي ما عدا ميناء سبتة، وميناء طنجة فتح في الإسلام، ولخطورة هذا المكان ولى على ميناء طنجة رجل من القواد المهرة المشهورين جداً في التاريخ الإسلامي وهو طارق بن زياد رحمه الله، وطارق بن زياد من قبائل البربر الأصلية التي تعيش في مناطق الشمال الأفريقي أي: أنه ليس بعربي رحمه الله، ونحن لما تأتي في رءوسنا كلمة البربر نظن أن وجوههم سوداء وأنهم من الزنوج أو ما إلى ذلك.
فالبربر شعوب شعورهم شقراء وأعينهم زرقاء وألوانهم أبيض حتى أن بعض المحللين يقول: أنهم من أصول أوروبية لأنهم شديدي الشبه بالأوروبيين، كان طارق بن زياد رحمه الله ضخم الجثة، شعره أشقر، عيناه زرقاوان، ومع ذلك فإن كل هذه الأمور لم تقف في طريق جهاده إلى الله سبحانه وتعالى، فتولى طارق بن زياد رحمه الله ولاية مدينة طنجة القريبة جداً من سبتة التي لم تفتح والقريبة من بلاد الأندلس، وموسى بن نصير رحمه الله لما فكر في فتح الأندلس لم تكن هذه الفكرة فكرة جديدة بل هي فكرة قديمة جداً من أيام سيدنا عثمان بن عفان رضي الله عنه وأرضاه.
فالقسطنطينية كانت قد استعصت على الحملات الإسلامية في أيام سيدنا عثمان بن عفان عندما وصل الفتح إلى كل آسيا الصغرى، واستمرت القسطنطينية فترات طويلة لم تفتح إلا بعد قدوم الخلافة العثمانية الراشدة، فقد تم فتح القسطنطينية على يد محمد الفاتح رحمه الله، يقول سيدنا عثمان بن عفان رضي الله عنه: إن القسطنطينية إنما تفتح من قبل البحر وأنتم إذا فتحتم الأندلس فأنتم شركاء لمن يفتح القسطنطينية في الأجر، يعني: يريد أن يفتح المسلمون الأندلس ومن ثم يتجه الفاتحون إلى أقصى غرب أوروبا حتى يفتحوا القسطنطينية من الغرب وليس من الشرق من قبل البحر الأسود في ذلك الوقت.
إذاً: فكرة فتح الأندلس فكرة قديمة راودت المسلمين منذ عهد سيدنا عثمان بن عفان، لكن المسلمون لم يستطيعوا أن يصلوا إلى هذه المنطقة في المغرب العربي إلا في زمن الدولة الأموية في فترة حكم موسى بن نصير على الشمال الأفريقي.