بين لمتونة ومسوفة، فخشى أبو بكر أن يتفاقم الأمر هناك بين القبائل الشقيقة، وقد كانت الصحراء منبع أمرهم، ومطلع سلطانهم، فقرر أن يعود إلى قومه، ليجبر الصدع ويوحد الكلمة. فوكل شئون المغرب لابن عمه يوسف بن تاشفين ونزل له عن زوجته الحسناء زينب بنت إسحاق النفزاوية، بعد أن طلقها، حتى لا تشاطره خشونة الحياة الصحرية، فتزوجها يوسف فيما بعد، وأمره بمتابعة قتال مغراوة وبني يفرن وزناتة، ووافق أشياخ المرابطين على هذا الاختيار، لما يعلمونه عن يوسف " من دينه وفضله وشجاعته وحزمه وشدته وعدله وورعه وسداد رأيه ويمن نقيبته " (?).

وقسمت القوات المرابطية عندئذ إلى جيشين، تولى يوسف إمرة أحدهما ليتم به إخضاع المغرب، وتولى أبو بكر إمرة الآخر. وخرج أبو بكر في جيشه في شهر ذي القعدة سنة 453 هـ (ديسمر 1061 م) واخترق بلاد تادلا وسجلماسة، ثم سار جنوباً إلى الصحراء، وهناك قام بإصلاح شئونها، والقضاء على أسباب الخلاف بين أقوامها، وتوحيد كلمتهم، ثم حشد قوات جديدة، وسار في جيشه الضخم إلى بلاد السودان، فغزا الكثير من نواحيه، وتوغل في أراضيه إلى مسيرة ثلاثة أشهر. وفي تلك الأثناء كان يوسف بن تاشفين، يؤدي مهمته العظيمة في افتتاح باقي أقطار المغرب، فبدأ بذلك بأن قسم الجيش المرابطي، وقد بلغ يومئذ أربعين ألف مقاتل، إلى أربعة أقسام، اختار لها أربعة من أقدر قواده، وهم سير بن أبي بكر اللمتوني، ومحمد بن تميم الكدالي، وعمر بن سليمان المسوفي، ومدرك التلكاني، وعقد لكل منهم على خمسة آلاف، وجعلهم في مقدمة قواته، وبعث بهم إلى مختلف أنحاء المغرب، وتولى هو قيادة بقية الجيش يسير به في أثرهم. وأخذت تلك الجيوش المرابطية في محاربة القبائل الخصيمة، ولاسيما مغراوة وزناتة وبني يفرن، ودوختها وغلبت على سائر أراضيها، وهرعت القبائل يجنح بعضها إلى المقاومة حتى يهزم ويغلب، ويجنح البعض الآخر إلى الاستسلام والطاعة. ولم تمض بضعة أشهر حتى كان يوسف قد غلب على معظم نواحي المغرب الجنوبية والوسطى، فعاد من غزاته المظفرة إلى أغمات في أواخر سنة 454 هـ، وقد عظم أمره، واشتد بأسه، وذاع صيته في سائر أنحاء المغرب.