لما دخل عبد الرحمن بن معاوية أخذ في تجميع الناس من حوله من محبي الدولة الأموية من البربر وكثير من القبائل المعارضة لـ يوسف بن عبد الرحمن الفهري، وقد جاءه بعض الأمويين من بقاع الأرض المختلفة، ومع ذلك لم يكن العدد كافياً يستطيع به أن يغير من الأوضاع، ففكر في اليمنيين؛ لأنهم كانوا على خلاف مع يوسف بن عبد الرحمن الفهري، فـ يوسف بن عبد الرحمن الفهري من مضر من الحجاز، وعبد الرحمن بن معاوية أيضاً من مضر من بني أمية، أي: أن كلاهما من الحجاز.
فبدأ يراسل اليمنيين، فقبلوا أن يتحدوا مع عبد الرحمن بن معاوية، وكان على رئاسة اليمنيين في ذلك الوقت أبو الصباح اليحصبي، وكان المقر الرئيسي لهم إشبيلية، وكانت إشبيلية مدينة كبيرة جداً من حواضر الإسلام في ذلك الوقت، فذهب عبد الرحمن بن معاوية بنفسه إلى إشبيلية، واجتمع طويلاً مع أبي الصباح اليحصبي، واتفقا على أن يقاتلا سوياً ضد يوسف بن عبد الرحمن الفهري، وقبل القتال أرسل عبد الرحمن بن معاوية رسائل إلى يوسف بن عبد الرحمن الفهري يطلب وده، ويطلب منه أن يسلِّم له الإمارة؛ لأنه حفيد هشام بن عبد الملك أصل الخلافة الأموية، ويكون رجلاً من رجاله في بلاد الأندلس، ولكن يوسف بن عبد الرحمن الفهري رفض ذلك كلياً، وجمع جيشاً له، وجاء ليحارب عبد الرحمن بن معاوية، فاجتمع عبد الرحمن بن معاوية مع اليمنيين ومن معه من القبائل المختلفة في حرب يوسف بن عبد الرحمن الفهري وذلك في موقعة كبيرة عرفت في التاريخ باسم موقعة المسارة، وفي لفظ: موقعة المصارة، (بالسين أو بالصاد)، وقد كان هذا في ذي الحجة سنة (138هـ).
وكان من المؤسف جداً أن يلتقي المسلمون بسيوفهم، لكن كثرة الثورات والفتن والانقلابات جعل الحل العسكري والحل بالسيف هو الحل الحتمي في ذلك الوقت.
دارت موقعة كبيرة بين يوسف بن عبد الرحمن الفهري ومعه جيش كبير، وجيش عبد الرحمن بن معاوية ويعتمد في الأساس على اليمنيين، فسمع أبو الصباح اليحصبي بعض المقالات من اليمنيين أن عبد الرحمن بن معاوية غريب على البلاد، وهو على فرس أشهب وعظيم، وإن حدثت هزيمة هرب من ساحة القتال وتركنا للفهريين، فبلغ عبد الرحمن بن معاوية هذا الكلام، وكان عمره آنذاك (25) عاماً، فذهب بنفسه إلى أبي الصباح اليحصبي وقال له: إن هذا الجواد سريع الحركة ولا يمكنني من الرمي، فإن أردت أن تأخذه وتعطيني بغلتك فعلت، فأعطى الجواد السريع إليه وأخذ البغلة يقاتل عليها، فقال اليمنيون: هذا ليس بمسلك رجل يريد الهرب، هذا رجل يريد أن يموت في ساحة المعركة، فبقي معه اليمنيون وقاتلوا قتالاً شديداً، ودارت موقعة عظيمة جداً، وانتصر فيها عبد الرحمن بن معاوية ومن معه، وهزم يوسف بن عبد الرحمن الفهري من أرض المعركة بجيشه الكبير، وفر يوسف بن عبد الرحمن الفهري، وكعادة الناس في ذلك الزمن أن يتابع المنتصرون المنهزمين حتى يقتلوهم ويقضوا على الثورة، فبدأ اليمنيون يجهزون أنفسهم حتى يتتبعوا الجيش الفار، لكن عبد الرحمن بن معاوية يقف لهم ويمنعهم من تتبع الفارين ويقول قولة خالدة: لا تتبعوهم، اتركوهم، لا تستأصلوا شأفة أعداء ترجون صداقتهم، واستبقوهم لأشد عداوة منهم.
يقصد أن يستبقوهم للنصارى، فإن الموقعة الرئيسية ستكون مع النصارى، فإن هؤلاء الذين قاتلوننا في يوم من الأيام سيصبحون من جنودنا، وسيصبحون أعواننا على غيرنا من النصارى في ليون وفي فرنسا وما إلى ذلك.
كان عنده فكر واسع وجديد جداً، ونظرة متسعة تشمل كل بلاد الأندلس، وتشمل كل أوروبا، بل وفي نظري أنه ينوي إعادة بلاد الشام بعد ذلك إلى أملاك الأمويين، وقد امتاز في حربه ضد يوسف بن عبد الرحمن الفهري بما يلي: أولاً: ليس في قلبه غل ولا حقد على من كان حريصاً على قتله منذ دقائق معدودات.
ثانياً: الفهم العميق للعدو الحقيقي وهم النصارى في الشمال.
ثالثاً: إذا جاز له شرعاً أن يقاتلهم لتجميع الناس حول راية واحدة، فلا يجوز له شرعاً أن يتتبعهم وأن يقتل الفار منهم، أو يجهز على جريحهم، أو يقتل أسيرهم؛ لأن حكمهم حكم الباغين في الإسلام، وليس لهم حكم المشركين، والباغي في الإسلام لا يتتبع الفار منه، ولا يقتل أسيره، ولا يجهز على جريحه، بل ولا تؤخذ منه الغنائم وهكذا، فقد كان عنده فقه وعلم وسعة اطلاع وفهم عميق جداً، وهو لم يبلغ من العمر إلا خمسة وعشرين سنة.
وبعد انتهاء موقعة المسارة، قام أبو الصباح اليحصبي في قومه من اليمنيين وقال: الآن قد انتصرنا على يوسف بن عبد الرحمن الف