البلاد والجلاء عنها, وكان محمد بن خزرون عنيفًا شديدًا على سكان البلاد قاسيًا في حكمه, ضايق الناس في معيشتهم فضاقوا به ذرعًا وهو لا يزداد إلا تعسفًا.
وكان بنو مطروح في مقدمة وجهاء طرابلس ومن زعمائها وكانوا معينين لمحمد بن خزرون, ولكنهم نقموا عليه أعماله وحاولوا أن يخففوا من وطأته فجمعوا الناس وخرجوا عليه وأبعدوه هو وشيعته من المدينة. وكان رجار حاكم صقلية يتابع هذا التنازع, فاستغل الظروف, واستفاد من وقوع كارثة المجاعة وثورة السكان على ابن خزرون وطرده من المدينة, فأراد الانتقام لهزيمته الأولى فأرسل جيوشه وأساطيله وهاجم بهم طرابلس فدخلها بدون مقاومة واحتلها بدون متاعب
عام 541هـ.
وبانتهاء محمد بن خزرون انتهى حكم بني خزرون في طرابلس.
وأصبح قائد أسطول رجار «جرجي بن ميخائيل الأنطاكي» الذي تعلم في الشام, ورافق تميم بن المعز حاكمًا على طرابلس وطلب منهم الأمان فأمنهم, وشرط لهم ألا يلزمهم بما يخالف دينهم.
وهذه هي المرة الأولى التي يستولي فيها النصارى الحاقدون على طرابلس, أما المحاولة التي كانت سنة 537هـ فلم يستطيعوا الاستيلاء عليها (?).
وحاول رجار أن يسيطر على أهل طرابلس بأهلها فأسند لهم رجار ولاية طرابلس, وعين يوسف بن زيري قاضيًا, وكنيته أبو الحجاج, وحكم رافع بن مطروح اثنتي عشرة سنة وهوي يدين لرجار بالطاعة.
وفي تصوري أن رضاه بالعمل تحت راية النصارى مضطرًا إليها اضطرارًا خارجًا عن إرادته, واجتهد الشيخ في تقليل المضار ودفع عن المسلمين ما أمكنه من ضرر مع انقياده لرجار في صقلية.