وبعد مدة من إقامته بالقيروان ارتحل إلى الاندلس، وسمع منه الناس، ثم عاد إلى القيروان واستقر بها إلى أن توفي. قال ابن الفرضي نقلا عن محمد بن قاسم «محمد بن محمد بن خيرون، أبو جعفر كتبت عنه بالقيروان وقد دخل الاندلس، وكتبت عنه بقرطبة أيضا».
«واتخذ ابن خيرون لنفسه رباعا كثيرة بالقيروان، منها فنادق لتجارته كانت مجاورة لسجن البلد، وابتنى بها مسجدا جميلا باقيا إلى الآن معروفا باسمه عليه كتابة ضخمة بالقلم الكوفي نقشا في الحجارة على واجهة مدخله»، ونص الكتابة «بسم الله الرحمن الرحيم لله الأمر من قبل ومن بعد أمر ببناء هذا المسجد محمد بن خيرون المعافري الأندلسي تقربا إلى الله ورجاء لمغفرته ورحمته».
«وقد أشار ابن عذاري إلى هذا التأسيس حيث قال: «وفي سنة 256 بنى محمد بن خيرون المعافري الجامع الشريف بالقيروان المنسوب إليه بناه بالآجر والجص والرخام، وبنى فيه جبابا للماء» (?).
«ويسمى هذا المسجد اليوم (بجامع الثلاث بيبان) وفي نفس الحارة يوجد مسجد آخر غير بعيد عن الأول منسوب أيضا إلى ابن خيرون، وله كذلك ثلاثة أبواب غير أنها منفردة عن بعضها بينما أبواب الأول متلاصقة في صف واحد» (?).
وفي بداية الدولة العبيدية يسعى به قاضيها محمد بن عمر المروذي (?)