فأخذ الوالي أهل سوسة - أصحاب النوالات وغيرهم - بالحرس نوبا، وكان المرابطون في ذلك الوقت قلّة، فلما سمع الناس بذلك انجفلوا مقبلين إلى سوسة وكثر الناس، فخرجوا إلى «رملة سوسة» مستعدين حارسين على ذراري المسلمين فإنا ذات ليلة في ذلك نحرس وقد علوت في المحارس وأرى أهل الدّور يمشون في ضوء السّرج حتى جنّ اللّيل / (عليّ)، فسمعت صبيّة وهي تقول لأمها:

(يا أماه) قد جاء المرابطون يحرسون علينا قومي بنا نرقد، فأعجبني ما سمعت منها واغتبطت بما فتح الله عزّ وجلّ لي من ذلك، والحمد لله رب العالمين وليّ الحمد وأهله.

قال أبو العباس الابياني: لما احتضر أبو الفضل قال لبعض من يقوم بشأنه ويلوذ به: إذا أنا مت وأنزلتموني في لحدي، فسنّوا عليّ التراب سنّا ولا تزيدوا على تراب قبري شيئا، فإني رويت في بعض الآثار: أنه إذا زيد على تراب القبر تراب من غيره لم يسمع الميت الأذان ولم ير الزوار.

قال عبد الله رضي الله عنه: وكان لأبي الفضل - رحمة الله عليه - كلام في معاني العبادات والحضّ على الكدّ والاجتهاد وصوم النهار وقيام الليل.

فمن ذلك ما رواه عنه أبو سعيد خلف بن يزيد النوفلي المتعبد بالمنستير قال: سمعت أبا الفضل يوسف بن مسرور يقول:

ينبغي لمن عرف الله تعالى وعقل أمره، أن يرفض نعيم حلال الدنيا من قلبه، ويتجلبب بجلباب حزنه، ويكون كالمريض في نفسه، ويعمل ليوم فقره، وينكسر إلى ربه، ويفرّ عن الشاغلين عنه، ويبكي / إذا خلا على ذنبه،