لإفريقية، فقال له الوزير: «أين أنت من ابن الطفيل؟ » ووصف له ما رأى منه؛ فبعث إليه بسجلّه؛ فبينا ابن الطفيل على دكان له على باب داره بصطفورة إذ أقبل البريد فقال: «من فيكم ابن الطفيل؟ » فقيل له: «هذا»، فقال: «السلام عليك ورحمة الله تعالى وبركاته أيها القاضي»، وناوله السجل.

وكان - رحمه الله تعالى - يركب حمارا [له] حتى يأتي المسجد الجامع، فينزل عنه ويجلس ويخلّي الحمار ويأخذ لجامه فيتركه عنده، قال: فينطلق الحمار يريد دار يزيد بن الطفيل بلا قائد ولا سائق، فيقمّم [ما يلقى] في الأزقة من حشيش أو بقل، [أو ما أشبه ذلك، وهو في ذلك يمشي حتى يأتي دار ابن الطفيل] فيؤخذ فيدخل به الدار. ويجلس ابن الطفيل، فربما يجلس فلا يأتيه أحد لقلة الخصومات في ذلك الزمان، فينعس القاضي، فإذا كان الوقت الذي يعلمون أن القاضي ينصرف فيه، سرحوا الحمار فيذهب حتى [يأتي] باب الجامع، فيخرج القاضي فيركبه.

ولم يزل قاضيا حتى عزله يزيد بن حاتم، [لأنه] كان [إذا انصرف من مجلس قضائه] يستودع ديوانه رجلا صباغا مقابل المسجد الجامع، فتقدم إليه يزيد في ذلك فقال له: «إني أحفظ ما في ديواني وهذا لا يضرني» ولم يرجع في ذلك إلى قول يزيد بن حاتم، فرأى يزيد أن ذلك تضييع، فعزله.