أما أحمد الميلي فقد خاصمه لأن والد الفكون كان قد قدم الميلي للصلاة نيابة عنه، وعندما بلغ الفكون الابن سن الرشد قدمه والده للصلاة نيابة عنه بدل أحمد الميلي فغضب هذا لأنه حرم مالا وقيمة، وظل يخاصم الفكون الابن حتى نبغ هذا في العلم ونضج جسمه وعقله واعترف له، كما يقول الفكون، بالتقدم وجثا أمامه كما يجثو الصبي للمعلم. وكان عاشور الفكيرين في الواقع من تلاميذ الفكون، ولا ندري ما الذي جعله ينضم إلى خصومه من حضر المدينة (الناقمين عني قولا وفعلا)، فهل هذا مجرد إحساس من الفكون؟ إنه لم يذكر وقائع معينة تثبت خصومة عاشور له كما فعل مع الآخرين. ولكن أحمد الفاسي هجا الفكون بالشعر وباللسان وتقول عليه الأقاويل وانضم إلى خصومه الذين يسميهم الفكون (الأشرار) و (جماعة نادي الشرب) أولئك الذين رمقوه (كلهم بعين البغضاء، مع ما انطوت عليه بواطنهم من الحقد علي، والتعرض لإذايتي بما أمكنهم ولم يمكنهم إلا بأن هجاني (أي الفاسي) لأهل مجلسه) وقد فكر الفكون في الرد على الفاسي بهجاء مثل هجائه ولكن منعه، كما قال، مانع الدين والتقوى.

ومن ثم يظهر لك أن حياة الفكون لم تكن كلها نعمة وبركة ورضى وسعادة. فقد كان يتعرض للأذى والنقد والكيد والهجاءمن خصوم كثيرين، وعلى رأسهم دعاة الفساد الاجتماعي والصائدون في الماء العكر من الحضر والعلماء والدراويش والولاة، وجميعهم كانت لهم مصالح في بقاء ما كان على ما كان وعدم تسليط الأضواء على أفعالهم وعقائدهم ومجونهم