والتنجيم، فأعجب به، ووصفه بحضرة الأفضل وأثنى عليه، وكان كاتب الأفضل ينفس عليه ذلك، ويخشى بأس تاج المعالي، وحدث أن تتابعت من تاج المعالي السقطات فأدى ذلك إلى أن يقبض عليه الأفضل ويعتقله، فيجد كاتب الأفضل الفرصة سانحة للقضاء على أبي الصلت، فيختلق له ما يدفع الأفضل إلى أن يلقى به في سجون المعونة بمصر، مدة ثلاث سنين وشهر، بعد الذي دبج فيه من المدائح والشعر.

ويروى ابن أبي أصيبعة في طبقات الأطباء، أن دخول أبي الصلت إلى مصر كان في حدود سنة 510 هـ، وأنه حبس في الإسكندرية في خلافة الآمر بأحكام الله ووزارة الأفضل. فإن صحت هذه الرواية كانت سنداً في أن أبا الصلت ورد مرة أخرى بعد وفاة ولي نعمته أبي الطاهر يحيى بن تميم بن المعز ابن باديس المتوفى سنة 509، وهي سنة خروجه من مصر.