توجب القضاء له برأي أشهب، وتوجهت بضدها عليه برأي ابن القاسم، وأخذ ابن معمر فيه برأي ابن القاسم، فلفته ابن حبيب عنه إلى رأي أشهب، وكلمه أن يأخذه به، فلم يفعل، وقال: ما أعدل عن رأي ابن القاسم، فهو الذي أفتيتموني به منذ قعدت هذا المقعد. وقضى على الرجل برأي ابن القاسم.

فغضب عليه من يومئذ ابن حبيب، وظاهر يحيى بن يحيى ضده على مطالبته، ودس من رفع عليه إلى الأمير أنه لا يحسن القضاء، فعزله في آخر سنة تسع ومائتين، وسرحه إلى بلده.

فبلغنا أنه لما أزمع الرحيل ركب بغيلته التي جاء بها، ووضع خريجه الذي ساقه تحته وقال لمن شيعه من صديقه: يا أهل قرطبة. أقلوا علنا اللوم، فكما جئناكم كذلك ننصرف عنكم! وذكر عثمان بن سعيد الزاهد قال: لما احتضر يحيى بن معمر بإشبيلية وأيقن بالموت قال لمولى له من أهل الصلاح كان ينصحه: أقسم عليك بالله أجل الأقسام إذا أنا مت إلا ما ذهبت إلى قرطبة، فقف بيحيى ابن يحيى وقل له: وسيعلم الذين ظلموا أي منقلب ينقلبون. ففعل مولاه ما أمره، وأبلغ يحيى ما به تقرعه. قال: فبكى يحيى حتى أخضل لحيته، وقال: إنا لله وإنا إليه راجعون! ما أظننا إلا خدعنا في الرجل ووشي بيننا وبينه. ثم ترحم عليه واستغفر له.

قال القاضي أبو الوليد ابن الفرضي: قال خالد بن سعد: سمعت أحمد بن خالد يقول: كانت ليحيى بن معمر رحلة لقي فيها أشهب بن عبد العزيز، وسمع منه، وولي القضاء بقرطبة سنة تسع ومائتين