وابتدأ فكتب إلى الأمير عبد الرحمن يذكر له أنه تعقب رد أمره فيما كان أراده عليه من معاوده العمل، ورأى أنه قدح في صدق طاعته، وفريضة ولائه، وسأله تقليد الخزانة التي كانت مضمار أمانته، فأعجب الأمير ذلك من اعترافه، وولاه الخزانة، فتصرف فيها تصرفاً أدناه منه، فأنبسط إليه في غير شيء، ثم سأله في بعض الأيام الخلوة له يذكره، فأجابه إليها، فقال له: صح عندي أن القاضي إبراهيم بن العباس يخاطب في مجلس نظره بأن يقال له: يا بن الخلائف وأن له اسماً يصغي قلوب العامة إليه!
فلم يتملك الأمير عبد الرحمن حين وقرت الكلمة أذنه أن عزل إبراهيم.
قال محمد بن حارث: وسمعت الأمير ولي عهد المسلمين ابن الناصر لدين الله يقول إنه سمع الحاجب موسى بن محمد بن حدير يقول إن موسى بن حدير عمه دسس امرأة من مواليه فوقفت للقاضي على طريقه فنادته: يا بن الخلائف! فكان ذلك سبباً لعزل إبراهيم.
قال أحمد بن عبد البر: هو جد بني أبي صفوان، وكان عاقلاً فاضلاً مسمتاً، وكان عبد الرحمن قد عزم على أن يولى القضاء بعد الأسوار رأس الفقهاء يحيى بن يحيى، فامتنع، وأشار بإبراهيم بن العباس على عبد الرحمن، فولاه القضاء، فاستقل به، وأقسط في حكمه، وأسرف في طواعيته للشيخ يحيى بن يحيى والوقوف عند حده، حتى لحقتهما معاً تهمة