عزله واتهمه بالتآمر. وقد وقف اليهود، كما ذكرنا، والمسيحيون أيضا موقفا عدائيا من المواقف الواضحة التي وقفها ضد انتهاك المساجد وتأثير النفوذ اليهودي كل حساب العرب. وكان لخوجة رأي في هؤلاء أيضا. فقد كان ساخطا على كلوزيل سخطا شديدا، وكان ناقما على برتزين، خليفة كلوزيل وعلى بيشون.

وإذا كنا قد عرفنا أن الدوق دي روفيغو قد وقف من الخضريين موقفا عدائيا فانه قد وقف من خوجة في أول الأمر، موقفا مختلفا. فقد أعاد إليه داره التي كان قد استقر فيها أحد الضباط، وأرسله للتفاوض مع الآغا محيي الدين بن مبارك، مرابط القليعة، وكلفه بمهمة سرية لدى الحاج أحمد باي قسنطينة. فذهب مرتين إلى قسنطينة (أوت وأكتوبر 1832 ودامت رحلته إلى ديسمبر من نفس السنة) محاولا إقناع الباي باقتراح الدوق وهو الاعتراف بالسيادة الفرنسية ودفع جزية سنوية لفرنسا (?). ثم توترت العلاقات بينه وبين الدوق فنفاه من الجزائر. كما أن اليهودي بكري قد أغرقه في قضايا مالية شائكة جعلته يتابعها لدى مجلس الدولة في فرنسا.

وفي شهر ماي 1833 كان في باريس يدافع عن قضية الجزائر ويشرحها أمام الرأي العام الفرنسي والعالمي. وكان للضغط الذي قامت به فئة المنفيين الجزائريين في باريس الفضل في تحرك البرلمان الفرنسي وظهور اللجنة الأفريقية. وفي نفس الشهر المذكور أرسل خوجة مذكرة إلى مجلس الدولة الفرنسي عن حالة الجزائر، وفي 3 جوان أرسل، مع ابراهيم بن مصطفى باشا،