بعزل المفتي الحنفي (شيخ الإسلام) وتعيين مفتي عربي مكانه، وباستشارة الزعماء الأهليين أمثال حمدان خوجة وبوضربة. وقد واجه حسين مشاكل محلية أهمها مؤامرة أنصار الآغا يحيى الذي كان حسين قد أمر بقتله سنة 1827.

كان الآغا يحيى محبوبا من الجيش ومن العرب معا. وقد تولى قيادة الجيش حوالي 12 سنة في عهد حسين باشا. وكان قد حضر معارك كثيرة محلية فاكتسب خبرة واسعة بأحوال البلاد ونفسية الأهالي. وكان نشيطا طموحا وموهوبا. وهذه الخصائص هي التي جعلته محل شك، ولا سيما من أعدائه أمثال الخزناجي الذي كان يغار منه ويخشى صعوده إلى منصب الباشا. لذلك وجهت اليه تهمة التآمر فعزله الباشا ونفاه إلى مدينة البليدة.

(حوالي 50 كيلومترا من العاصمة). ولكن الآغا السابق استمر في اتصالاته.

ولا سيما مع العرب الذين قيل إنهم كانوا يزورونه ليلا ويعدون معه خطة للاستيلاء على الحكم. وبعد مواجهته بوثائق (مزورة) تثبت تآمره لقلب النظام حكم عليه الباشا بالموت. ولكن موته لم ينه الخوف منه، فقد ظل (كابوسا) يخيف حسين باشا.

ذلك أن أنصار القتيل قاموا بتنظيم مؤامرة للثأر له. وقد كانوا حوالي 46 شخصا، وكان زعيمهم يدعى مصطفى تيشته. وكان المتآمرون قد اتفقوا أن يغتنموا فرصة العيد ويذهبوا إلى القصبة ويتقدمون، وهم مسلحون، من الباشا لتقبيل يده. وهناك يغتالونه ويقضون على وزرائه ويستولون على السلطة ويفتحون المفاوضات مع فرنسا. فإذا لم تقبل هذه شروطهم يستدعون انكلترا للتدخل. ولكن المؤامرة اكتشفت وأمر حسين (?) هو السيد محمد العنابي الذي سيرد ذكره (أنظر الفصل الخاص بمحضر الجزائر) ولكن ابن العنابي كان حنفيا أيضا. أنظر عنه دراستنا المنشورة في الكتاب التذكاري المقدم إلى الدكتور أحمد عزت عبد الكريم، القاهرة، 1976.