تولى طاهر الجزائري التدريس في المدرسة الظاهرية بدمشق، والتقى بالوالي مدحت باشا الذي وجد عنده البغية التي يريدها من أجل إصلاح ولاية سورية ورآه ثقة. فهو يبحث عن أمثاله ليستعين بهم في نشر العلم وإصلاح التعليم، وخطط مع الشيخ طاهر لنهضة علمية واسعة، واتفقا على أن خير نهج يؤدي إلى النهضة يقوم على محو الأمية، وكون هذا بنشر التعليم الابتدائي من قبل هيئات أهلية لا تعتمد على الأساليب الحكومية، تجمع المال من الموسرين وتنفقها في الأغراض المقررة، فتثمر جهودها في أقصر وقت مادامت مؤيدة بعطف الوالي ونفوذه.

كان الشيخ الجزائري عضواً في جمعية علمية اجتماعية أسسها بعض العلماء والوجهاء في دمشق، أطلقوا عليها اسم (الجمعية الخيرية) ، وقد اعتُمد على هذه الجمعية في تنفيذ خطة النهضة العلمية، فدأب أعضاؤها على توعية الناس وبث حب العلم والترغيب فيه بين الشباب، كما قامت الجمعية بترميم وتجهيز المدارس الموقوفة على طلب العلم، وكذلك ملحقات بعض الجوامع والتكايا، فتم في بضعة أشهر افتتاح نحو تسع مدارس في مدينة دمشق اثنتين منها للإناث.

عُين الشيخ طاهر الجزائري بناء على جهوده مفتشاً للمعارف في ولاية سورية، فبذل جهوداً إضافية جبارة في سبيل إصلاح أساليب التعليم، وكان يتعهد المعلمين بالنصح والإرشاد والتوجيه، ويسمع بشغف آراءهم في ابتكار أنجح الوسائل لتعليم الطلاب والدعوة إلى طلب العلم. وكان يسهر الليالي الطويلة عاكفاً على تأليف الكتب في مختلف العلوم الدينية والعربية والرياضية، مبسطاً أساليبها مختاراً ما تدل التجارب على نجاحه وسهولة تلقينه، وكان يشرف بنفسه على طبع كتبه في مطبعة الجمعية الخيرية.

عمل الشيخ طاهر الجزائري على تأسيس دور عامة للكتب في مختلف البلاد، فكان منها دار الكتب الوطنية الظاهرية ـ وهي اليوم ثروة كبرى من ثروات دمشق الوطنية ـ فجمع فيها البقية الباقية من الكتب والمخطوطات الموقوفة في مختلف الجوامع والمدارس، فهددته أكلة أوقاف المدارس بالقتل إن لم يكف عن جمع الكتب في مكان واحد، لأنه استولى بسيف الحكومة على جميع ما أبقته أيدي النهب من الكتب المخطوطة.