كذلك أسس الشيخ الجزائري بمساعدة آل الخالدي في القدس مكتبة وطنية باسم (المكتبة الخالدية) ضمت كتب الشيخ راغب الخالدي وكتب أسرته، وجمع فيها مخطوطات وكتب أخرى قيمة.

بعد أن سجن الوالي مدحت باشا، أُعفي الشيخ طاهر الجزائري من منصبه الحكومي، وعُرض عليه وظيفة أخرى لا يكون له فيها اتصال بالناس فأبى، ولزم بيته شاغلاً أوقاته بالمطالعة والتأليف، وعاش على بيع الكتب حتى آخر أيامه إلى من يرجو حفظها عندهم وعدم خروجها من الشام، كما واصل تتبع نوادر الكتب والمخطوطات، وكان يدون خلاصة ما يطلع عليه في مذكرات بلغت مجلدين ضخمين.

وكان يسافر بين حين وآخر إلى مختلف البلاد العثمانية والبلاد الشرقية والأوروبية، يجتمع بعلمائها ومفكريها باحثاً في كنوز المكتبات عن مخطوطات التراث العربي. كثر تردد طلاب العلم على الشيخ طاهر الجزائري، مما زاد نشاطه الاجتماعي، ونشر الدعوة للعلم، كما تحلقت حوله طبقة من شيوخ دمشق والعلماء النابهين فيها، فكان يتحفهم بالدروس العلمية والفكرية، والسياسية، ومركزه الأساسي الذي يقيم به دروسه كان مدرسة عبد الله باشا في دمشق.