وتميزت عن غيرها من مكتبات العالم الإسلامي بما تحويه من كتب نادرة1.

وأنشأ الحاكم بأمر الله في سنة 395هـ دار الحكمة، وألحق بها مكتبة عرفت باسم دار العلم، وكانت دار الحكمة تضم عدة حلقات دينية وعلمية وأدبية، وعين فيها أعلام الأساتذة في كل علم وفن، وجمع لها من خزائن القصر مجموعات عظيمة في مختلف العلوم والفنون، ورصد للإنفاق عليها وعلى أساتذتها وموظفيها أموال طائلة، وهرع إليها الطلاب من كل صوب، واجتذبت بشهرتها مشاهير العلماء من شرق العالم الإسلامي وغربه، من مثل أبي أسامة جنادة بن محمد الهروي، ومحمد بن الحسين بن عمير اليمني2، وهما من أشهر مشايخ أبي سهل الهروي، وسيأتي توضيح ذلك في ترجمة شيوخه3.

هذا عن المكتبات العامة، أما المكتبات الخاصة فهي كثيرة جدا، ومنها ما لا يقل عن المكتبات الكبرى. وقد حكي عن الصاحب بن عباد (ت 385هـ) أنه جمع من الكتب ما يحمل على أربعمائة جمل أو أكثر، وكان فهرس كتبه يقع في عشرة مجلدات4. وكان يعنى بطلب