في أستارها فاحترقت، فلما أمر عبدالملك بهدمها وبناها الحجاج على البناء الأول أخبر عبدالملك أبو سلمة وغيره عن عائشة بما كان عمدة ابن الزبير في هدمها فندم لذلك وقال: ليتنا تركناه وما تولى، فلما تولى أبو جعفر الخلافة أراد أن يهدمها ويردها إلى بناء ابن الزبير فناشده مالك في ذلك وقال: "لئلا يبقي عادة الملوك ". فتركه. قال أبو العباس القرطبي في المفهم. " وما فعله عبدالله بن الزبير في البيت كان صوابا.

وقبح الله الحجاج وعبدالملك، لقد جهلا سنة رسول الله صلى الله عليه وسلم:. وقال عبدالملك حين بلغته السنة: لو كنت سمعته قبل أن أهدمه، لتركته على بناية ابن الزبير وهو غير معذور في ذلك، فإنه كان متمكنا من التثبت بالسؤال والبحث فلم يفعل واستعجل وقضى، فالله حسبه ومجازيه على ذلك، ولقد اجترأ على بيت الله وعلى أولياته. ولما كان الرشيد أراد أن يرده على ما بناه ابن الزبير فقال له مالك: نشدتك الله يا أمير المؤمنين أن (لا) تجعل هذا البيت ملعبة للملوك، لا يشاء أحد إلا نقض البيت وبناه فتذهب هيبته من صدور الناس ". فترك ما هم به، واستحسن الناس هذا من مالك وعملوا عليه، فصار هذا كالإجماع على أنه لا يجوز التعرض له بهدم أو تغيير والله أعلم. قال السهيلي: " وكان بناؤها في الدهر خمس مرات، الأول حين بناها شيث ابن آدم، والثانية حين بناها ابراهيم على القواعد الأولى، والثالثة حين بنتها قريش قبل الإسلام بخمسة أعوام.