وكان جرى هدمُ البيت، قبل المبعث بعشر سنين، ورسول الله صلى الله عليه وسلم يومئذ ابنُ ثلاثين سنة، فلما بنَوْه، تنازع بنو عبد منافٍ، وبنو هاشم، وبنو المطلب، وبنو عبد شمس، وقال كل واحد: " نحن نضع الحجر في موضعه " فكاد شرٌّ يهيج، فتواضعوا على أن يرضَوْا بحكم أولِ من يدخل، من باب بني شيبة، فأقبل رسول الله صلى الله عليه وسلم، وكانوا في الجاهلية يسمونه محمداً الأمين. قالوا: محمدٌ الأمين!! أتاكم من لا يميل؛ فحكموه، فحكم بأن يَبْسط رداءه، ويوضَعُ الحجَرُ عليه، ثم يأخذ سيد كل رهط بطرف منه، حتى يحملوه إلى موضعه، فبسط رداءه، ووضع رسول الله صلى الله عليه وسلم الحَجَرَ بيده، فلما وصلوا إلى البيت، أخذه رسول الله صلى الله عليه وسلم، فوضعه موضعه بيده.
وكان بناؤهم البيت على الصورة التي هي عليها اليوم، وقبل ذلك كان لاصقاً بالأرض، ذا بابين شرقي وغربي.
فلما خرج ابن الزبير إلى مكة، هدمَ البيت، وبناه كما كان قديماً، فلما ظهر عليه الحجاج، وقتله، هدم البيت بالمنجنيق، وبناه هذه البِنْيَة التي هو اليوم عليها (?).