لما بلغ رسول الله صلى الله عليه وسلم خمساً وثلاثين سنة شهد بنيان الكعبة، وتراضت قريش بحكمه فيها، وكانوا قد اختلفوا فيمن يضع الحجر الأسود مكانه فاتفقوا على أن يحكم بينهم أول داخل يدخل المسجد، فدخل رسول الله صلى الله عليه وسلم فقالوا: هذا الأمين، فقال: هلموا ثوباً، فوضع الحجر فيه وقال: لتأخذ كل قبيلة بناحية من نواحيه وارفعوه جميعاً، ثم أخذ الحجر بيده فوضعه في مكانه.