إبراهيم، ثم أرادوا الأخذ في البناء، فجزأوا الكعبة، وخصصوا لكل قبيلة جزءا منها، فجمعت كل قبيلة حجارة على حدة، وأخذوا يبنونها، وتولى البناء بنّاء رومي اسمه باقوم، ولما بلغ البنيان موضع الحجر الأسود اختلفوا فيمن يمتاز بشرف وضعه في مكانه، واستمر النزاع أربع ليال أو خمسا، واشتد حتى كاد يتحول إلى حرب ضروس في أرض الحرم، إلا أن أبا أمية بن المغيرة المخزومي عرض عليهم أن يحكموا فيما شجر بينهم أول داخل عليهم من باب المسجد فارتضوه، وشاء الله أن يكون ذلك رسول الله صلّى الله عليه وسلم، فلما رأوه هتفوا: هذا الأمين، رضيناه، هذا محمد. فلما انتهى إليهم، وأخبروه الخبر طلب رداء، فوضع الحجر وسطه، وطلب من رؤساء القبائل المتنازعين أن يمسكوا جميعا بأطراف الرداء، وأمرهم أن يرفعوه، حتى إذا أوصلوه إلى موضعه أخذه بيده، فوضعه في مكانه، وهذا حل حصيف رضي به القوم.
وقصرت بقريش النفقة الطيبة فأخرجوا من الجهة الشمالية نحوا من ستة أذرع، وهي التي تسمى بالحجر والحطيم، ورفعوا بابها من الأرض؛ لئلا يدخلها إلا من أرادوا، ولما بلغ البناء خمسة عشر ذراعا سقفوه على ستة أعمدة.
وصارت الكعبة بعد انتهائها ذات شكل مربع تقريبا يبلغ ارتفاعه 15 مترا، وطول ضلعه الذي في الحجر الأسود والمقابل له 10، 10 م، والحجر موضوع على ارتفاع 50، 1 م من أرضية المطاف. والضلع الذي في الباب والمقابل له 12 م وبابها على ارتفاع مترين على الأرض، ويحيط بها من الخارج قصبة من البناء أسفلها، متوسط ارتفاعها 25، 0 م ومتوسط عرضها 30، 0 م وتسمى بالشاذروان، وهي من أصل البيت لكن قريشا تركتها (?) .