إسماعيل -عليهما السلام- ونشأ إسماعيل وترعرع بجوارهم وتزوَّج منهم، وقد تحدَّث المؤرخون أنَّ قبيلة جرهم وهم أخوال بني إسماعيل، تولَّوا أمر البيت وملأوا فجاج مكة، حتى ضاقت على أصحابها الأولين من بني إسماعيل، فتركوها دون أن ينازعوا جرهماً في ولايتهم؛ رعاية لقرابتهم وإعظاماً لحرمة مكة أن يكون بها بغي أو قتال، فلما خلا الجو لجرهم بغوا وظلموا وأكلوا مال الكعبة الَّذي يُهدى إليها، حتى جاءت قبيلة خزاعة وحاربت جرهما حتى أخرجتها من مكة، وظلت ولاية البيت في خزاعة يتوارثها بنوها كابراً عن كابر، حتى انتزعها منهم قُصيُّ بن كلاب بن مرة بن كعب بن لؤي بن غالب بن فهر بن مالك بن النَّضر.

ويقول مؤرخو العرب: "إنَّ مكَّة قد بدأت بقُصَيٍّ عهداً تضاءلت إلى جانب مجده عهودُ خزاعة وجُرهم، وجدَّت فيها وظائف دينيَّة أُضيفت إلى ما كان لها من قبل، فكانت إلى قُصي الحِجابة والسِّقاية والرِّفادة والنَّدوة واللِّواء، وبها حاز شرف مكة كلَّه، وأبقاه في ولده من بعده، ما يُعرف أنَّ أحداً نازعهم فيه قط".

فلمَّا أدرك قصيَّ الكِبَر؛ عزَّ عليه ألا يدرك ولدُه البكر عبدُ الدار ما بلغه أخوه عبد مناف في زمان أبيه من شرف، فقال قُصيٌّ لولده عبد الدَّار: أما والله يا بني لأُلحقنك بالقوم، وإن كانوا قد شرفوا عليك، ثم جعل إليه ما كان بيده من أمر قومه".

قال المؤرِّخون: "وهلك قصيُّ، ولبثت قريشُ على ما أراد لها زمناً، حتى قام بنو عبد مناف بن قصي، وهم عبد شمس وهاشم والمطلب ونوفل، فأجمعوا أن يأخذوا ما بأيدي بني عمِّهم "عبد الدار" ممَّا كان جدُّهم قصي قد جعله إليه من النَّدوة والحجابة واللِّواء والسِّقاية والرِّفادة، إذ رأوا أنَّهم أولى بذلك منهم