استمرت جرهم تلي أمر البيت فترة من الزمن، وأبناء إسماعيل مع أخوالهم لا يرون أن ينازعوهم أمر البيت لخئولتهم وقرابتهم1، إلى أن قدمت قبيلة يمنية أخرى هاجرت من الجنوب في الهجرة التي تفرقت بها قبائل الأزد مهاجرة نحو الشمال، بعد اضمحلال حالة اليمن وتهدّم سد مآرب2، واستقرّ بطن من بطون الأزد حول مكّة وعرف بقبيلة خزاعة، واحتكت خزاعة بجرهم فتقاتلت القبيلتان وانتصرت خزاعة ووليت أمر البيت، وخرجت عن هذا الوادي جرهم، كما خرج أبناء إسماعيل حيث تفرقوا حول مكّة وفي تهامة3.

وقد بدأت مكة تتطوّر أيام خزاعة، فقد عمل زعيم خزاعة "عمرو بن لحي" على تنشيط الحجّ إلى الكعبة، بعد أن كان أمر مكة قد تدهور، والحجّ إليها قد قلّ؛ بسبب بغي جرهم واعتدائها على القوافل والتجار والحجاج الذين يمرون بمكة أو يفدون إليها للمتاجرة والحج4، وبعد إهمال بئر زمزم التي يسرت المقام في هذا الوادي القفر، فأخذ عمرو بن لحي يقيم موائد الطعام في موسم الحج وييسر جلب الماء من الآبار المنبثّة حول مكة، ونال بذلك منزلةً كبيرةً بين قومهه وبين القبائل الضاربة حول مكة5.

ولما كانت قبائل العرب البعيدة لا تعرف شيئًا عن الحنفية دين إبراهيم؛ فقد عمل عمرو بن لحيّ عن جلب الأصنام من الجهات الأخرى وإقامتها حول الكعبة؛ حتى يرغّب القبائل العربية، وبخاصة قبائل الشمال، في الحج إلى بيت مكة للتقرب لأصنامها، وقد طوّع لعمرو بن لحيّ أن يدخل على البيت هذه العبادة، ذلك المركز الذي أشرنا إليه، ويبدو أن الحنفية كان قد ضعف أمرها حتى بين أبناء إسماعيل