خزاعة كانت لها سدانة البيت قبل قريش، وكان أبو غبشان يلي ذلك، فاتفق عليه أن اجتمع مع قصي بن كلاب في شرب بالطائف، فخدعه قصي عن مفاتيح الكعبة بأن أسكره، ثم اشترى المفاتيح منه بزق خمر وأشهد عليه، ودفع المفاتيح لابنه عبد الدار بن قصي، وطيره إلى مكة. فلما أشرف عبد الدار على دور مكة رفع عقيرته وقال: معاشر قريش، هذه مفاتيح بيت أبيكم إسماعيل، قد ردها الله عليكم من غير غدر ولا ظلم. فأفاق أبو غبشان من سكرته أنجم من الكسعي، فقال الناس: "أحمق من أبي غبشان" و"أندم من أبي غبشان" و"أخسر صفقة من صفقة أبي غبشان".
وأكثر الشعراء القول في ذلك، فقال بعضهم:
باعت خزاعة بيت الله إذ سكرت ... بزق خمر فبئست صفقة البادي
باعت سدانتها بالنزر وانصرفت ... عن المقام وظل البيت والنادي
وقال آخر:
إذا افتخرت خزاعة في قديم ... وجدنا فخرها شرب الخمور