وفي حياة قصي كان أمر دار الندوة بيده حلاً وربطاً، بيده جمع قريش وتوجيهها في الندوة للتشاور والتناظر وعقد أمر وإبرام حرب أو سلام، كانت العرب تدين لقصي دينونة الناس للزعيم والحاكم ومن أجل ذلك قال عنه شاعرهم:

قصي لعمري كان يدعى مجمّعاً به جمع الله القبائل من فهر

ثم صيّر قصي دار الندوة بعده لولده عبد الدار وصيرها عبد الدار لولده عبد مناف وصيّرها عبد مناف لولده هاشم ثم صيّرها هاشم لولديه: عمير وعامر. وبقي أمرها بيد سلالة عامر إلى أن ابتاعها معاوية بن أبي سفيان بمائة ألف درهم من ابن الرهين العبدري سليل عامر بن هاشم بن عبد مناف بن عبد الدار بن قصي.

فحوَّلها معاوية بعد تجديد بنائها إلى منزل ينزل فيه إذا حج ثم بقيت منزلاً بعده للملوك بني أمية إذا حجوا.

وقد اقتطع من قصر دار الندوة بعد أن حول منزلاً للملوك بعض جهاته وضُم إلى المسجد الحرام في الزيادة التي زادها فيه عبد الملك بن مروان وولداه الوليد وسليمان الأمويون.

وفي أيام الدولة العباسية ضَم جهاتٍ أخرى من قصر دار الندوة أبو جعفر المنصور العباسي إلى المسجد الحرام كذلك.

واكتفى بنو العباس بالباقي من دار الندوة فاتخذوه منزلاً ينزلون فيه إذا حجوا كما فعل بنو أمية قبلهم، فنزله منهم أبو العباس السفاح وأبو جعفر المنصور والمهدي والهادي والرشيد.

وفي أيام الرشيد أهملت دار الندوة فلم ينزلها ملك ولا خليفة واعتيض عنها بغيرها فتصدعت وخربت.

وفي أيام المعتضد بن الناصر العباسي أمر بهدم الباقي من دار الندوة وبناها مسجداً موصولاً بالمسجد الحرام وبنى لها في جوار الحرم اثني عشر باباً فاختلطت بالحرم وأصبحت قسماً منه وفرغ من بنائها في ثلاث سنين فصلى الناس فيها واتسعوا بها وتم ذلك سنة 306هـ.

ومكان دار الندوة من الحرم الوجه الشامي من الكعبة المشرفة ويقال: أن القسم الذي كان يصلي فيه الإمام الحنفي.