ذكر البيهقي أنه كان أعظم ولد قصي، وبعده عبد الدار، ثم عبد العزى. وكان عبد مناف في الجاهلية عبد مناة، منسوب للصنم المشهور، ثم كره ذلك، فقيل: عبد مناف.
وكان أبوه قصي قد أعطاه من رياسات قريش: الإمارة مكان المقدم على جيوشهم وكتائبهم، والرفادة فكان يطعم الحجاج في الموسم، والسقاية فكان له سقي الحجيج من بئر زمزم عند الكعبة.
قال: وذهب شرفه كل مذهب، وصار أعظم بني قصي. وكان في زمان قباذ، سلطان الفرس، الذي تزندق واتبع مذهب مزدك، وعزل بني نصر عن الحيرة لأنهم أنفوا من ذلك المذهب، وولى عليها الحارث الكندي جد امرئ القيس الشاعر، وأمر الحارث أن يأخذ العرب المعدية من أهل نجد وتهامة بذلك. فلما انتهى إلى مكة راسل قريشا في الزندقة، فمنهم من تزندق - وجاء الإسلام ومنهم جملة يشار إليهم بذلك - ومنهم من امتنع؛ وكان رأس الممتنعين عبد مناف، جميع قومه وقال: صارت الأديان بالملك، وأذهبت نواميس الأنبياء والشرائع! أنا لا أتبع دينا بالسيف وأترك دين إسماعيل وإبراهيم! فبلغ ذلك الحارث، فكتب به إلى قباذ، فأمره أن ينهض إلى مكة ويهدم البيت، وينحر عبد مناف عنده، ويزيل رياسة بني قصي. فكره ذلك الحارث، وداخلته حمية للعرب فدارى عنهم، وشغل قباذ بغيرهم.