لقد هُدِمت الكعبة مرات، هدمها عبد الله بن الزبير لما تولى على مكة، وأقامها على قواعد إبراهيم عليه الصلاة والسلام، فلما تولى الحجاج هدمها مرة أخرى وأعادها كما كانت في زمن الجاهلية، ثم سمع الخليفة من مالك حديث عائشة رضي الله عنها، أن النبي صلى الله عليه وسلم قال: {لولا أن قومك حديث عهد بجاهلية، لهدمت الكعبة وأقمتها على قواعد إبراهيم، وجعلت لها بابين، باباً يدخل الناس منه، وباباً يخرجون منه} والحديث متفق عليه.
فهمّ أبو جعفر أن يعيد بناء الكعبة مرة أخرى على قواعد إبراهيم، فقال له الإمام مالك: [[يا أمير المؤمنين لا تفعل]] قال: لماذا؟ قال: [[إني أخشى أن تكون الكعبة ملعبة للملوك، هذا يهدمها وهذا يبنيها]] وكلما جاء حاكم جديد رأى أنه لابد أن يغير سنة من قبله، ليثبت للناس أنه جدد وأصلح وغيّر وبدّل، وأن من قبله كانوا وكانوا وكانوا، أما هو فكان بخلاف ذلك {كُلَّمَا دَخَلَتْ أُمَّةٌ لَعَنَتْ أُخْتَهَا} [الأعراف:38] كما هو الواقع من الحكام الجاهليين في كل زمان ومكان، فلذلك سد الإمام مالك الطريق على هذا التلاعب، ورأى أن تبقى الكعبة كما كانت؛ دفعاً لأن تكون ملعبة للملوك، كما عبر رحمه الله ورضي الله عنه وأرضاه.