عبد العزيز لما كان أميراً على المدينة يأمره بهدم المسجد النبوي وإضافة حجر أزواج الرسول صلى الله عليه وسلم ويوسعه من قبلته وسائر نواحيه حتى يكون مائتي ذراع في مائتي ذراع. فمن باعك ملكه فاشتره منه وإلا فقوّمه له قيمة عدل ثم اهدمه وادفع إليهم أثمان بيوتهم فإن لك في ذلك سلف صدق عمر وعثمان.

فجمع عمر بن عبد العزيز وجوه الناس والفقهاء العشرة وأهل المدينة وقرأ عليهم كتاب أمير المؤمنين الوليد فشق عليهم ذلك وقالوا: هذه حجر قصيرة السقوف وسقوفها من جريد النخل وحيطانها من اللبن وعلى أبوابها المسوح. وترْكها على حالها أولى لينظر الحجاج والزوار والمسافرون إلى بيوت النبي صلى الله عليه وسلم فينتفعوا بذلك ويعتبروا به. ويكون ذلك أدعى لهم إلى الزهد في الدنيا فلا يعمرون فيها إلى بقدر الحاجة وهو ما يستر ويُكِن. ويعرفون أن هذا البنيان العالي إنما هو من أفعال الفراعنة والأكاسرة وكل طويل الأمل راغب في الدنيا وفي الخلود فيها.

فعند ذلك كتب عمر بن عبد العزيز إلى الوليد بما أجمع عليه الفقهاء العشرة المتقدم ذكرهم فأرسل إليه يأمره بالخراب وبناء المسجد على ما ذكر وأن يُعْلي سقوفه. فلم يجد عمر بداً من هدمها.