في خلافته بالحجارة والقصة وجعل عمده حجارة وسقفه بالساج وزاد فيه ونقل إليه الحصباء منَ العقيق، وكان أول منَ اتخذ فيه المقصورة مروان بن الحكم ابن العاص بْن أمية، بناها بحجارة منقوشة ثُمَّ لم يحدث فيه شيء إِلَى أن ولي الوليد بْن عَبْد الملك بْن مروان بعد أبيه فكتب إِلَى عُمَر بْن عَبْد الْعَزِيزِ وهو عامله عَلَى المدينة يأمره بهدم المسجد وبنائه، وبعث إليه بمال وفسيفساء ورخام وثمانين صانعا منَ الروم والقبط من أهل الشام ومصر فبناه وزاد فيه وولى القيام بأمره والنفقة عَلَيْهِ صالح بْن كيسان مولى سعدى مولاة آل معيقيب ابن أَبِي فاطمة الدوسي وذلك في سنة سبع وثمانين، ويقال في سنة ثمان وثمانين ثُمَّ لم يحدث فيه أحد منَ الخلفاء شيئا حَتَّى استخلف المهدي أمير الْمُؤْمِنِين صلاة اللَّه عَلَيْهِ، قَالَ الواقدي بعث المهدي عَبْد الملك بْن شبيب الغساني ورجلا من ولد عُمَر بْن عَبْد الْعَزِيزِ إِلَى المدينة لبناء مسجدها والزيادة فيه وعليها يومئذ جَعْفَر بْن سُلَيْمَان بْن علي، فمكثا في عمله سنة وزادا فى مؤخره مائة ذراع فصار طوله ثلاثمائة ذراع وعرضه مائتي ذراع، وقال علي بْن مُحَمَّد المدائني ولي المهدي أمير الْمُؤْمِنِين جَعْفَر بْن سُلَيْمَان مكة والمدينة واليمامة فزاد في مَسْجِد مكة ومسجد المدينة، فتم بناء مَسْجِد المدينة في سنة اثنين وستين ومائة، وكان المهدي أتى المدينة في سنة ستين قبل الحج فأمر بقلع المقصورة وتسويتها مع المسجد، ولما كانت سنة سبع وأربعين ومائتين أمر أمير الْمُؤْمِنِين جَعْفَر المتوكل عَلَى اللَّه رحمه اللَّه بمرمة مَسْجِد المدينة، فحمل إليه فسيفساء كثير وفرغ منه في سنة سبع وأربعين ومائتين.

حَدَّثَنِي عُمَرُ بْنُ حماد بن أبي حنيفة قال حدثنا مالك بْنُ أَنَسٍ، قَالَ حَدَّثَنَا هِشَامُ بْنُ عُرْوَةَ عَنْ أَبِيهِ عَنْ عَائِشَةَ قَالَتْ: قَالَ رَسُولُ اللَّهِ صَلَّى اللَّهُ عَلَيْهِ وَسَلَّمَ «مَا يُفْتَحُ مِنْ مِصْرٍ أَوْ مَدِينَةٍ عَنْوَةً فَإِنَّ الْمَدِينَةَ فُتِحَتْ بِالْقُرْآنِ» . حَدَّثَنَا شَيْبَانُ بْنُ أَبِي شَيْبَةَ الابلى قالت: حَدَّثَنَا أَبُو الْأَشْهَبِ قَالَ أَخْبَرَنَا الْحَسَنُ أَنَّ