وكانت في هذه الأرض التي بنى عليها المسجد قُبُورُ الْمُشْرِكِينَ، وَكَانَتْ فِيهِ خِرَبٌ، وَكَانَ فِيهِ نَخْلٌ فَأَمَرَ رَسُولُ الله بِقُبُورِ الْمُشْرِكِينَ فَنُبِشَتْ وَبِالْخِرَبِ فَسُوِّيَتْ وَبِالنَّخْلِ فَقُطِعَ فَصَفُّوا النَّخْلَ قِبْلَةَ الْمَسْجِدِ وَجَعَلُوا عِضَادَتَيْهِ حِجَارَةً (?).
وكَانَ النبي - صلى الله عليه وسلم - قبل بناء المسجد يُصَلِّي حَيثُ أَدْرَكَتْهُ الصَّلَاةُ وَيُصَلِّي في مَرَابِضِ الْغَنَمِ (?).
يقول عبد الله بن عمر: كان الْمَسْجِدَ عَلَى عَهْدِ رَسُولِ الله - صلى الله عليه وسلم - مَبْنِيًّا بِاللَّبِنِ وَسَقْفُهُ الْجَرِيدُ وَعُمُدُهُ خَشَبُ النَّخْلِ.
فَلَمْ يَزِدْ فِيهِ أبو بَكْرٍ شَيْئًا، وَزَادَ فِيهِ عُمَرُ وَبَنَاهُ عَلَى بنيَانِهِ في عَهْدِ رَسُولِ الله - صلى الله عليه وسلم - بِاللَّبِنِ وَالْجَرِيدِ وَأَعَادَ عُمُدَهُ خَشَبًا ثُمَّ غَيَّرَهُ عُثْمَانُ فَزَادَ فِيهِ زِيَادَةً كَثِيرَةً وَبَنَى جِدَارَهُ بِالْحِجَارَةِ الْمَنْقُوشَةِ وَالْقَصَّةِ (?) وَجَعَلَ عُمُدَهُ مِنْ حِجَارَةٍ مَنْقُوشَةٍ وَسَقَفَهُ بِالسَّاجِ (?).