شرع رسول الله -صلى الله عليه وسلم- منذ وصل إلى المدينة في بناء مسجده في المكان الذي بركت فيه ناقته، وكان هذا المكان مربدًا1 للتمر مملوكًا لغلامين يتيمين في المدينة2، فدعا رسول الله -صلى الله عليه وسلم- بالغلامين، وطلب إليهما المريد ليتخذه مسجدًا وتحدث معهما في شرائه ...
فقالا: بل نهبه لك يا رسول الله.
فأبى عليه السلام أن يقبله منها هبة، ولكنه ابتاعه منهما3. وكان فيه قبور للمشركين وبعض حفر ونخل، فأمر رسول الله -صلى الله عليه وسلم- بالقبور فنبشت، وبالحفر فسويت، وبالنخل فقطع. ثم أمر بالبناء، وكان بناؤه باللبن4، ولكن عضادتي الباب كانتا من الحجارة، وكان سقفه من الجريد، وأعمدته من جذوع النخل، ولا يزيد ارتفاعه عن القامة إلا القليل.
وقد اشترك رسول الله -صلى الله عليه وسلم- وأصحابه في حمل اللبنات والأحجار على كواهلهم، وكانوا يروحون عن أنفسهم عناء الحمل والنقل والبناء فيرددون هذا الغناء: