لما استقر رسول الله ﷺ بالمدينة، أمر ببناء المسجد. يروي أنس رضي الله عنه أن النبي ﷺ أرسل إلى ملأ من بني النجار فجاءوا، فقال: «يا بني النجار، ثامنوني بحائطكم هذا». قالوا: لا والله، لا نطلب ثمنه إلا إلى الله. وكان في المكان قبور للمشركين، وخِرَب، ونخل. فأمر رسول الله ﷺ بقبور المشركين فنُبشت، ثم بالخِرَب فسُوّيت، وبالنخل فقُطع، فصفّوا النخل قبلة المسجد، وجعلوا عضادتيه الحجارة.
وفي رواية عروة عن عائشة رضي الله عنها أن الموضع كان مربدًا للتمر لغلامين يتيمين، فدعاهما رسول الله ﷺ فساومهما به ليتخذه مسجدًا، فقالا: بل نهبه لك يا رسول الله. فأبى رسول الله ﷺ أن يقبله منهما هبةً حتى ابتاعه منهما.
وكان الصحابة ينقلون الصخر وهم يرتجزون، والنبي ﷺ معهم، وهو يقول: «اللهم لا خير إلا خير الآخرة، فانصر الأنصار والمهاجرة».
ويروي أبو سعيد الخدري رضي الله عنه قال: كنا ننقل لبن المسجد لبنةً لبنةً، وعمار ينقل لبنتين لبنتين. فرآه النبي ﷺ فجعل ينفض التراب عنه ويقول: «ويح عمار، تقتله الفئة الباغية، يدعوهم إلى الجنة ويدعونه إلى النار».
ويصف عبد الله بن عمر رضي الله عنهما هذا المسجد فيقول: كان المسجد على عهد رسول الله ﷺ مبنيًّا باللبن، وسقفه الجريد، وعمده خشب النخل. فلم يزد فيه أبو بكر شيئًا، وزاد فيه عمر وبناه على بنيانه في عهد رسول الله ﷺ باللبن والجريد، وأعاد عمده خشبًا. ثم غيّره عثمان فزاد فيه زيادة كثيرة، وبنى جداره بالحجارة المنقوشة والقصة، وجعل عمده من حجارة منقوشة، وسقفه بالساج.