Pada awalnya, masjid ini diberi nama Masjid Baitul Makmur oleh Abdullah Ujong Rimba, yang saat itu adalah Imam besar masjid tersebut. Ia juga menjabat sebagai Ketua Majelis Ulama Indonesia pada masa itu. Namun, pada tahun 2004 ketika gempa dan tsunami melanda Aceh menyebabkan masjid tersebut rusak parah dan harus diperbaiki.[2]