Bangunan masjid ini sendiri terlihat seperti dua bangunan kembar yang menyatu.[3] Kemudian bangunan masjid ini mengalami perubahan beberapa kali akibat kebutuhan ruang karena banyaknya Jemaah dan juga akibat gempa bumi besar yang meluluhlantakkan pada 1938. Pemugaran terakhir dilakukan oleh presiden ketiga Indonesia–B. J. Habibie pada 1999.[4]
