Dibangun antara tahun 1953–1958, masjid yang awalnya bernama Masjid Agung Kebayoran Baru[3] ini merupakan masjid terbesar di Jakarta ketika masa pembangunannya, sebelum predikat tersebut diambil alih oleh Masjid Istiqlal pada tahun 1978.
tetapi bangunlah masjidnya dengan banyak ruang untuk kantor dan rapat supaya sewaktu sekolah dibangun, masjidnya tetap bisa beraktivitas penuh, termasuk kelas pendidikan.[4]
Atas dasar itu, pembangunan masjid dimulai pada tanggal 19 November1953 dan selesai pada tahun 1958.[5] Pada saat penyelesaiannya, masjid ini menjadi yang terbesar di Jakarta, sebelum predikat tersebut diambil alih oleh Masjid Istiqlal pada tahun 1978. Awalnya panitia pembangunan menunggu presiden Soekarno menggunting pita sebagai tanda dibukanya masjid secara resmi. Kemudian pada tahun 1959, BuyaHamka diminta menjadi imam besar masjid.
Pada tanggal 19 Agustus1993, masjid ini ditetapkan sebagai salah satu dari 18 situs tapak sejarah perkembangan kota Jakarta. Dan ditetapkan sebagai cagar budaya nasional pada 25 April 2005 melalui SK PM.13/PW.007/MKP/05 dengan kode KB000185.[9]
↑"Al Azhar, Masjid". Ensiklopedi Jakarta (dalam bahasa Indonesian). Dinas Komunikasi, Informatika dan Kehumasan Pemprov DKI Jakarta. 2010. Diarsipkan dari asli tanggal 2016-11-09. Diakses tanggal November 9, 2016.Pemeliharaan CS1: Bahasa yang tidak diketahui (link)