Masjid Fenghuang telah dibangun kembali beberapa kali sepanjang sejarahnya, pertama kali dihancurkan sekitar akhir Dinasti Song. Selama Dinasti Yuan, pada tahun 1281, masjid ini diperbaiki didanai oleh Ala al-Din, seorang ulama Arab di Tiongkok.[1] Menara masjid dipindahkan pada tahun 1928, karena ada proyek perluasan jalan raya. Pada tahun 1953, Masjid Fenghuang diperbaiki secara menyeluruh.[2]
Struktur bangunan utama sangat dipengaruhi oleh Arsitektur Tiongkok tradisional sambil tetap mempertahankan bentuk Arsitektur Islam. Ruang salat yang ada saat ini dibangun tahun 1281 pada masa pemerintahan Kubilai Khan.[3][4]
