Tercata sejak tahun 1982, Habib Syarief bergabung dengan Nahdlatul Ulama (NU). Ia menjabat berbagai jabatan seperti Wakil Ketua Pengurus Cabang NU Kota Bandung dan Ketua Pengurus Wilayah NU di Jawa Barat.[2]
Pada tahun 1998, Habib Syarief bergabung dengan Partai Kebangkitan Bangsa, partai yang pada awalnya dibentuk sebagai kendaraan partai bagi NU. Ia sendiri diangkat menjadi Ketua Dewan Pengurus Wilayah partai untuk wilayah Jawa Barat di tahun yang sama.[2] Pada tahun 2024, ia diangkat menjadi anggota Dewan Syuro di Dewan Pengurus Pusat partai.[3]
Ia juga memiliki peran di Majelis Ulama Indonesia (MUI) sebagai anggota Dewan Penasihat MUI wilayah Jawa Barat.[2]
Anggota DPR
Sebelum mencalonkan diri sebagai anggota DPR, Habib Syarief sebelumnya pernah menjadi anggota Dewan Perwakilan Rakyat Daerah Provinsi Jawa Barat pada periode 2014 - 2019.[2][butuh sumber yang lebih baik] Pada tahun 2024, ia memutuskan untuk mencalonkan diri kembali sebagai anggota legislatif untuk DPR. Ia memutuskan untuk mencalonkan untuk pertama kalinya semenjak ia bergabung dengan PKB karena ingin memberikan motivasi kepada anggota PKB lainnya yang ia anggap telah tercemar idealisme dan pragmatisme, dua hal yang ia pandang sebagai hal negatif.[4]
Pada pemilu 2024, Habib Syarief terpilih sebagai anggota DPR dengan mendulang 51.801 suara.[5] Ia kemudian menjabat sebagai anggota Badan Legislasi dan Komisi X.
