Kesuksesan perjuangan tersebut membuat karier Abdul Madjid melonjak. Ia pernah menjadi Sekretaris Jenderal Partai Nasional Indonesia dan Sekretaris Jenderal PDI. Selain itu, ia pernah menjadi anggota Dewan Pertimbangan Pusat PDI-P dan menjadi anggota Dewan Pertimbangan Partai Demokrasi Pembaruan (PDP).
Karier di Parlemen
Abdul Madjid juga pernah meniti karier politik di Parlemen. Ia menjadi anggota DPR-GR sejak tahun 1959. Anggota DPRS/MPRS pada periode 1967 hingga 1971. Pada masa Orde Baru, ia pernah menjadi anggota Dewan Perwakilan Rakyat dari Fraksi Demokrasi Indonesia pada dua periode yakni 1972 hingga 1977 dan 1977 hingga 1982.[2]
Ia meninggal pada 1 Juli2012 di rumahnya di kawasan Jalan Setiabudi Jakarta Selatan. Jenazahnya dimakamkan esok harinya di Makam Wredatama Tonjong Bogor.[1] Pada tahun 2013, Nama Abdul Madjid ini diabadikan dalam satu nama jalan yang membatasi kecamatan Kebayoran Baru dan Cilandak yang sebelumnya bernama Jalan Cipete Utara Raya.