Abdurrahman Shihab lahir di Kabupaten Sidenreng Rappang, Sulawesi, Hindia Belanda[2] sebagai anak tunggal dari Habib Ali bin Abdurrahman Shihab, seorang ulama juru dakwah dan pendidikan asal Hadramaut, Yaman.[3] Abdurrahman berasal dari keluarga ArabHadhrami golongan Alawiyyin bermarga Aal Shihāb-Uddīn.[4] Ayahnya telah berimigrasi dari Hadramaut ke Sulawesi Selatan sejak muda untuk berdakwah, ia wafat di Makassar pada tahun 1333 Kalender Hijriah (sekitar tahun 1915 Masehi) dalam usia 52 tahun ketika Abdurrahman masih bayi.[3]
Abdurrahman bersama istri dan anak-anaknya sekitar tahun 1950-an
Setelah tinggal selama 10 tahun di Sidenreng Rappang, Abdurrahman menikah dengan seorang gadis Bugis putri bangsawan setempat bernama Asma Aburisy.[3] Dari pernikahannya dengan Asma, Abdurrahman dikaruniai 13 anak, di antaranya adalah Nur Shihab, Ali Shihab, Umar Shihab, Muhammad Quraish Shihab, Wardah Shihab, dan Alwi Shihab, enam anak pertamanya tersebut lahir di Rappang, Kabupaten Sidenreng Rappang.[6] Sedangkan tujuh anak lainnya lahir di Kampung Buton, Kota Makassar, karena setelah kelahiran Alwi, Abdurrahman membawa serta keluarganya ke Jalan Sulawesi Lorong 194/7 Kota Makassar.[7] Ketujuh anaknya yang lahir di Kampung Buton di antaranya adalah Nina Shihab, Sida Shihab, Ahmad Nizar Shihab, Abdul Mutalib Shihab, Salwa Shihab, Ulfa Shihab, dan Latifah Shihab.[6]
Abdurrahman mulai aktif berkarier di dunia politik sejak tahun 1950-an. Sepanjang tahun 1950–1951, ia aktif sebagai anggota dan pengurus Partai Majelis Syuro Muslimin Indonesia cabang Kota Makassar, baru pada tahun 1951–1952 ia diangkat menjadi anggota Majelis Syuro Masyumi wilajah Sulawesi, dan pada tahun 1952–1956 menjadi anggota pimpinan Masyumi untuk wilajah Sulawesi.[2]
Hidayat, Syahrul; Fogg, Kevin W. (1 Januari 2018). "Profil Anggota: Abdurrahman Sjihab". Konstituante.Net. Diarsipkan dari versi aslinya tanggal 2018-09-06. Diakses tanggal 6 September 2018.
Muhammad, Firdaus (11 November 2015). Aldy (ed.). "50 Tahun UIN Memanggungkan Peradaban". Tribun Timur. Jakarta: TRIBUNnews.com Network. Diarsipkan dari versi aslinya tanggal 2018-09-06. Diakses tanggal 6 September 2018.