Dengan gelar dari institusi termasuk New York University School of Law, Harvard Law School, dan gelar doktor dari Universitas Exeter, Yamani menjadi penasihat dekat pemerintah Saudi pada tahun 1958 dan kemudian menjadi menteri perminyakan pada tahun 1962. Ia dikenal karena perannya selama embargo minyak tahun 1973, ketika ia mendorong OPEC untuk menaikkan harga minyak mentah sebanyak empat kali lipat.
Pada bulan Desember 1975, Yamani dan menteri OPEC lainnya disandera oleh teroris Carlos (Sang Serigala) di Wina, Austria. Para sandera dibebaskan setelah dua hari menaiki pesawat melintasi Afrika Utara, meskipun Carlos diperintahkan oleh atasannya untuk mengeksekusi Yamani dan rekannya dari Iran Jamshid Amouzegar.
Yamani mengundurkan diri dari perannya sebagai menteri perminyakan ketika ia diberhentikan oleh Raja Fahd pada bulan Oktober 1986. Pada tahun 1990, Yamani mendirikan Pusat Studi Energi Global, sebuah kelompok analisis pasar, dan tetap terlibat dalam investasi swasta dan yayasan budaya.
