Rafael Grossi memulai pengalamannya di bidang nuklir selama kolaborasi antara dinas luar negeri Argentina dan INVAP. Antara 1997 dan 2000 ia adalah Presiden Kelompok Ahli Pemerintah PBB untuk Pendaftaran Senjata Internasional, dan kemudian menjadi penasihat Asisten Sekretaris Jenderal Perserikatan Bangsa-Bangsa untuk perlucutan senjata.[4]
Selama bekerja untuk dinas luar negeri Argentina, ia adalah Direktur Jenderal Koordinasi Politik Kementerian Luar Negeri dan Ibadah, Duta Besar untuk Belgia dan Perwakilan Argentina untuk Kantor PBB di Jenewa. Antara 2010 dan 2013 ia menjabat sebagai Wakil Direktur Jenderal Badan Energi Atom Internasional, dan bahwa tahun lalu, PresidenCristina Fernández de Kirchner menugaskannya sebagai Duta Besar untuk Austria dan Organisasi Internasional yang berbasis di Wina, bersamaan juga di Slowakia dan Slovenia.[6]
Pada bulan September 2015, Pemerintah Argentina mengumumkan nominasi Rafael Grossi sebagai kandidat untuk Direktur Jenderal IAEA, dengan dukungan dari negara-negara lain di Amerika Latin dan Karibia. Namun, pada tahun 2016, Pemerintah Mauricio Macri menarik dukungannya untuk mempromosikan pencalonan Susana Malcorra sebagai Sekretaris Jenderal PBB. Pada 2016, ia adalah Presiden Grup Pemasok Nuklir.[7]
Pada 2017, Presiden Mauricio Macri mengumumkan bahwa ia akan mencalonkan Rafael Grossi untuk menjadi presiden Konferensi Peninjauan Perjanjian tentang Non-Proliferasi Senjata Nuklir yang akan diselenggarakan pada tahun 2020.[8]