Hovannisian lahir dan besar di Tulare, California dari keluarga penyintas genosida Armenia. Ayahnya, Gaspar Gavroian, lahir pada tahun 1901 di desa Bazmashen (Pazmashen; sekarang Sarıçubuk, Elâzığ), dekat Kharpert di Kesultanan Utsmaniyah.[1] Melarikan diri dari genosida tahun 1915, dia pindah ke Amerika Serikat pada tahun 1920 dan mengubah nama belakangnya dari Gavroian menjadi Hovannisian, mengikuti nama ayahnya, Hovhannes.[2] Pada tahun 1926, Kaspar menikahi Siroon (Sarah) Nalbandian, juga seorang anak korban genosida.[3] Kedua putra mereka lahir pada tahun 1928 (John) dan 1930 (Ralph). Richard Gable Hovannisian (dinamai berdasarkan Clark Gable) lahir terakhir pada tanggal 9 November 1932.[4]
