Paus Yohanes XXIII mengangkatnya pada 8 Januari 1953 menjadi Uskup Hyderabad. Pada 19 September, Joseph Mark Gopu mengalami peningkatan status menjadi uskup Agung Hyderabad kala keuskupannya ditingkatkan menjadi Keuskupan Agung Hyderabad. Gopu terlibat dalam Konsili Vatikan Kedua.
