Pada 1935, Ho memulai karier diplomatik-nya pada Kementerian Luar Negeri Republik China. Ia pertama kali bertugas di Turki. Ia dilantik menjadi Sekretaris Pertama di legasi Tiongkok di Vienna pada 1937. Ketika Austriadianeksasi oleh Jerman Nazi pada 1938, dan legasi tersebut diturunkan menjadi konsulat, Ho menjabat sebagai Konsul-Jenderal.
Setelah Kristallnacht pada 1938, situasi menjadi lebih menyulitkan bagi setidaknya 200,000 Yahudi Austria. Satu-satunya cara bagi Yahudi untuk melarikan diri dari Nazisme adalah meninggalkan Eropa. Dalam rangka melarikan diri, mereka meminta surat izin emigrasi, biasanya sebuah visa dari sebuah negara asing, atau sebuah tiket kapal valid. Namun, hal tersebut menyulitkan karena Konferensi Evian 1938 yang dihadiri 31 negara (seluruh jumlahnya sebesar 32 negara, termasuk Kanada, Australia, dan Selandia Baru) memutuskan untuk menolak para imigran Yahudi. Satu-satunya negara yang menerima Yahudi adalah Republik Dominikan, yang menerima 100,000 pengungsi.[4] Beraksi melawan perintah atasannya Chen Jie (陳介), duta besar Tiongkok untuk Berlin, Ho mulai mengeluarkan visa ke Shanghai, yang pada waktu itu masih berada dibawah kekuasaan Republik China, untuk alasan kemanusiaan. 1,200 visa dikeluarkan oleh Ho pada tiga bulan pertamanya ia menjabat sebagai Konsul-Jenderal.[5]
Setelah perang
Setelah kemenangan komunis pada 1949, Ho ikut pemerintahan Nasionalis ke Taiwan. Ia kemudian menjabat sebagai duta besar Republik China (Taiwan) untuk negara-negara lainnya, yakni Mesir, Meksiko, Bolivia, dan Kolombia. Setelah ia pensiun pada 1973, Ho tinggal di San Francisco, Amerika Serikat, di mana ia menulis memoirnya, My Forty Years as a Diplomat (外交生涯四十年) yang diterbitkan pada 1990 (terjemahan Inggris 2010).
Plat peringatan yang didedikasikan kepada Ho Feng Shan di Museum Pengungsi Yahudi di Shanghai. Tempat ini adalah tempat tujuan terakhir bagi ribuan Yahudi yang diselamatkan Ho.