Ye menikah enam kali dan memiliki enam orang anak. Salah satu anaknya antara lain adalah Ye Xuanping (1924–2019), Ye Xuanning (1938–2016), dan Ye Xuanlian (lahir 1952). Cucu perempuannya, Robynn Yip (kelahiran 1986), putri dari Xuanlian, merupakan seorang pianis profesional di Hong Kong.