Hani lahir pada 28 Juni 1942[1] di kota kecil Cofimvaba di desa Xhosa yang disebut kuSabalele Transkei. Ia adalah anak kelima dari enam bersaudara. Ia masuk sekolah Lovedale dan kemudian mempelajari sastra klasik dan modern di Universitas Fort Hare.[2] Hani, dalam sebuah wawancara saat kampanye Wankie, juga berkata bahwa ia merupakan lulusan Universitas Rhodes.[3]