Lahir di Shandong, Tiongkok, Kara Hui pindah ke Hong Kong bersama keluarganya sewaktu masih balita.[3] Dalam wawancaranya pada Be My Guest, Hui mengungkap bahwa keluarganya kehilangan tabungan mereka disebabkan oleh kenalan bisnis ayahnya.[4] Tanpa uang sepeser pun yang tersisa, ibu Hui, dirinya, dan saudara-saudaranya terpaksa menjajakan barang di jalan-jalan Hong Kong. Pada tahun-tahun awalnya, keluarga Hui tinggal di kota kumuh miskin di Rennie's Mill.[4]
Setelah bekerja di kelab malam, Hui ditemukan oleh sutradara film Lau Kar-leung dan bermain dalam film Lau, Challenge of the Masters (1976). Setelah itu, ia mengambil bagian dalam berbagai film Lau.[3]
