Nancy Walker Bush Ellis lahir pada tanggal 4 Februari 1926, di Milton, Massachusetts, dari pasangan Prescott Sheldon Bush (1895–1972) dan Dorothy Walker Bush (1901–1992). Dia memiliki empat saudara laki-laki dan menjadi pemain tenis dan atlet juara di masa mudanya. Dia dididik di sekolah swasta Rosemary Hall di Greenwich (sekarang Choate Rosemary Hall di Wallingford) dan Miss Porter's School di Farmington. Dia lulus dari Vassar College dengan gelar dalam bahasa Inggris pada tahun 1946.
Pada 26 Oktober 1946, di Gereja St. Paul di Greenwich, dia menikah dengan Alexander Ellis Jr. (1922–1989), seorang eksekutif perusahaan asuransi Fairfield & Ellis (yang bergabung menjadi Corroon & Black, sekarang menjadi bagian dari Willis Group Holdings Ltd.).
