Powell dilahirkan di New York City dan dibesarkan di South Bronx. Orang tuanya, Luther Theophilus dan Maud Ariel Powell, beremigrasi ke AS dari Jamaika. Powell belajar di sekolah negeri New York City, lulus dari City College of New York (CCNY), di mana dia mendapatkan gelar sarjana muda dalam bidang geologi.
Powell menikah dengan Alma Vivian Johnson Powell yang berasal dari Birmingham, Alabama. Dia mempunyai seorang putra, Michael (yang pernah menjadi ketua umum Komisi Komunikasi Federal); putri-putri Linda dan Anne; menantu Jane; dan cucu Jeffrey dan Bryan.
Panggilan akrab Presiden George W. Bush untuk Powell adalah Pup Pup.
Powell terkenal sebagai orang yang mendorong terjadinya serangan AS ke Irak pada 2003 setelah menunjukkan "bukti" adanya senjata pemusnah massal di Irak dalam sebuah Sidang Umum PBB yang ternyata sama sekali tidak ada.