Berasal dari Wina, ia adalah putra ketiga Ferdinand I, Kaisar Romawi Suci, dan Anna dari Bohemia dan Hungaria, putri Raja Władysław II dari Hungaria dan istrinya Anne dari Foix-Candale. Pada tahun 1559 dan sekali lagi pada 1564–1568 terjadi negosiasi pernikahan antara Karl dan Elizabeth I dari Inggris. Kaisar Ferdinand I mengharapkan Elizabeth akan menyetujui perjanjian pernikahan yang diusulkan bahwa Karl, sebagai dudanya, akan menggantikannya jika dia meninggal tanpa keturunan. Negosiasi berlanjut sampai Ratu Elizabeth memutuskan bahwa dia tidak akan menikah dengan sang Adipati Utama; agama menjadi kendala utama pernikahan,[1] selain karakter Ratu. Pada tahun 1563, Karl juga seorang pelamar Mary, Ratu Skotlandia, dengan pamandanya Charles, Kardinal Lorraine, menasihatinya untuk menikah dengan Karl untuk mendapatkan bantuan dalam memerintah Skotlandia. Akan tetap Mary tidak setuju, begitu juga kakanda Karl, Maximilian.
Tidak seperti saudaranya, Kaisar Maximilian II, Karl adalah seorang umat Katolik yang religius dan mendukung reformasi Katolik, misalnya dengan mengundang para Yesuit ke wilayahnya. Akan tetapi, pada tahun 1572, ia harus membuat konsesi yang penting untuk wilayah Innerösterreich di Graz, dan pada tahun 1578 dan Libellum Bruck. Hal ini menghasilkan toleransi terhadap Protestanisme.
Karena keturunan Innerösterreich harus menanggung beban utama perang melawan Turki, benteng Karlstadt/Karlovac di Kroasia didirikan pada tahun 1579 dan dinamai menurut namanya. Karl juga dikenang sebagai dermawan seni dan ilmu pengetahuan. Terutama komponis Orlando de Lassus adalah salah satu protégé-nya, seperti juga ahli teori musik Ludovico Zacconi.
Karl meninggal di Graz pada tahun 1590, mausoleumnya berada di Keabasan Seckau, di mana anggota lain dari Wangsa Habsburg juga dimakamkan. Bangunan ini adalah salah satu bangunan Barok awal terpenting di Alpen Tenggara. Dibangun sejak tahun 1587 dan seterusnya oleh Alessandro de Verda dan diselesaikan oleh Sebastiano Carlone pada tahun 1612.
