Feng Deyi lahir pada tahun 568, ketika kakeknya Feng Longzhi (封隆之) adalah pejabat tinggi untuk Qi Utara. Ayahnya Feng Zixiu (封子繡) menjabat sebagai gubernur provinsi untuk Zhou Utara, tetapi ditangkap oleh jenderal Dinasti Chen, Wu Mingche, dalam sebuah pertempuran, kemungkinan pada tahun 573, selama serangan utama Wu terhadap Qi Utara. Beberapa waktu setelah Qi Utara dihancurkan oleh Zhou Utara pada tahun 577, Feng Zixiu melarikan diri kembali ke utara, dan diangkat menjadi gubernur provinsi oleh Kaisar Wen dari Sui, yang dinasti Sui-nya menggantikan Zhou Utara pada tahun 581. Ibu Feng Deyi, Lady Lu, adalah saudara perempuan dari pejabat Lu Sidao. Di masa muda Feng Deyi, Lu Sidao sering berkata, mengenai Feng Deyi, "Anak ini lebih cerdas daripada orang lain, dan suatu hari nanti pasti akan menjadi pejabat tinggi, bahkan kanselir."