Gongyi terletak di tengah provinsi Henan, di sisi utara Gunung Song. Sungai Kuning mengalir melalui bagian utara kota Gongyi, sedangkan Zhengzhou berjarak 82km (51mi) di timur dan Luoyang76km (47mi) di sebelah barat.
Kota ini dulu pernah dinamakan Zhenxun dan konon merupakan ibu kota Tiongkok selama Dinasti Xia. Menurut kitab legenda Sejarah Bambu, pemanah Houyi dan pasukannya menduduki Zhenxun ketika Raja Xia, Tai Kang sedang pergi berburu hingga melewati Sungai Luo. Houyi kemudian digulingkan oleh pengawalnya sendiri bernama Han Zhuo dan putranya sebelum Dinasti Xia akhirnya dipulihkan.
Makam-makam para penguasa Dinasti Song yang sering dijadikan tempat perayaan dan ritual, tersebar di seluruh kota praja yang ada di Gongyi seperti di Xicun, Zhitian dan Huiguo. Makam-makam ini merupakan tempat peristirahatan 7 kaisar Dinasti Song Utara dan leluhur dari pendiri dinasti. Terdapat juga kuburan menteri setia Song.
Setelah berdirinya Republik Rakyat Tiongkok, Gongyi berada di bawah yurisdiksi Zhengzhou, tetapi sejak
Januari 1955 dikelola oleh Kaifeng. Pada Agustus 1983, Gongyi dikembalikan lagi ke Zhengzhou dan sejak tahun 1991, status Gongyi menjadi kota setingkat county yang dikelola oleh Zhengzhou.
Gongyi dianggap sebagai tempat kelahiran penyairDu Fu pada zaman Dinasti Tang, dia sering dianggap sebagai penyair terbesar Tiongkok.