Sejak kecil, KH. Abdul Karim sudah sangat giat untuk mencari ilmu, terutama bersama sang kakak yang bernama Kiai Aliman. Pesantren yang pertama kali dia singgahi terletak di desa Babadan, Gurah, Kediri. Kemudian dia meneruskan pengembaraannya ke daerah Cepoko, Nganjuk, di sini kurang lebih selama 6 Tahun. Setelah dirasa cukup, dia meneruskan ke Pesantren Trayang, Bangsri, Kertosono, Nganjuk, Jawa Timur, di sinilah dia memperdalam kajian ilmu Al Quran. Lalu dia melanjutkan pengembaraan ke Pesantren Sono, Sidoarjo, sebuah pesantren yang terkenal dengan ilmu sharaf-nya. Selama tujuh tahun lamanya dia menuntut ilmu di pesantren itu, selanjutnya dia memperdalam lagi ilmunya di salah satu pesantren besar di Pulau Madura yang diasuh langsung oleh Syaikhona Kholil Bangkalan selama 23 tahun.
Pada usia 40 tahun, KH. Abdul Karim meneruskan pencarian ilmu di Pondok Pesantren Tebuireng, Jombang, Jawa Timur yang diasuh oleh sahabat karibnya semasa di Bangkalan Madura yakni KH. Hasyim Asy’ari. Hingga pada akhirnya KH. Hasyim asy’ari menjodohkan KH. Abdul Karim dengan putri Kiai Sholeh dari Banjarmlati Kediri pada tahun 1908.
Mendirikan Pesantren Lirboyo
Setelah dua tahun pernikahannya dengan Nyai Siti Khadijah binti Kiai Sholeh, tepatnya pada 1910, KH. Abdul karim bersama istri tercintanya hijrah ke tempat baru di sebuah desa yang bernama Desa Lirboyo, Kediri, di sinilah titik awal berdirinya Pondok Pesantren Lirboyo yang hingga saat ini menjadi salah satu pesantren terbesar di Indonesia dan dikenal luas hingga mancanegara.
Pada tada tahun 1913, KH. Abdul Karim mendirikan sebuah masjid di tengah-tengah komplek pondok, sebagai sarana ibadah dan sarana ajar mengajar bagi santri. KH. Abdul Karim adalah sosok yang sederhana dan bersahaja. Dia gemar melakukan tirakat dan riyadhah (mengolah jiwa), sehingga seakan hari-harinya hanya berisi pengajian dan tirakat.[2]
Pada tahun 1950 saat KH. Abdul Karim menunaikan ibadah haji, kondisi kesehatannya sudah tidak memungkinkan, tetapi karena keteguhan hati akhirnya keluarga mengikhlaskan keberangkatannya untuk menunaikan ibadah haji dengan ditemani sahabat akrabnya, KH. Hasyim Asy’ari dan seorang dermawan asal Madiun Haji Khozin.[3]
Seusai pulang dari ibadah haji kedua tersebut, KH. Abdul Karim mulai menunjukkan tanda kurang sehat dan sempat sakit-sakitan. Akan tetapi yang cukup menyedihkan adalah kesehatannya semakin turun drastis hingga dia sakit lumpuh. Sebenarnya gejala kelumpuhan itu sempat diderita hampir satu setengah tahun. Sampai akhirnya saat memasuki Bulan Ramadhan tahun 1374, KH. Abdul Karim semakin kritis, sehingga tidak mampu lagi memberikan pengajian dan menjadi imam shalat jama'ah.
Lalu, tepat pada hari Senin, 21 Ramadhan 1374 H atau tahun 1954 M, KH. Abdul Karim wafat, dan kemudian dia dimakamkan di belakang Masjid Lawang Songo, Pondok Pesantren Lirboyo, Kediri.