Pada 1996, ia ingin bertarung di Kashmir, namun otoritas Pakistan melarangnya. Sehingga, ia pergi ke Afghanistan di mana ia bertemu dengan para perwira senior al-Qaeda, Abu Hafs al-Masri dan Saif al-Adel. Bersama dengan para anggota al-Qaeda lainnya, al-Ansi berupaya untuk bergabung dengan sebuah front di Tajikistan tetapi gagal ke negara tersebut "karena terjangan salju".[3]
Ia pergi ke kampung halamannya di Yaman pada 1997, namun kembali ke Afghanistan pada 1998. Ia diperintah oleh Osama bin Laden,yang mengirimnya ke Kabul dan menampatkannya sebagai Emir Wilayah Kabul, di mana ia singgah sebagai emirnya selama waktu yang lama. Al-Ansi bergabung dengan pasukan al-Qaeda di medan tempur dan dipilih untuk berpartisipasi dalam kebanyakan kursus intensif yang diselenggarakan di Afghanistan, yang disebut kursus "Kualifikasi Pasukan". Para pemimpin senior al-Qaeda mengajarkan kursus dan salah satu pelatihnya adalah Qassim al-Raymi, yang merupakan komandan militer AQSA. Al-Ansi dan al-Raymi kemudian mendapatkan pelatihan di kamp Al-Farouq.[3]
Pada 2001, Bin Laden menyuruh al Ansi datang ke Filipina, di mana ia mengikuti kualifikasi mujahidin secara Syariat dan militer. Pada tahun yang sama, al-Ansi membantu As-Sahab, cabang propaganda al Qaeda, dalam pembuatan dua produksi: "Intervensi Amerika" dan "Negara Islam Ummah". Al-Ansi menyelesaikan misinya untuk bin Laden di Filipina, dan berupaya untuk kembali ke Afghanistan setelah koalisi yang dipimpin AS membalas serangan 9/11. Namun, ia ditangkap do Yaman ketika dalam perjalanan menuju Afghanistan pada awal 2002. Otoritas Yaman menahannya selama enam bulan sebelum ia dibebaskan.[3]
Setelah dibebaskan, ia belajar dalam waktu yang panjang di Universitas Iman, di mana ia mendapatkan sebuah sertifikat dalam bidang yurisprudensi Syariat.
