Dari Gemeente ke GP Ansor
Berbekal ijazah HIS Arifin diterima bekerja di pemerintahan kotapraja kolonial (Gemeente) sebagai pegawai di Perusahaan Air Minum (PAM) di Pejompongan, Jakarta Pusat. Di sana ia sempat bekerja selama lima tahun, sebelum akhirnya terkena PHK saat resesi global yang bermula di AS dan berdampak hingga ke wilayah Hindia Belanda. Keluar dari gemeente, Arifin kemudian memilih bekerja sebagai guru sekolah dasar dan mendirikan pula balai pendidikan untuk orang dewasa, Perguruan Rakyat, di kawasan Meester Cornelis (Jatinegara). Zainul juga sering memberi bantuan hukum bagi masyarakat Betawi yang membutuhkan sebagai tenaga Pokrol Bambu, pengacara tanpa latar belakang pendidikan Hukum tetapi menguasai Bahasa Belanda. Selain itu ia pun aktif kembali dalam kegiatan seni sandiwara musikal tradisional Betawi yang berasal dari tradisi Melayu, Samrah.
Ia sempat mendirikan kelompok Samrah bernama Tonil Zainul. Dari kegiatan kesenian itu, ia berkenalan dan selanjutnya sangat akrab bersahabat dengan tokoh perfilman nasional, Djamaluddin Malik yang kala itu juga bergiat dalam kegiatan Samrah. Keduanya kemudian bergabung dengan Gerakan Pemuda Ansor yang ketika itu memang aktif merekrut tenaga-tenaga muda.
Selama menjadi anggota GP Ansor inilah Arifin kemudian makin meningkatkan pengetahuan agama dan keterampilan berdakwahnya sebagai mubalig muda lewat pelatihan-pelatihan khas Ansor. Kepiawaian Zainul dalam berpidato, berdebat dan berdakwah ternyata menarik perhatian tokoh-tokoh Nahdlatul Ulama, organisasi induk Ansor, termasuk: Wahid Hasyim, Mahfudz Shiddiq, Muhammad Ilyas, dan Abdullah Ubaid. Hanya dalam beberapa tahun saja, Zainul Arifin sudah menjadi Ketua Cabang NU Jatinegara dan berikutnya sebagai Ketua Majelis Konsul NU Batavia hingga datangnya tentara Jepang tahun 1942. Pada saat itu ia juga bekerja di Perusahaan Air Minum (PAM) pemerintah kotapraja (gemeente). Di kota ini ia juga sempat menjadi guru sekolah di daerah Jatinegara dan Bukit Duri Tanjakan.