Zainul kemudian bertugas mewakili partai Masyumi di Badan Pekerja Komite Nasional
Indonesia Pusat (BP-KNIP), cikal bakal DPR-MPR, sambil terus memegang tampuk pimpinan
Hizbullah yang sudah menjelma menjadi pasukan bersenjata. Selama masa Revolusi, selain
mengikuti sidang-sidang BP KNIP yang berpindah-pindah tempat karena kegawatan situasi, Arifin
juga memimpin gerakan-gerakan gerilya Laskar Hizbullah di Jawa Tengah dan Jawa Timur selama
Agresi Militer I dan II. Dalam memimpin Laskar Hizbullah Zainul menggunakan jalur tonarigumi
atau Rukun Tetangga yang dulu dibinanya hingga meliputi desa-desa terpencil di Jawa. Saat terjadi
Agresi Militer II bulan Desember 1948, Belanda berhasil menjatuhkan Yogyakarta dan menawan
Sukarno-Hatta. Dalam keadaan darurat, BP KNIP praktis tidak berfungsi. Arifin lantas terlibat
sebagai anggota Komisariat Pemerintah Pusat di Jawa (KPPD), bagian dari Pemerintahan Darurat
Republik Indonesia (PDRI) yang berkedudukan di Bukit Tinggi, Sumatera Barat. Tugas utama Zainul
melakukan konsolidasi atas badan-badan perjuangan yang melancarkan taktik gerilya di bawah
komandan Jenderal Sudirman. Saat pemerintah melebur segenap pasukan bersenjata ke dalam satu
wadah Tentara Nasional Indonesia, Zainul Arifin sempat dipercaya sebagai Sekertaris Pucuk
Pimpinan TNI. Namun akhirnya, ketika banyak mantan anggota laskar Hizbullah yang dinyatakan
tidak bisa diterima menjadi anggota TNI karena tidak berpendidikan "modern" dan hanya lulusan
Madrasah, ia memilih mengundurkan diri dan berkonsentrasi meneruskan perjuangan sipil di jalur
politik.
Sejak proklamasi kemerdekaan Zainul Arifin langsung duduk dalam Badan Pekerja Komite
Nasional Indonesia Pusat (BP KNIP), cikal bakal lembaga legislatif MPR/DPR. Hingga akhir
hayatnya Arifin aktif di parlemen mewakili partai Masyumi dan kemudian partai NU setelah NU
keluar dari Masyumi pada 1952. Hanya selama 1953-1955 ketika menjabat sebagai wakil perdana
menteri dalam kabinet Ali-Arifin (Kabinet Ali Sastroamijoyo I) Zainul terlibat dalam badan
eksekutif. Kabinet di era Demokrasi Parlementer ini sukses menyelenggarakan Konferensi Asia-
Afrika di Bandung pada 1955. Pemilu pertama 1955 mengantar Zainul Arifin sebagai anggota
Majelis Konstituante sekaligus wakil ketua DPR sampai kedua lembaga dibubarkan Sukarno melalui
Dekrit Presiden 5 Juli 1959.Memasuki era Demokrasi Terpimpin itu, Arifin bersedia mengetuai DPR
Gotong Royong (DPRGR) sebagai upaya partai NU membendung kekuatan Partai Komunis
Indonesia (PKI) di parlemen. Ditengah meningkatnya suhu politik, pada 14 Mei 1962, saat salat Idul
Adha di barisan terdepan bersama Sukarno, Zainul tertembak peluru yang diarahkan seorang
pemberontak DI/TII dalam percobaannya membunuh presiden. Kiai Haji Zainul Arifin meninggal di
Jakarta, 2 Maret 1963 pada umur 53 tahun setelah menderita luka bekas tembakan dibahunya selama
sepuluh bulan. Ia diangkat menjadi Pahlawan Kemerdekaan Nasional 4 Maret 1963 Keppres No. 35
Tahun 1963.