Sejarah kaum khawarij berawal pada zaman setelah terpilihnya Ali sebagai khalifah

pengganti Usman bin Affan yang terbunuh. Lalu, ada ketidaksepakatan antara Ali dan
Muawiyah selaku gubernur Syam saat itu.
Muawiyah meminta Ali untuk menangkap dan menghukum pembunuh Usman. Sedangkan
Ali berpendapat bahwa yang paling penting untuk dilakukan saat itu adalah menstabilkan
kondisi yang sangat kacau, baru kemudian memproses para pelaku pembunuhan Usman.
Ketidaksepakatan tersebut kemudian memicu perang yang dikenal dengan Perang Siffin.
Pasukan Ali bin Abi Thalib hampir memenangkan perang tersebut. Melihat pasukannya
terdesak mundur, Amr bi Al Ash sebagai panglima tertinggi pasukan Muawiyah
memerintahkan pasukannya untuk mengangkat Al Quran di setiap ujung tombak mereka dan
meminta kepada pihak Ali untuk melakukan tahkim sebagai jalan keluar.
Setelah mendapat desakan dari pimpinan-pimpinan pasukannya, Ali pun menerima usulan
tersebut. Namun, sebagian pasukannya tidak menyukai keputusan Ali yang menerima tahkim
tersebut dan memutuskan keluar dari barisan pasukan Ali. Kelompok tersebut kemudian
dikenal dengan kaum Khawarij.
Aliran ini muncul sebagai respons terhadap peristiwa tahkim atau arbitrase yang
mendamaikan kelompok Khalifah Ali bin Abi Thalib dan Muawiyah bin Abu Sufyan setelah
perang Shiffin pada tahun 37 hijriyah. Menurut kelompok Khawarij, tindakan yang ditempuh
oleh Ali dan Muawiyah dengan menyetujui perdamaian dalam peristiwa tahkim menyalahi
hukum Allah SWT. Mereka menuding semua pihak yang menyetujui perjanjian tahkim telah
murtad, kafir, dan keluar dari Islam.