Dalam pemerintahan ali, terjadi berbagaimacam tantangan, semua ini diawali dengan insiden terbunuhnya usman bin affan

oleh para
penentangnya yang berbondong2 mendatangi rumahnya dan membunuh usman.

Tantangan yang pertama yaitu datang dari pemuka-pemuka yang ingin pula menjadi khalifah yaitu Zubair ibn Awwan dan Talhah ibn Ubaidillah.
Padahal mereka adalah orang pertama yng membaiat Ali sebagai khalifah. Mereka berdua yang saat itu berada di Madinah meminta izin kepada Ali untuk
melaksanakan umrah ke Mekkah. Dan dari sinilah mereka berdua bertemu Aisyah kemudian sepakat untuk sama-sama menuntut Ali mengusut dan
menghukum para pembunuh-pembunuh Usman. Tentang penuntutan qishash itu sebenarnya Ali pahami dan maklumi. Karena pada saat itu Ali sedang
berada pada situasi terjepit, maka Ali menangguhkan qishash tersebut dan mengatakan pada rombongan delegasi di Madinah bahwa pembunuhan Usman
bukanlah kriminal melainkan tragedi politik. Perbedaan pandangan inilah perang pun tak terhindarkan. Perang ini disebut perang Jamal yang memakan
korban kurang lebih 10 ribu dari kedua pihak termasuk Zubair dan Talhah pun ikut terbunuh.

Tantangan kedua berasal dari Muawiyah dan keluarga dekat Usman. Sebagaimana Zubair dan Talhah, mereka tidak mau mengikuti Ali sebagai
khalifah, mereka menuntut kepada Ali agar menghukum pembunuh-pembunuh Usman. Salah seorang dari pemberontak Mesi r yang membunuh Usman
adalah Muhammda ibn Abu Bakar, anak angkat dari Ali sendiri yang sebelumnya diangkat menjadi gubernur Mesir. Isteri Usman, Nailah sendiri mengatakan
hal yang serupa saat rumahnya diserbu, namun Muhammad ibn Abu Bakar membantah keras telah membunuh Usman sampai ia bersumpah atas nama
Allah meskipun ia akui ia berada disana saat kejadian tersebut. Karena ketidakjelasan ini Ali tidak mengambil tindakan yang keras terhadap masalah ini. Hal
ini akhirnya mengindikasi bahwa Ali turut campur dalam persoalan pembunuhan Usman ibn Affan.
Perselisihan inipun mengakibatkan perang yang disebut Perang Shiffin. Dan di dalam perang inilah peristiwa tahkim terjadi. Karena pada saat itu
Muawiyah telah terdesak tapi tangan kanannya yang bernama Amr bin al-Ash yang terkenal licik meminta damai dengan mengangkat mushaf Al-Quran
keatas.

Disisi lain, pihak Ali terbagi menjadi dua kubu. Ada yang menyarankan Ali untuk tidak menerima pemberhentian perang sampai ada kejelasan siapa
yang kalah dan siapa yang menang, ada juga yang mengatakan untuk menerima ajakan damai Muawiyah.

Sebenarnya, Ali tidak mau menerima ajakan damai tersebut, namun. Ali memiliki ide melakukan islah sesuai dengan perintah AL-Quran jika terjadi
perselisihan. Akhirnya semua pihak Ali sepakat untuk menjari jalan damai dengan mengadakan arbitrase. Dalam artian khusus, arbitrase merupakan
perjanjian damai antara pihak Muawiyah dengan pihak Ali ibn Abi Thalib saat terjadi perang Shiffin. Ini disebut juga dengan istilah Tahkim. Setelah proses
tahkim berakhir dan diperoleh kemenangan dari kaum Muawiyah kelompok Ali terbagi menjadi dua, ada yang tetap setia mendukung Ali, ada juga yang
keluar dari barisan Ali dan menyudutkan Ali. Mereka memandang bahwa Ali telah berbuat salah dan dosa besar karenamenyerahkan ketetapan hukum
kepada manusia melalui arbitrase yang mereka lakukan tadi. Golongan mereka inilah yang kemudian dalam sejarah Islam dikenal dengan nama Khawarij,
yaitu orang-orang yang keluar dari barisan Ali karena merasa kecewa atas hasil tahkim.
 Setelah memisahkan diri dari Ali, lalu mereka berkumpul dan memilih Abdullah ibn Abi Wahab Al-Rasidi menjadi Imam mereka sebagai pengganti Ali.
Dan dengan berbagai konflik dan pertempuran yang terjadi antara keduanya berakhir pada kematian Ali yang dibunuh oleh seorang Kharij yang bernama
Abd al-Rahman ibn Muljiah. Sementara Muawiyah tetap berkuasa dan dapat dengan mudah memperoleh pengakuan sebagai khalifah umat Islam pada
tahun 661 M.