Muawiyah ibn abi sufyan, gubernur syiria, yang sejak awwal selalu berseberangan dengan Ali juga mengharapkan
kekuasaan dan memanfaatkan keadaan yang ditimbulkan oleh pembunuh Utsman itu untuk kepentingan sendiri.
Persaingan keduanya bahkan sudah terjadi sejak nenek moyang mereka, yakni bani Umayyah dan bani Hasyim[4]
Kedua pasukan itu berhadapan dimedan siffin. Khalifah Ali mau menghindari pertumpahan darah umat islam dan mau
menyelesaikan itu dengan jalan damai. Karena penyelesaian dengan jalan damai menemukan kegagalan, pertempuran
pun meletus. Pertempuran terjadi beberapa hari lamanya. Ali dengan kepribadiannya dapat membangkitkan semangat
dan kekuatan laskarnya, sehingga kemenangan sudah membayang baginya. Muawiyah su dah cemas dan kehilangan
akal. Muawiyah yang cerdik, atas nasihat Amr ibn Ash sekutunya yang cerdik, mengikatkan Al Quran pada ujung tombak
tentaranya dan dengan demikian menuntut agar perselisihan itu diselesaikan menurut Al Quran.
Seruan lascar Muawiyah mendapat sambutan hangat dari lascar Ali. Banyak diantara mereka yang tadinya hendak
meneruskan peperangan, akan tetapi oleh karena keadaan mereka telah morat -marit,lantas memperkenankan seruan
itu.setelah pertempuran berhenti, diputuskan bahwa perselisihan itu harus diselesaikan oleh dua orang penengah
sebagai wasit. Muawiyah mengangkat sahabatnya, Amr ibn ash yang cerdik, untuk menjadi peneng ah dari pihaknya.
Pihak Ali diwakili oleh Abu musa Al Asy’Ari, yang bukan tandingannya. Kedua penengah itu massing – masing dibantu
oleh 400 orang dan seandainya para penengah itu tidak bias tidak bias menyelesaikan persoalan, masalah itu akan
diputuskan dengan suara mayoritas
Namun dengan siasat dan tipu muslihat Amr ibn Ash, akhirnya pihak Ali keluar sebagai yang kalah, dan muawiyah
keluar sebagai pemenang. Ali harus melepaskan kekhalifahannya, tetapi Muawiyah tidak demikian. Peristiwa itu
membuat muawiyah seorang gubernur yang memberontak mempuntai kedudukan yang sama dengan kholifah Ali[5]
Penyelesaian kompromi Ali dengan Muawiyah tidak menguntungkan bagi Ali, karena hal tersebut menimbulkan
pecahnya kaum muslimin, sehingga kepemimpinan Ali semakin lemah dan Muawiyah semakin kuat. Selain itu, dalam hal
keuangan, sumber-sumber kekayaan dan tenaga manusia pun muawiyah juga memiliki sumber-sumber yang kaya di
syiria dan memiliki dukungan yang tangguh dari keluarga
Pada tanggal 20 ramadhan 40 H. (660 M). Ali terbunuh oleh salah seorang anggota khawarij. Kemudian kedudukan Ali
sebagai kholifah dijabat oleh anaknya Hasan selama beberapa bulan. Namun, karena Hasan ternyata lemah, sementara
Muawiyah semakin kuat, maka hasan mambuat perjanjian damai. Perjanjian ini dapat mempersatukan umat islam
kembali dalam satu kepemimpinan politik, di bawah Muawiyah ibn Abi Sufyan. Disisi lain, perjanjian itu mnyebabkan
muawiyah menjadi penguasa absolut dalam islam. Tahun 41 H/661 M.., tahun persatuan itu dikenal dalam sejarah
sebagai tahun jamaah (am jama’ah) . jadi am jama’ah adalah tahun persatuan antara Hasan dan muawiyah, artinya
bahwa antara mereka tidak terjadi perebutan kekuasaan dan berdamai serta menjalankan pemerintahan dalam satu
kepemimpinan.
Dengan demikian berakhirlah apa yang disebut dengan al khulafa’ar Rasyidin. Dan dimulailah kekuasaan bani umayyah
dalam sejarah politik.[6].