Sistem khilafah pertama kali terbentuk dengan dinobatkannya Abu Bakar sebagai khalifah. Nabi
Muhammad saw tidak menunjuk seseorang sebagai penggantinya. Sedang kepentingan akan
kepemimpinan untuk menegakkan kesatuan ummat Islam dan stabilitas negara mutlak diperlukan.
Pada saat itu kelompok masyarakat Anshor menyelenggarakan musyawarah nasional untuk memilih
seorang pemimpin. Setelah melalui musyawarah, akhirnya tercapai kesepakatan memilih Abu Bakar
sebagai khalifah.
Sekalipun Abu Bakar terpilih dalam sebuah musyawarah yang hanya melibatkan sebagian kecil tokoh
muslim, namun pada hari berikutnya hasil keputusan tersebut dikukuhkan dalam pertemuan yang lebih
besar di masjid Madinah. Pola pemerintahan khilafah al-rasyidun yang terpenting yaitu sistem
pengangkatan khalifah. Keempat khalifah al-rasyidun dipilih melalui cara yang hampir sama. Pola
pemilihan dilakukan melalui dua tahap pemilihan. Tahap pertama adalah pemilihan figur khalifah dan
tahap kedua adalah pengukuhan keabsahan khalifah terpilih melalui janji kesetiaan yang dilakukan oleh
seluruh masyarakat yang hadir. Bagi mereka yang semula tidak setuju atas seorang figur khalifah, harus
menerima hasil musyawarah tersebut. Sikap ini diperlihatkan oleh Ali. Pada awalnya Ali tidak setuju Abu
Bakar sebagai calon khalifah, namun setelah hasil musyawarah diberlakukan, Ali menerima dan
mendukung Abu Bakar sebagai khalifah.
-----------------------
Khalifah adalah jabatan kepala tertinggi pemerintahan Islam yang dipilih oleh rakyat melalui musyawarah.
Saat itu belum ada konstitusi yang membatasi kekuasaan politik seorang khalifah, tidak berarti
kekuasaan khalifah tidak terbatas. Seorang khalifah wajib menjalankan pemerintahan sesuai dengan
petunjuk al-Qur'an dan Sunnah Nabi. Khalifah tidak menjalankan fungsi kenabian dan mereka diwajibkan
menerapkan aturan dan hukum syariat Islam.
Tugas utama khalifah dalam hal keagamaan diantaranya yaitu memimpin shalat Jum'at dan
menyampaikan khutbah Jum'at di masjid Nabawi. Imam dalam shalat Jum'at merupakan fungsi
kepemimpinan keagamaan dan politik. Selain sebagai kapala negara, khalifah juga menjabat sebagai
panglima tertinggi angkatan bersenjata. Ia berwenang mengerahkan pasukan untuk menahan serangan
dari musuh, memerintahkan diadakannya ekspedisi pasukan Islam, mengangkat dan memberhentikan
para jenderal. Khalifah biasanya mengadakan musyawarah dalam hal pengangkatan jenderal dan
pengerahan ekspedisi pasukan Islam. Fungsi eksekutif dan yudikatif mulai dipisahkan ketika masa
pemerintahan khalifah Umar Ibn Khattab karena semakin banyaknya tugas eksekutif. Sejak kekuasaan
kehakiman menjadi mandiri, khalifah Umar mengangkat seseorang untuk menjadi hakim di setiap
propinsi dalam wilayah pemerintahannya.
-----------------------
Khalifah juga berwenang untuk mengatur pengumpulan zakat, pajak, pembangunan sistem pengairan
dan pekerjaan umum lainnya untuk kemakmuran dan kesejahteraan rakyat. Sekalipun khalifah
mempunyai kekuasaan, mereka selalu mengadakan musyawarah dalam menjalankan tugas-tugas
pemerintahan. Lembaga yang menjalankan fungsi permusyawaratan dinamakan Majelis Syura. Lembaga
ini merupakan salah satu dari pelaksanaan syariat Islam. Karena pentingnya prinsip permusyawaratan
ini, khalifah Umar Ibn Khattab pernah menegaskan dengan perkataannya, "Tidak ada kekilafahan kecuali
berdasarkan prinsip permusyawaratan." Lembaga permusyawaratan bertugas menyampaikan saran dan
pertimbangan kepada khalifah dalam menjalankan tugas-tugasnya. Hal yang masih terabaikan pada saat
itu adalah belum adanya ketentuan yang mengatur siapa yang berhak menjadi anggota majelis syura.
Pertemuan majelis syura saat itu hanya diselenggarakan berdasarkan inisiatif dari khalifah.
-----------------------
Khilafa' al-Rasyidun menjalani kehidupan sederhana dan bersifat terbuka. Sekalipun wilayah kekuasaan
Islam semakin bertambah luas dan negara bertambah kaya, tidak seorang pun diantara khalifah yang
empat ini hidup dalam kemewahan. Mereka tidak ada yang membangun istana, mereka tinggal tinggal di
perkampungan sebagaimana rakyat pada umumnya. Mereka tidak memasang pengawal untuk menjaga
keamanan rumahnya dan dirinya, sekalipun mereka terancam oleh tajamnya pedang musuh. Dapat
dikatakan pada masa pemerintahan khilafa' al-Rasyidun yang demokratis ini merupakan masa-masa
emas dan masa terpenting dalam sejarah Islam.