MODEL

MARKOV
Model Markov adalah model stokastik yang digunakan untuk memodelkan sistem yang
berubah secara acak dimana diasumsikan keadaan (state) yang akan datang bergantung
hanya pada keadaan sekarang dan tidak bergantung pada urutan kejadian (event) yang
mendahuluinya.
Terdapat empat model Markov yang digunakan pada kondisi berbeda yaitu :
1. Markov chain
Rantai Markov memodelkan state dari sebuah sistem dengan peubah acak yang
berubah terhadap waktu. Pada situasi ini properti Markov menyarankan
bahwa distribusi untuk peubah bergantung hanya pada distribusi state
sebelumnya.
2. Hidden Markov model
Model Markov tersembunyi adalah rantai Markov untuk sistem dengan state
yang hanya teramati secara parsial (partially observable). Penggunaan model
Markov tersembunyi antara lain pada pengenalan ucapan, dimana data
teramati adalah gelombang suara ucapan dan state tersembunyi adalah teks
yang terucapkan.
3. Markov decision process
Proses keputusan Markov adalah rantai Markov dengan transisi state
bergantung pada state sekarang dan sebuah vektor aksi yang diterapkan pada
sistem. Umumnya, proses keputusan Markov digunakan untuk menghitung
sebuah kebijakan dari aksi yang akan memaksimalkan beberapa utilitas
dengan memperhatikan keuntungan yang diperkirakan.
4. Partially observable Markov decision process (POMDP)
POMDP adalah proses keputusan Markov yang mana state dari sistem hanya
teramati sebagian. Proses keputusan Markov ini digunakan antara lain pada
pengendalian agent atau robot.
 
 Analisis rantai
Markov
Analisis rantai Markov adalah suatu metode yang mempelajari sifat-sifat suatu
peubah pada masa sekarang yang didasarkan pada sifat-sifatnya di masa lalu dalam
usaha menaksir sifat- sifat peubah tersebut dimasa yang akan datang. Dalam banyak
kasus, Analisis Markov akan menuju suatu kondisi keseimbangan (Steady State),
yaitu suatu kondisi di mana setelah proses markov berjalan selama beberapa periode,
maka akan diperoleh nilai probabilitas suatu state akan bernilai tetap.