Markov Chain

Kismanto Prihantoro
Mahasiswa Jurusan TeknikIndustri, Universitas Gunadarma
E-mail : st_hanz@yahoo.om
Abstrak
Prinsipnya, ketika kita mengamati rangkaian probabilitas percobaan, semua hasil masa
lalu bisa mempengaruhi prediksi untuk percobaan berikutnya. Tahun 1907, A.A. Markov mulai
mempelaari teori baru yang yang berkaitan dengan probabilitas, dalam proses ini hasil
percobaan tertentu dapat mempengaruhi hasil percobaan berikutnya. Makalah ini akan
membahas apakah proses stokastik itu, yang merupakan dasar dari Markov !hain, bagaimana
prinsip dasar, teorema yang berlaku, status"status Markov !hain, lalu bagaimana penerapan atau
aplikasinya. !ontoh studi kasus mendapatkan hasil yaitu perkiraan ramalan cuaca pada hari
#enin $ %&'
) 1484 . , 42 . , 4316 (. ) 2 ( ) 3 ( = = P
, maka ()* peluang akan cerah, ()*
akan bera+an, dan 1,* huan.
Kata kuni: markov chain, stokastik, state
!. P"#$%&U'U%#
!.! 'atar (e)akan*
Sebagian besar penelitian probabilitas menangani proses percobaan
independen, ini merupakan proses dasar teori probabilitas klasik dan mengarah ke
statistik. Kita telah melihat bahwa ketika urutan eksperimen membentuk
independen maka hasil yang mungkin untuk setiap percobaan adalah sama dan
terjadi dengan probabilitas yang sama. Lebih lanjut, pengetahuan dari hasil
percobaan sebelumnya tidak mempengaruhi hasil berikutnya percobaan. Teori
probabilitas modern memungkinkan mengetahui pengaruh hasil sebelumnya
untuk memprediksi hasil percobaan selanjutnya. Prinsipnya, ketika kita
mengamati rangkaian probabilitas percobaan, semua hasil masa lalu bisa
mempengaruhi prediksi untuk percobaan berikutnya. Oleh karena itu dalam
makalah ini akan menjelaskan lebih jauh tentang teori tersebut, yaitu Proses
Marko berupa Markov !hain dan penerapan teori tersebut.
!.+ Perumusan Masa)ah
Markov !hain sangat berkaitan erat dengan teori probabilitas. !ntuk
memberikan dasar analisis terlebih dahulu kita harus mengetahui asumsi, de"inisi,
sampai beberapa teorema yang diperlukan. Maka masalah yang akan dalam
makalah ini adalah apakah proses stokastik itu yang merupakan dasar dari
Markov !hain, bagaimana prinsip dasar, teorema yang berlaku, statys#status
Markov !hain, lalu bagaimana penerapan atau aplikasinya
!., Tu-uan Penu)isan
Tujuan pembuatan makalah tentang Markov !hain ini adalah sebagai
berikut$
%. Mengetahui proses#proses stokastik
&. Mengetahui prinsip dasar Markov !hain
'. Mengetahui teorema# teorema yang berlaku pada Markov !hain
(. Mengetahui status#status Markov !hain,
). Mengaplikasikan perhitungan Markov !hain
!. '%#$%.%# T"/0I
+.! .e-arah Markov Chain
Markov !hain baru diperkenalkan sekitar tahun %*+,, oleh seorang
Matematisi -usia .ndrei .. Marko /%0)1#%*&&2. .ndrey Marko menghasilkan
hasil pertama /%*+12 untuk proses ini, murni secara teoritis. Sebuah generalisasi
ke bentuk tak terbatas dalam ruang diskrit diberikan oleh Kolmogoro /%*'12.
-antai Marko terkait dengan gerakan 3rown dan ergodic hipotesis, dua topik
dalam "isika yang penting dalam tahun#tahun awal abad ke#&+, tetapi tampaknya
Marko lebih "okus pada perluasan hukum bilangan besar dalam percobaaan#
percobaaan. Model ini berhubungan dengan suatu rangkaian proses dimana
kejadian akibat suatu suatu eksperimen hanya tergantung pada kejadian yang
langsung mendahuluinya dan tidak tergantung pada rangkaian kejadian sebelum#
sebelumnya yang lain. Pada %*%', ia menerapkan temuannya untuk pertama
kalinya untuk &+.+++ pertama Pushkin huru" 45ugene Onegin4.
+.+ Proses %ak
Pengelompokkan tipe populasi dari proses acak bisa digambarkan sebagai
jika 6 adalah proses acak, maka populasi dari proses acak adalah semua nilai
yang mungkin yang bisa dimasukkan dalam suatu proses contohnya
} { T t untuk y t X y S = = , ) ( :
7ika 6 adalah proses acak yang menggambarkan suatu persamaan, maka populasi
dari 6 dapat digambarkan sebagai suatu nilai yang memenuhi persamaan tersebut.
7ika populasi dari S dari suatu proses acak 6 dapat dihiting /contoh #-.1,),&,.../2,
dalam hal ini 6 disebut 0iscrete Time 1andom Process perubahan state terjadi
pada titik#titik integer. 7ika populasi dari S dari suatu proses acak 6 tidak dapat
dihitung / contoh # - 22 maka 6 disebut !ontinuous Time 1andom Process
perubahan state /discrete state2 terjadi pada sembarang waktu.
Markov !hain merupakan proses acak di mana semua in"ormasi tentang
masa depan terkandung di dalam keadaan sekarang /yaitu orang tidak perlu
memeriksa masa lalu untuk menentukan masa depan2. !ntuk lebih tepatnya,
proses memiliki properti Marko, yang berarti bahwa bentuk ke depan hanya
tergantung pada keadaan sekarang, dan tidak bergantung pada bentuk sebelumnya.
8engan kata lain, gambaran tentang keadaan sepenuhnya menangkap semua
in"ormasi yang dapat mempengaruhi masa depan dari proses eolusi. Suatu
Markov !hain merupakan proses stokastik berarti bahwa semua transisi adalah
probabilitas /ditentukan oleh kebetulan acak dan dengan demikian tidak dapat
diprediksi secara detail, meskipun mungkin diprediksi dalam si"at statistik2,
/+++.+ikipedia.org'.
+., Konse1 $asar Markov Chain
.pabila suatu kejadian tertentu dari suatu rangkaian eksperimen
tergantung dari beberapa kemungkinan kejadian , maka rangkaian eksperimen
tersebut disebut Proses Stokastik.
Sebuah rantai Marko adalah suatu urutan dari ariabel#ariabel acak 3
%,
3
&,
3
',......
dengan si"at Marko yaitu, mengingat keadaan masa depan dan masa
lalu keadaan yang independen, dengan kata lain$
9ilai yang mungkin untuk membentuk 3
i
# disebut ruan* keadaan rantai.
Markov !hain adalah sebuah Proses Marko dengan populasi yang diskrit
/ dapat dihitung2 yang berada pada suatu discrete state %position' dan dii:inkan
utk berubah state pada time discrete. .da beberapa macam ariasi dari bentuk
rantai marko
%. !ontinuous Markov memiliki indeks kontinu.
&. Sisa rantai Marko homogen /rantai Marko stasioner2 adalah proses di mana
untuk semua n. Probabilitas transisi tidak tergantung dari n.
'. Sebuah rantai Marko orde m di mana m adalah terbatas,
8engan kata lain, keadaan selanjutnya tergantung pada keadaan m
selanjutnya. Sebuah rantai %4
n'
dari %3
n'
yang memiliki ;klasik; Marko
properti sebagai berikut$ 5iarkan
4
n <
%3
n,
3 n #%,
..., 3
n # m %
2, yang
memerintahkan m"tupel dari nilai#nilai 3. Maka 4
n
adalah sebuah rantai
Marko dengan ruang keadaan #
m
dan memiliki klasik properti Marko.
(. Sebuah aditi" rantai Marko order m di mana m adalah terbatas adalah
untuk semua n6 m.
Status#statusnya adalah$
1. 1eachable #tate
Status reachable dari status i apabila dalam rantai dpat terjadi transisi dari
status i ke status melalui sejumlah transisi berhingga=
Terdapat n, 0 7 n 7 2, sehingga P
n
i
6 0
&. 8rreduceable !hain
7ika dalam suatu rantai Marko setiap status reachable dari setiap status
lainnya, rantai tersebut adalah irreduceable.
'. Periodic #tate
Suatu status i disebut periodic dengan peroda d 6 1, jika p
n
ii
6 0, hanya untuk
n < d, &d, 'd,. . .= sebaliknya jika p
n
ii
6 0, hanya untuk n < %, &, ', ... maka
status tersebut disebut aperiodic.
(. Probability o9 :irst 1eturn
Probabilitas kembali pertama kalinya ke status i terjadi dalam n transisi
setelah meninggalkan i.
[ ] i X n k untuk i X i X P f
k n
n
i
= = = =
0
) (
1 ,....., 2 , 1 ,
/note$ 9
i
%0'
dide"inisikan < % untuk semua i2
). Probability o9 ;ver 1eturn
Probabilitas akan kembalimya ke status i setelah sebelumnya meninggalkan i.
=

1
) (
n
n
i
i
f f
1. Transient #tate
Suatu status disebut transient jika probabilitas 9
i
< 1= yaitu bahwa setelah dari
i melalui sejumlah transisi terdapat kemungkinan tidak dapat kembali ke i.
,. 1ecurrent #tate
Suatu status disebut recurrent jika probabilitas 9
i
- 1= yaitu bahwa setelah dari
i melalui sejumlah transisi selalu ada kemungkinan untuk kembali ke i.
0. Mean 1ecurrent Time o9 #tate
!ntuk suatu status recurrent, jumlah step rata#rata untuk kembali ke status i
=

1
) (
n
n
i
i
nf m
*. >ull 1ecurrent #tate
Suatu 1ecurrent #tate disebut recurrent null jika m
i
- 2
%+. Positive 1ecurrent #tate
Suatu recurrent state disebut positive recurrent atau recurrent nonnull
jika m
i
< 2
%%. !ommunicate #tate
8ua status, i dan , dikatakamn berkomunikasi jika i reachable dari dan juga
reachable dari i = ditulis dengan notasi
j i
%&. ;rgodic
-antai Marko disebut ergodic jika, irreduceable, aperiodic, dan seluruh
status positive recurrent
+.2 Teorema3Teorema
+.2.! Teorema men*enai 0e)asi "kova)ensi
a. -elasi i <?6 merupakan relasi ekuialen
%. untuk setiap status i , berlaku i >?@ i
&. jika i <?6 , maka juga >?@ i
'. jika i <?6 dan <?6 k maka i <?6 k
b. Status#status suatu -antai Marko dapat dipartisi kedalam kelas#kelas
ekialensi sehingga i <?6 , jika dan hanya jika i dan berada dalam
kelas ekialensi yang sama.
c. Suatu -antai Marko irreducible jika dan hanya jika didalamnya hanya
terdiri atas tepat satu kelas ekialensi.
d. 7ika i<?6 , maka i dan memiliki periode yang sama.
e. !ntuk i<?6 , jika i recurrent maka juga recurrent.
+.2.+ Teorema men*enai Irredui4)e
7ika A6nBsuatu rantai Marko, maka tepat salah satu kondisi berikut ini
terjadi$
a. Semua status adalah positi" recurrent
b. Semua status recurrent null
c. Semua status trancient
+.2., Teorema men*enai 'imitin* Pro4a4i)ity
8e"inisi$ C
j
/n2
adalah probabilitas suatu -antai Marko A 6
n
Bberada dalam
status pada step ke n. Maka C
j
/n2
< PD 6
n
< E
8istribusi awal / initial 2 dari masing#masing status +, %, &, FF dinyatakan
sebagaiC
j
/+2
< PD 6
+
< E, untuk j < +, %, &, FF
Suatu rantai Marko memiliki distribusi probabilitas stasioner C < /C
+,
C
%
, C
&
, ....,
C
n
2 apabila terpenuhi persamaan C < C

P asalkan setiap C
i
G + dan H
i
C
i
<%.
7ika suatu rantai Marko homogen waktu /stasioner dari waktu ke waktu2 yang
irreducible, aperiodic, maka limit probabiltasnya
) (
lim
n
j
n
j


=
, untuk < +, %, ......
selalu ada dan independent dari distribusu probabilitas status awal C
/+2
< /C
+
/+2
, C
%
/+2
, C
&
/+2
, F..2.
7ika seluruh status tidak positi" recurrent /jadi seluruhnya recurrent null atau
seluruhnya transient2, maka C
j

< + untuk semua dan tidak terdapat distribusi
probabilitas stasioner.
5. %'IK%.I $%# P"M(%&%.%#
5.! %1)ikasi
5.!.! 6isika
Sistem Markoian muncul secara luas dalam termodinamika dan mekanika
statistik, probabilitas setiap kali digunakan untuk mewakili unmodelled diketahui
atau rincian dari sistem, jika dapat diasumsikan bahwa dinamika waktu#inarian,
dan bahwa tidak ada sejarah yang relean perlu dipertimbangkan yang tidak sudah
termasuk di keadaan bagian deskripsi.
5.!.+ Kimia
Sebuah algoritma yang berdasarkan rantai Marko digunakan untuk
mem"okuskan pertumbuhan berdasarkan "ragmen#bahan kimia di silico menuju
kelas yang diinginkan dari senyawa seperti obat#obatan atau produk alami.
Sebagai molekul tumbuh, sebuah "ragmen dipilih dari molekul baru lahir sebagai
4saat ini4 keadaan. Ial ini tidak menyadari masa lalu /yaitu, tidak menyadari apa
yang sudah terikat untuk itu2. Jni kemudian transisi ke keadaan berikutnya ketika
sebuah "ragmen yang melekat padanya.
5.!., Pen*u-ian
3eberapa teoretikus telah mengusulkan gagasan tentang rantai Marko uji
statistik /MKST2, sebuah metode Marko conjoining rantai untuk membentuk
suatu ;Marko selimut;, mengatur rantai ini di beberapa lapisan rekursi"
/ ;wa"ering;2 dan memproduksi lebih e"isien set uji # sampel # sebagai pengganti
pengujian lengkap. MKST juga memiliki kegunaan dalam keadaan dunia berbasis
jaringan= Khilukuri et al. ;S makalah berjudul 4Temporal Ketidakpastian Penalaran
3ukti 7aringan untuk .plikasi untuk Lusion dengan Obyek 8eteksi dan
Pelacakan4 /Science8irect2 memberikan latar belakang yang sangat baik dan studi
kasus untuk menerapkan MKSTs ke lebih beragam aplikasi.
5.!.5 Teori Queueing
-antai Marko juga dapat digunakan untuk model berbagai proses dalam
teori @ueueing , dan statistik. Seperti model ideal dapat menangkap banyak
statistik keteraturan sistem. 3ahkan tanpa menjelaskan struktur penuh dari sistem
sempurna, seperti model#model sinyal dapat sangat e"ekti" memungkinkan
kompresi data melalui pengkodean entropi teknik seperti pengkodean aritmatika.
Mereka juga memungkinkan e"ekti" estimasi keadaan dan pengenalan pola.
8unia sistem telepon selular tergantung pada algoritma Miterbi untuk kesalahan#
koreksi, sementara model Marko tersembunyi adalah secara ekstensi" digunakan
dalam pengenalan suara dan juga dalam bioin"ormatika, misalnya untuk daerah
pengkode N gen prediksi
5.!.2 .tatistik
Metode -antai Marko juga menjadi sangat penting untuk menghasilkan
angka acak urutan mencerminkan secara akurat distribusi probabilitas sangat
rumit yang diinginkan, melalui proses yang disebut rantai Markov Monte !arlo
%M!M!'. 8alam beberapa tahun terakhir ini telah mereolusionerkan kepraktisan
8n9erensi 5ayesian metode, yang memungkinkan berbagai distribusi posterior
menjadi simulasi dan parameter yang ditemukan secara numerik.
5.!.7 I)mu sosia)
-antai Marko biasanya digunakan dalam menggambarkan argumen, di
mana saat ini kondisi kon"igurasi struktural hasil masa depan. Kontoh adalah
umumnya berpendapat hubungan antara pembangunan ekonomi dan bangkitnya
demokrasi. Sekali suatu keadaan mencapai tingkat tertentu perkembangan
ekonomi, kon"igurasi "aktor struktural, seperti ukuran borjuis komersial, rasio
tinggal di pedesaan perkotaan, tingkat politik mobilisasi, dll, akan menghasilkan
probabilitas yang lebih tinggi transisi dari otoriter aturan demokratis
5.+ Pem4ahasan
Kuaca kota 3ekasi dapat diperkirakan sebagai berikut
%. 7ika hari ini cerah maka besok akan berpeluang 1+O cuaca cerah, '+O
berawan, dan %+O akan turun hujan.
&. 7ika hari ini berawan maka besok akan berpeluang (+O cuaca cerah, ()O
berawan, dan %)O akan turun hujan.
'. 7ika hari ini hujan maka besok akan berpeluang %)O cuaca cerah, 1+O
berawan, dan &)O akan turun hujan
7ika pada hari 7umat hujan maka perkiraan cuaca hari SeninP
Terlihat jelas bahwa perkiraan cuaca dapat diselesaikan dengan 0iscrete Time
Markov !hain
%. Proses selanjutnya hanya tergantung pada proses saat ini.
&. Qaktu diskrit dan populasi diskrit.
'. Stasioner dari waktu ke waktu
8iscrete Time Markov !hain terdapat ' "ase, kita misalkan %< cerah, &< berawan,
'< hujan, dan sebelum hari 7umat kita anggap +, maka
) 1 , 0 , 0 ( ) 0 ( =

=
25 . 6 . 15 .
15 . 45 . 4 .
1 . 3 . 6 .
P
Matrik transisi
Kuaca pada hari Sabtu C /%2
( ) 25 . , 6 . , 15 .
25 . 6 . 15 .
15 . 45 . 4 .
1 . 3 . 6 .
) 1 , 0 , 0 ( ) 0 ( ) 1 ( =

= =
maka %)O peluang akan cerah, 1+O akan berawan, dan &)O hujan
Kuaca pada hari Minggu C /&2
( ) 1675 . , 465 . , 3675 .
25 . 6 . 15 .
15 . 45 . 4 .
1 . 3 . 6 .
) 25 . , 6 . , 15 (. ) 1 ( ) 2 ( =

= = P
Kuaca pada hari Senin C /'2
) 1484 . , 42 . , 4316 (. ) 2 ( ) 3 ( = = P
maka (&O peluang akan cerah, (&O akan berawan, dan %)O hujan
.kan sangat berman"aat menampilkan 0iscrete Time Markov !hain secara gra"is.
Lingkaran melambangkan "ase dan anak panah diberi angka peluang yang akan
terjadi, dari soal diatas model gra"iknya
2. K".IMPU'%#
Kesimpulan yang dapat diambil pada penulisan makalah tentang Markov
!hain adalah$
%. Proses stokastik adalah suatu kejadian tertentu dari suatu rangkaian
eksperimen tergantung dari beberapa kemungkinan kejadian.
&. Prinsip dasar Markov !hain adalah sebuah Proses Marko dengan populasi
yang diskrit / dapat dihitung2 yang berada pada suatu discrete state %position'
dan dii:inkan untuk berubah state pada time discrete. Sebuah rantai Marko
adalah suatu urutan dari ariabel#ariabel acak 6
%,
6
&,
6
',......
dengan si"at
Marko yaitu, mengingat keadaan masa depan dan masa lalu keadaan yang
independen, dengan kata lain$
9ilai yang mungkin untuk membentuk 6
i
S disebut ruan* keadaan rantai.
'. Teorema# teorema yang berlaku pada Markov !hain yaitu teorema mengenai
-elasi 5koalensi, teorema mengenai 8rreducible, teorema mengenai Aimiting
Probability
(. Status#status Markov !hain adalah 1eachable #tate, 8rreduceable !hain,
Periodic #tate, Probability o9 :irst 1eturn, Probability o9 ;ver 1eturn,
Transient #tate, 1ecurrent #tate, Mean 1ecurrent Time o9 #tate, >ull
1ecurrent #tate, Positive 1ecurrent #tate, !ommunicate #tat, dan ;rgodic.
). Perhitungan Markov !hain didapatkan hasil cuaca pada hari Senin C /'2
) 1484 . , 42 . , 4316 (. ) 2 ( ) 3 ( = = P
maka (&O peluang akan cerah, (&O akan berawan, dan %)O hujan
7. $%6T%0 PU.T%K%
Teks klasik in Translation$ .. Marko. #ebuah !ontoh #tatistik 8nvestigasi Teks
;ugene Bnegin Mengenai Coneksi #ampel in !hains, ter. 8aid Link.
Sains dalam Konteks
7L, 8oob. #tochastic Processes. 9ew Rork$ 7ohn Qiley and Sons
5. 9ummelin. DEenderal direduksikan rantai Markov dan non"operator negati9D.
Kambridge !niersity Press
+++.+ikipedia.org
+++.google.com%Markov !hain'
MatematikaCyberBoardSOS.