Abstrak

Prinsipnya, ketika kita mengamati rangkaian probabilitas percobaan,

semua hasil masa lalu bisa mempengaruhi prediksi untuk percobaan
berikutnya. Tahun 1907, A.A. Markov mulai mempelajari teori baru
yang yang berkaitan dengan probabilitas, dalam proses ini hasil
percobaan tertentu dapat mempengaruhi hasil percobaan berikutnya.
Makalah ini akan membahas apakah proses stokastik itu, yang
merupakan dasar dari Markov Chain, bagaimana prinsip dasar,
teorema yang berlaku, status-status Markov Chain, lalu bagaimana
penerapan atau aplikasinya. Contoh studi kasus mendapatkan hasil
yaitu perkiraan ramalan cuaca pada hari Senin 42% peluang akan
cerah, 42% akan berawan, dan 15% hujan.

Kata kunci: markov chain, stokastik, state

1.         Latar Belakang

Sebagian besar penelitian probabilitas menangani proses percobaan

independen, ini merupakan dasar teori probabilitas klasik dan
mengarah ke statistik. Kita telah melihat bahwa ketika urutan
eksperimen membentuk independen maka hasil yang mungkin untuk
setiap percobaan adalah sama. Lebih lanjut, pengetahuan dari hasil
percobaan sebelumnya tidak mempengaruhi hasil berikutnya. Teori
probabilitas modern memungkinkan mengetahui hasil sebelumnya
untuk memprediksi hasil percobaan selanjutnya. Prinsipnya, ketika
kita mengamati rangkaian probabilitas percobaan, semua hasil masa
lalu bisa mempengaruhi prediksi untuk percobaan berikutnya. Oleh
karena itu dalam makalah ini akan menjelaskan lebih jauh tentang
teori tersebut, yaitu Proses Markov berupa Markov Chain dan
penerapan teori tersebut.

2.         Landasan Teori

2.1       Sejarah Markov Chain

Markov Chain baru diperkenalkan  sekitar tahun 1907, oleh seorang

Matematisi Rusia Andrei A. Markov (1856-1922). Andrey Markov
menghasilkan hasil pertama (1906) untuk proses ini, murni secara
teoritis. Sebuah generalisasi ke bentuk tak terbatas dalam ruang
diskrit diberikan oleh Kolmogrov (1936). Rantai Markov terkait
dengan gerak Brown dan ergodic hipotesis dua topik dalam fisika
yang penting dalam tahun-tahun awal abad ke-20, tetapi tampaknya
Markov lebih fokus pada perluasan Hukum Bilangan Besar dalam
percobaaan-percobaaannya. Model ini berhubungan dengan suatu
rangkaian proses dimana kejadian akibat suatu suatu eksperimen
hanya tergantung pada kejadian yang langsung mendahuluinya  dan
tidak tergantung pada rangkaian kejadian sebelum-sebelumnya yang
lain. Pada 1913, ia menerapkan temuannya untuk pertama kalinya
untuk 20.000 pertama Pushkin huruf  ”Eugine Onegin”.

2.2       Proses Acak

Pengelompokkan tipe populasi dari proses acak bisa digambarkan

sebagai jika X adalah proses acak, maka populasi dari proses acak
adalah semua nilai yang mungkin yang bisa dimasukkan dalam suatu
proses contohnya

Jika X adalah proses acak yang menggambarkan suatu persamaan,

maka populasi dari X dapat digambarkan sebagai suatu nilai yang
memenuhi persamaan tersebut. Jika populasi dari S dari suatu proses
acak X dapat dihiting (contoh S={1,2,3,…}), dalam hal ini X disebut 
Discrete Time Random Process perubahan state  terjadi pada titik-titik
integer. Jika populasi dari S dari suatu proses acak X tidak dapat
dihitung ( contoh S = ∞) maka X disebut Continuous Time Random
Process perubahan state (discrete state) terjadi pada sembarang
waktu.

Markov Chain merupakan proses acak di mana semua informasi

tentang masa depan terkandung di dalam keadaan sekarang (yaitu
orang tidak perlu memeriksa masa lalu untuk menentukan masa
depan). Untuk lebih tepatnya, proses memiliki properti Markov yang
berarti bahwa bentuk ke depan hanya tergantung pada keadaan
sekarang, dan tidak bergantung pada bentuk sebelumnya. Dengan kata
lain, gambaran tentang keadaan sepenuhnya menangkap semua
informasi yang dapat mempengaruhi masa depan dari proses evolusi.
Suatu Markov Chain merupakan proses stokastik berarti bahwa semua
transisi adalah probabilitas (ditentukan oleh kebetulan acak dan
dengan demikian tidak dapat diprediksi secara detail, meskipun
mungkin diprediksi dalam sifat statistik),(www.wikipedia.org).

2.3       Konsep Dasar Markov Chain

Apabila suatu kejadian  tertentu dari suatu rangkaian  eksperimen
tergantung dari beberapa kemungkinan kejadian , maka rangkaian
eksperimen tersebut disebut Proses Stokastik. Sebuah rantai Markov
adalah suatu urutan dari variable-variabel acak  X 1, X 2, X 3,…… sifat
Markov yaitu, mengingat keadaan masa depan dan masa lalu keadaan
yang independen, dengan kata lain

nilai yang mungkin untuk membentuk Xi S disebut ruang keadaan

rantai. Markov Chain adalah sebuah Proses Markov dengan populasi
yang diskrit ( dapat dihitung) yang berada pada suatu discrete state
(position) dan diizinkan utk berubah state pada time discrete. Status-
statusnya adalah:

1. Reachable State

Status j reachable dari status i apabila dalam rantai dpat terjadi

transisi dari status i ke status j melalui sejumlah transisi berhingga;

Terdapat n, 0 ≤ n ≤ ∞, sehingga Pnij > 0

2.   Irreduceable Chain

Jika dalam suatu rantai Markov setiap status reachable dari setiap
status lainnya, rantai tersebut adalah irreduceable.

3.   Periodic State

Suatu status i disebut periodic dengan peroda d > 1, jika pnii > 0,
hanya untuk n = d, 2d, 3d,. . .; sebaliknya jika pnii > 0, hanya untuk n =
1, 2, 3, … maka status tersebut disebut aperiodic.

4.   Probability of First Return

Probabilitas kembali pertama kalinya ke status i terjadi dalam n

transisi setelah meninggalkan i.

(note: fi(0) didefinisikan = 1 untuk semua i)

5.   Probability of Ever Return

Probabilitas akan kembalimya ke status i setelah sebelumnya

meninggalkan i.

6.   Transient State

Suatu status disebut transient jika probabilitas fi < 1; yaitu bahwa

setelah dari i melalui sejumlah transisi terdapat kemungkinan tidak
dapat kembali ke i.

7.   Recurrent State

Suatu status disebut recurrent jika probabilitas fi = 1; yaitu bahwa

setelah dari i melalui sejumlah transisi selalu ada kemungkinan untuk
kembali ke i.

8.   Mean Recurrent Time of State

Untuk suatu status recurrent, jumlah step rata-rata untuk kembali ke
status i

9.   Null Recurrent State

Suatu Recurrent State disebut recurrent null jika mi = ∞

10. Positive Recurrent State

Suatu recurrent state disebut positive recurrent atau recurrent

nonnull jika mi <∞

11. Communicate State

Dua status, i dan j, dikatakamn berkomunikasi jika i reachable dari j

dan juga reachable dari i ; ditulis dengan notasi

12. Ergodic

Rantai Markov disebut ergodic jika, irreduceable, aperiodic, dan

seluruh status positive recurrent.

2.4       Teorema-Teorema

2.4.1    Teorema mengenai Relasi Ekovalensi

a. Relasi i <—> j merupakan relasi ekuivalen

1. untuk setiap status i , berlaku  i <—> i

2. jika i <—> j, maka juga j <—> i

3. jika i <—> j dan j <—> k maka i  <—> k

b. Status-status suatu Rantai Markov dapat dipartisi kedalam kelas-

kelas ekivalensi sehingga i  <—> j, jika dan hanya jika i dan j berada
dalam kelas ekivalensi yang sama.

c. Suatu Rantai Markov irreducible jika dan hanya jika didalamnya

hanya terdiri atas tepat satu kelas ekivalensi.

d. Jika i<—> j, maka i dan j memiliki periode yang sama.

e.  Untuk i<—> j, jika i recurrent maka juga j recurrent.

2.4.2    Teorema mengenai Irreducible

Jika {Xn}suatu rantai Markov, maka tepat salah satu kondisi berikut
ini terjadi:

1. Semua status adalah positif recurrent

2. Semua status recurrent null
3. Semua status trancient

2.4.3    Teorema mengenai Limiting Probability

Definisi: πj(n) adalah probabilitas suatu Rantai Markov { X n}berada

dalam status j pada step ke n. Maka

πj(n) = P[ Xn = j]

Distribusi awal ( initial ) dari masing-masing status 0, 1, 2, ……

dinyatakan sebagai
πj(0) = P[ X0 = j], untuk j = 0, 1, 2, ……

Suatu rantai Markov memiliki distribusi probabilitas stasioner π = (π 0,

π1, π2, …., πn ) apabila terpenuhi persamaan π = π P asalkan setiap πi ≥
0 dan ∑i πi =1.

Jika suatu rantai Markov homogen waktu (stasioner dari waktu ke

waktu) yang irreducible, aperiodic, maka limit probabiltasnya, untuk
j = 0, 1, ……selalu ada dan independent dari distribusu probabilitas
status awal π (0) = (π0(0) , π1(0) , π2(0), …..).

Jika seluruh status tidak positif recurrent (jadi seluruhnya recurrent

null atau seluruhnya transient), maka π j = 0 untuk semua j dan tidak
terdapat distribusi probabilitas stasioner.

4.         Aplikasi

4.1       Fisika

Sistem Markovian muncul secara luas dalam termodinamika dan

mekanika statistika probabilitas setiap kali digunakan untuk mewakili
unmodelled diketahui atau rincian dari sistem, jika dapat diasumsikan
bahwa dinamika waktu-invarian, dan bahwa tidak ada sejarah yang
relevan perlu dipertimbangkan yang tidak sudah termasuk di keadaan
bagian deskripsi.

4.2       Kimia
Sebuah algoritma yang berdasarkan rantai Markov digunakan untuk
memfokuskan pertumbuhan berdasarkan fragmen-bahan kimia di
silico menuju kelas yang diinginkan dari senyawa seperti obat-obatan
atau produk alami. Sebagai molekul tumbuh, sebuah fragmen dipilih
dari molekul baru lahir sebagai “saat ini” keadaan. Hal ini tidak
menyadari masa lalu (yaitu, tidak menyadari apa yang sudah terikat
untuk itu). Ini kemudian transisi ke keadaan berikutnya ketika sebuah
fragmen yang melekat padanya.

4.3       Test Pengujian

Beberapa teoretikus telah mengusulkan gagasan tentang rantai

Markov uji statistik (MCST), sebuah metode Markov conjoining
rantai untuk membentuk suatu ‘Markov selimut’, mengatur rantai ini
di beberapa lapisan rekursif ( ‘wafering’) dan memproduksi lebih
efisien set uji – sampel – sebagai pengganti pengujian lengkap. MCST
juga memiliki kegunaan dalam keadaan dunia berbasis jaringan;
Chilukuri et al. ‘S makalah berjudul “Temporal Ketidakpastian
Penalaran Bukti Jaringan untuk Aplikasi untuk Fusion dengan Obyek
Deteksi dan Pelacakan” (ScienceDirect) memberikan latar belakang
yang sangat baik dan studi kasus untuk menerapkan MCSTs ke lebih
beragam aplikasi.

4.4       Teori Queueing

Rantai Markov juga dapat digunakan untuk model berbagai proses

dalam teori queueing dan statistic. Seperti model ideal dapat
menangkap banyak statistik keteraturan sistem. Bahkan tanpa
menjelaskan struktur penuh dari suatu sistem sempurna, seperti
model-model sinyal dapat sangat efektif sehungga memungkinkan
kompresi data melalui pengkodean entropi teknik. Mereka juga
memungkinkan estimasi keadaan dan pengenalan pola. Dunia sistem
telepon selular tergantung pada algoritma Viterbi untuk kesalahan-
koreksi, sementara model Markov Tersembunyi adalah secara
ekstensif digunakan dalam pengenalan suara dan juga dalam
bioinformatika misalnya untuk daerah pengkode / gen prediksi.

4.5       Statistik

Metode Rantai Markov juga menjadi sangat penting untuk

menghasilkan angka acak urutan mencerminkan secara akurat
distribusi probabilitas sangat rumit yang diinginkan, melalui proses
yang disebut Markov Chain Monte Carlo (MCMC). Dalam beberapa
tahun terakhir ini telah merevolusionerkan kepraktisan Inferensi
Bayesian metode, yang memungkinkan berbagai distribusi posterior
menjadi simulasi dan parameter yang ditemukan secara numerik.

4.6       Ilmu sosial

Rantai Markov biasanya digunakan dalam menggambarkan argumen,

di mana saat ini kondisi konfigurasi struktural hasil masa depan.
Contoh adalah umumnya berpendapat hubungan antara pembangunan
ekonomi dan bangkitnya demokrasi. Sekali suatu keadaan mencapai
tingkat tertentu perkembangan ekonomi, konfigurasi faktor struktural,
seperti ukuran borjuis komersial, rasio tinggal di pedesaan perkotaan,
tingkat  politik, mobilisasi, dll, akan menghasilkan probabilitas yang
lebih tinggi trensisi dari otoriter aturan demokratis.

5.         Pembahasan Soal

Cuaca kota Bekasi dapat diperkirakan sebagai berikut

1. Jika hari ini cerah maka besok akan berpeluang 60% cuaca
cerah, 30% berawan, dan 10% akan turun hujan.
2. Jika hari ini berawan maka besok akan berpeluang 40% cuaca
cerah, 45% berawan, dan 15% akan turun hujan.
3. Jika hari ini hujan maka besok akan berpeluang 15% cuaca
cerah, 60% berawan, dan 25% akan turun hujan

Jika pada hari Jumat hujan maka perkiraan cuaca hari Senin?

Terlihat jelas bahwa perkiraan cuaca dapat diselesaikan dengan

Discrete Time Markov Chain

1. Proses selanjutnya  hanya tergantung pada proses saat ini.

2. Waktu diskrit dan populasi diskrit.
3. Stasioner dari waktu ke waktu

Discrete Time Markov Chain terdapat 3 fase, kita misalkan 1= cerah,

2= berawan, 3= hujan, dan sebelum hari Jumat kita anggap 0, maka

Matrik transisi

Cuaca pada hari Sabtu π (1)

maka 15% peluang akan cerah, 60% akan berawan, dan 25% hujan

Cuaca pada hari Minggu π (2)

Cuaca pada hari Senin π (3)

maka 42% peluang akan cerah, 42% akan berawan, dan 15% hujan

Akan sangat bermanfaat menampilkan Discrete Time Markov Chain

secara grafis. Lingkaran melambangkan fase dan anak panah diberi
angka peluang yang akan terjadi, dari soal diatas model grafiknya

6.         Kesimpulan

Kesimpulan yang dapat diambil pada penulisan makalah tentang

Markov Chain adalah:

1. Proses stokastik adalah suatu kejadian tertentu dari suatu

rangkaian  eksperimen tergantung dari beberapa kemungkinan
kejadian.
2. Sebuah rantai Markov adalah suatu urutan dari variable-variabel
acak  X 1, X 2, X 3,…… sifat Markov yaitu, mengingat keadaan
masa depan dan masa lalu keadaan yang independen, dengan
kata lain nilai yang mungkin untuk membentuk Xi S disebut
ruang keadaan rantai.
3. 3. Teorema- teorema yang berlaku pada Markov Chain yaitu
teorema mengenai Relasi Ekovalensi, teorema mengenai
Irreducible, teorema mengenai Limiting Probability
 4. 4. Status-status Markov Chain adalah Reachable State,
Irreduceable Chain, Periodic State, Probability of First Return,
Probability of Ever Return, Transient State, Recurrent State,
Mean Recurrent Time of State, Null Recurrent State, Positive
Recurrent State, Communicate Stat, dan Ergodic.

7.       Daftar Pustaka

Teks klasik in Translation: AA Markov. Sebuah Contoh Statistik

Investigasi Teks Eugene                 Onegin Mengenai Koneksi
Sampel in Chains, terj. David Link. David Link.                   Science in
Context 19.4 (2006): 591-600. Sains dalam Konteks

JL, Doob. Stochastic Processes.1953.ISBN 0-471-52369-0.

New York: John Wiley and Sons

E. Nummelin. “General irreducible Markov chains and non-negative

operators”. “Jenderal direduksikan rantai Markov dan non-operator
negatif”. Cambridge University Press, 1984, 2004. ISBN 0-521-
60494-X Cambridge University Press

www.wikipedia.org

www.google.com(Markov Chain)

MatematikaCyberBoardSOS.