Kecerdasan Buatan: 07 - Markov Chain

Brings Technology for Humanity fti-unsera.
id
Kecerdasan Buatan
07 – Markov Chain
Tb Ai Munandar
Brings Technology for Humanity fti-unsera.id
OUTLINE
 Pengenalan Markov Chain
 Matrix Transisi
 n-Step Transition Probabilities
 Aplikasi Markov Chain
12/21/2021 2
Pengenalan Markov Chain

• Salah satu model yang sering digunakan untuk menggambarkan
proses-proses stokastik.
• Proses stokastik adalah suatu barisan kejadian yang memenuhi
hukum-hukum peluang - Oxford Dictionary (1993)
• Istilah Markov chain pertama kali dicetuskan oleh seorang profesor
Rusia yakni Prof. Andrei A. Markov (1856-1922)
12/21/2021 3

• Sebuah proses stokastik dikatakan termasuk Markov chain apabila
memenuhi Markovian property (sifat Markovian).
• Markovian property menyatakan bahwa probabilitas bersyarat
(conditional probability) dari sebuah kejadian masa depan, dengan
diketahui kejadian masa lampau dan keadaan masa kini, adalah tidak
tergantung oleh kejadian masa lampau dan hanya tergantung oleh
keadaan masa kini.
12/21/2021 4

• Markov Chain secara umum dapat digolongkan menjadi dua, yakni
Discrete Markov Chain dan Continuous Markov Chain.
• Markov chain dikatakan diskrit apabila perpindahan keadaan terjadi
dengan interval waktu diskrit yang tetap.
• Markov chain dikatakan kontinyu apabila perpindahan keadaan
terjadi dengan rentang waktu dengan variabel random yang kontinyu.
• Pada perkembangannya, ada yang dinamakan Hidden Markov Model
(HMM), Higher order Markov Chain dan Multivariate Markov Chain.
Perlu dicatat bahwa model-model pengembangan dari Markov Chain
dapat menyalahi Markovian property.
12/21/2021 5

• Proses stokastik waktu diskrit disebut sebagai Markov chain jika,
untuk t = 0,1,2,3,… dan semua keadaan
P(Xt+1 = it+1 | Xt = it , …, X1 = i1 , X0 = i0) = P(Xt+1 = it+1 | Xt = it)
• Dengan kata lain, Discrete Markov Chain adalah distribusi probabilitas

keadaan pada waktu t+1 (masa depan) bergantung pada keadaan
pada waktu (t) saat ini (it) dan tidak bergantung pada keadaan yang
dilalui rantai dalam perjalanan ke it pada waktu t (saat ini).
12/21/2021 6

• Misalnya kita memilki sebuah himpunan keadaan, S = {s1,
s2,...,sr}. (dimana himpunan keadaan S besar terdiri atas
keadaan s1, s2 sampai sr.
• Proses rantai Markov dimulai pada salah satu keadaan yang
ada pada himpunan S tersebut kemudian bergerak berturut-
turut dari satu keadaan ke keadaan lain.
12/21/2021 7

• Asumsi lebih lanjut bahwa untuk semua keadaan i dan j dan
semua t, pada probabilitas P(Xt+1 = j | Xt = i), tidak bergantung
pada t., artinya nilai Xt+1 dan Xt tidak bergantung pada nilai
waktu saat ini, atau t nya.
• Asumsi ini memungkinkan kita untuk menulis P(Xt+1 = j | Xt = i) =
pij dimana pij adalah probabilitas bahwa sistem yang diberikan
dalam keadaan i pada waktu t, itu akan menjadi j pada waktu t+1.
• Kemudian, Jika sistem berpindah dari keadaan i selama satu
periode ke keadaan j selama periode berikutnya, maka transisi
dari i ke j telah terjadi.
12/21/2021 8

• Pada slide sebelumnya kita mendapatkan bahwa pij adalah
probabilitas bahwa sistem yang diberikan dalam keadaan i
pada waktu t, itu akan menjadi j pada waktu t+1
• pij sering disebut sebagai probabilitas transisi untuk rantai
Markov.
• Pada konsep markov chain, kita juga harus mendefinisikan qi
sebagai probabilitas bahwa rantai berada dalam keadaan i
ketika waktu sama dengan 0; dengan kata lain P(X0 = i) = qi
 Probablitas Keadaan awal X(0) adalah keadaan ke i.
12/21/2021 9
TRANSITION MATRIX
• Dalam kebanyakan aplikasi, probabilitas transisi ditampilkan sebagai
matriks probabilitas transisi P dengan ukuran s x s. Matriks
probabilitas transisi P dapat ditulis sebagai
𝑃11 … 𝑃1𝑠
𝑃21 … 𝑃2𝑠
𝑃= …
𝑃𝑠1 … 𝑃
𝑠𝑠
𝑠
• Untuk setiap i
෍ 𝑝𝑖𝑗 = 1
𝑗=1
12/21/2021 10
n-step Transition Probabilities

• Jika rantai Markov berada pada keadaan i dan pada waktu ke m,
berapa probabilitas bahwa n periode selanjutnya dari rantai Markov
akan menjadi keadaan j? untuk menjawab pertanyaan ini diberikan
persamaan berikut :
P(Xm+n = j | Xm = i) = P(Xn = j | X0 = i) = Pij(n)
• dimana pij(n) adalah probabilitas bahwa sistem yang diberikan dalam

keadaan i pada waktu m, akan menjadi j pada waktu m+n.
• Persamaan ini disebut sebagai peluang transisi n-step dari keadaan i
ke j.
12/21/2021 11
n-step Transition Probabilities

Berikut adalah aturan untuk probabilitas transisi n-step
 Untuk n > 1, Pij(n) = ijth adalah elemen dari Pn
 Dengan demikian jika Pij(2) maka hasil dari Pij(2)
adalah elemen ke-(i,j) dari matriks P2 = P1 P1
 Jika Pij(n) maka hasil dari Pij(n) adalah elemen ke-(i,j)
dari matriks Pn = P1 Pn-1
12/21/2021 12
Contoh Markocv Chain

Misalkan seluruh industri cola hanya menghasilkan dua cola. Jika ada
seseorang terakhir kali membeli cola 1, ada kemungkinan sebesar 90%
bahwa pembelian berikutnya adalah cola 1. Jika ada seseorang terakhir
membeli cola 2, ada kemungkinan sebesar 80% bahwa pembelian
berikutnya adalah cola 2.
1. Cari P(X1=cola 2 | X0=cola 1)
2. Jika seseorang saat ini menjadi pembeli cola 2, berapa probabilitas
bahwa mereka akan membeli cola 1 dua pembelian dari sekarang?
3. Jika seseorang saat ini menjadi pembeli cola 1, berapa peluang
mereka akan membeli cola 1 tiga kali pembelian dari sekarang?
12/21/2021 13

1. Langkah awal kita buat matrik transisi berdasarkan ilustrasi kasus.
2. Hitung nilai probabilitas pembelian.
3. Probabilitas pembelian cola 1 seseorang adalah 90% atau 0.9, dengan demikian probabilitas
dia membeli cola 2 pada pembelian berikutnya adalah 1 – 0.9 atau 0.1 (10%)
4. Probabilitas pembelian cola 2 seseorang adalah 80% atau 0.8, dengan demikian probabilitas
dia membeli cola 1 pada pembelian berikutnya adalah 1 – 0.8 atau 0.2 (20%)
5. Gambarkan Matrix Transisi sebagai berikut
𝑐𝑜𝑙𝑎 1 𝑐𝑜𝑙𝑎 2
𝑐𝑜𝑙𝑎 1 0.9 0.1
𝑃=
𝑐𝑜𝑙𝑎 2 0.2 0.8
6. Kemudian, gambarkan Transition diagram berdasarkan probabilitas pada matrik transisi di atas
0.1
0.9 Cola 1 Cola 2 0.8

0.2
12/21/2021 14
Kita sekarang dapat menjawab pertanyaan 1 dan 2

1. P(X1=cola 2 | X0=cola 1) = 0.1
0.9 0.1
𝑃(𝑋1 = 𝑐𝑜𝑙𝑎 2 | 𝑋0 = 𝑐𝑜𝑙𝑎 1) = 1 0. = 0.9 0.1
0.2 0.8
2. P(X2 = 1 | X0 = 2) = P21(2)  P2 = P1 P1
P2 = 0.9 0.1 0.9 0.1
= 0.83 0.17
0.2 0.8 0.2 0.8 0.34 0.66
Karenanya diperoleh, P21(2) = 0.34

12/21/2021 15
Kita sekarang dapat menjawab pertanyaan 3 P3 = P1 P2

0.9 0.1 0.83 0.17 0.781 0.219
3. P11(3) = P3 = =
0.2 0.8 0.34 0.66 0.438 0.562
Karenanya diperoleh, P11(3) = 0.781
12/21/2021 16
PRACTICE 1
Diberikan rantai Markov dengan tiga kemungkinan status 1, 2,
dan 3 serta matriks probabilitas transisi berikut:
1/4 1/2 1/4

𝑃 = 1/3 0 2/3
1/2 0 1/2
Gambarlah diagram transisi dari matriks yang diberikan.
12/21/2021 17
Gambar diagram transisi dari matriks yang diberikan

1 2 3
1/4 1/2 1/4 1
𝑃 = 1/3 0 2/3 2
1/2 0 1/2 3
1/4
1/2 1/2
1/2 3
1
2/3
1/3
0
1/4
2
0
12/21/2021 18
PRACTICE 1
1. Tentukan P(X4=3 | X3=2)
2. Tentukan P(X3=1 | X2=1)
3. Jika diketahui P(X0=1) = 1/3, tentukan P(X0=1, X1=2)
4. Jika diketahui P(X0=1) = 1/3, tentukan P(X0=1, X1=2, X2=3)
12/21/2021 19
Aplikasi Markov Chain

Markov Chain memiliki aplikasi yang luas. Beberapa
contohnya adalah analisa pangsa pasar (termasuk juga
pangsa pasar partai politik ), sistem re-manufaktur (ada
material/part/produk dengan masalah kualitas
kemudian diperbaiki dengan masuk kembali ke jalur
produksi), klasifikasi pelanggan, peramalan permintaan
pelanggan, dan lain-lain.
12/21/2021 20
Terimakasih
12/21/2021 21

Kecerdasan Buatan: 07 - Markov Chain

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Kecerdasan Buatan: 07 - Markov Chain

Diunggah oleh

Hak Cipta:

Format Tersedia

Brings Technology for Humanity fti-unsera.

Pengenalan Markov Chain

Pengenalan Markov Chain

Pengenalan Markov Chain

Pengenalan Markov Chain

P(Xt+1 = it+1 | Xt = it , …, X1 = i1 , X0 = i0) = P(Xt+1 = it+1 | Xt = it)

• Dengan kata lain, Discrete Markov Chain adalah distribusi probabilitas

Pengenalan Markov Chain

Pengenalan Markov Chain

Pengenalan Markov Chain

n-step Transition Probabilities

• dimana pij(n) adalah probabilitas bahwa sistem yang diberikan dalam

n-step Transition Probabilities

Contoh Markocv Chain

Contoh Markocv Chain

0.9 Cola 1 Cola 2 0.8

Contoh Markocv Chain

Kita sekarang dapat menjawab pertanyaan 1 dan 2

Karenanya diperoleh, P21(2) = 0.34

Contoh Markocv Chain

Kita sekarang dapat menjawab pertanyaan 3 P3 = P1 P2

Karenanya diperoleh, P11(3) = 0.781

1/4 1/2 1/4

Gambarlah diagram transisi dari matriks yang diberikan.

Gambar diagram transisi dari matriks yang diberikan

Aplikasi Markov Chain

Anda mungkin juga menyukai