Jawaban Diskusi 3 Pengantar Proses Stokastik

Nama : Qorisya Betari Pramantya

NIM : 043073049

1. Jelaskan sifat-sifat Rantai Markov Diskrit (RMD)!

Sifat-sifat rantai Markov diskrit (RMD) adalah karakteristik khusus yang dimiliki oleh model
matematika ini. Rantai Markov adalah model stokastik yang digunakan untuk memodelkan proses
acak yang berkembang dalam waktu diskrit. Sifat-sifat RMD adalah sebagai berikut:
a. Sifat Markov: RMD adalah model Markov, yang berarti bahwa sifat "tidak ada ingatan" berlaku.
Artinya, peluang masa depan hanya bergantung pada status saat ini dan tidak dipengaruhi oleh
sejarah sebelumnya. Ini disebut sebagai sifat Markov tingkat pertama.
b. Sifat Markov Orde Tinggi: Beberapa RMD memiliki sifat Markov orde tinggi, yang berarti
bahwa peluang masa depan bergantung pada sejumlah status sebelumnya. Sifat ini disebut
Markov orde kedua, ketiga, dan seterusnya.
c. Matriks Transisi: RMD dijelaskan oleh matriks transisi, yang menggambarkan peluang transisi
antara berbagai keadaan (atau "state") dalam model. Matriks transisi adalah matriks persegi
dimana elemen-elemennya menunjukkan peluang beralih dari satu keadaan ke keadaan lain.
d. Status Awal dan Distribusi Stasioner: RMD memerlukan status awal atau distribusi awal yang
menjelaskan keadaan awal sistem. Selain itu, dalam RMD ergodik, ada konsep distribusi
stasioner di mana peluang berada dalam keadaan tertentu tetap konstan seiring berjalannya
waktu.
e. Ergodisitas: Ergodisitas adalah sifat yang menyatakan bahwa RMD memiliki satu distribusi
stasioner yang dapat dicapai dari berbagai keadaan awal. Ini berarti bahwa seiring berjalannya
waktu, sistem akan mencapai distribusi stasioner tertentu yang tidak bergantung pada keadaan
awal.
f. Sifat Irreducibility: RMD adalah ireducible jika tidak ada keadaan yang dapat dijangkau dari
keadaan lain dalam model. Ini memastikan bahwa semua keadaan dapat mencapai satu sama
lain dalam beberapa langkah.
g. Sifat Aperiodicity: Aperiodicity mengacu pada sifat di mana tidak ada pola periodik yang ketat
dalam perpindahan antara keadaan dalam RMD. Dengan kata lain, tidak ada waktu tertentu di
mana perpindahan antara keadaan selalu terjadi dalam pola tertentu.

2. Jelaskan yang dimaksud proses melakukan transisi!

Proses melakukan transisi (dalam rantai Markov disebut sebagai "transisi") adalah proses
berpindah dari satu keadaan ke keadaan lain dalam waktu diskrit atau kontinu. Dalam teori rantai
Markov, ide dasar ini digunakan untuk mensimulasikan berbagai fenomena di mana keadaan sistem
berubah seiring berjalannya waktu.
Matriks transisi, yang merupakan inti dari model rantai Markov, sering digunakan untuk
menunjukkan proses melakukan transisi dalam rantai Markov. Dalam rantai Markov diskrit,
misalnya, matriks transisi memiliki elemen yang menunjukkan kemungkinan perpindahan dari satu
keadaan ke keadaan lain dalam waktu diskrit tertentu. Keadaan awal, kemungkinan transisi, dan
keadaan akhir yang diinginkan membentuk proses transisi ini.
Tabel 1. Matriks Transisi
Dari keadaan Pindah ke keadaan ke:
ke: 1 2 … j … n
1 p11 … …
2 p21 … …
. . . . .
… …
. . . . .
i pi1 pi2 … pij … pin
. . . . .
… …
. . . . .
n pn1 pn2 … pnj … pnn
 n = jumlah keadaan dalam proses
pij = kemungkinan transisi dari keadaan saat i ke keadaan j
Jika saat ini berada pada keadaan i maka baris I dari tabel di atas berisi angka‐angka Pi1, Pi2, Pin
merupakan kemungkinan berubah ke keadaan berikutnya
Oleh karena angka tersebut melambangkan kemungkinan, maka semuanya merupakan bilangan
non negatif dan tidak lebih dari satu
0 < 𝑝𝑖𝑗 < 1 𝑖 = 1,2, … , 𝑛

∑ 𝑝𝑖𝑗 = 1 𝑖 = 1,2, … , 𝑛

3. Jelaskan apa yang dimaksud dengan state terakses (accessible)!

Dalam rantai Markov, state yang dapat dicapai dari keadaan lain disebut state terakses (accessible)
karena tidak semua keadaan dapat dicapai dari semua keadaan lainnya. Dalam analisis rantai
Markov, state terakses sangat penting karena memengaruhi pemahaman kita tentang struktur dan
dinamika rantai. Dengan menentukan state terakses, kita dapat memahami bagaimana informasi
atau pengaruh dapat mengalir dari satu keadaan ke keadaan lain melalui rantai Markov.
Dalam analisis rantai Markov, pemahaman tentang state terakses sangat penting karena membantu
dalam mengidentifikasi hubungan antara keadaan dalam rantai, memodelkan perpindahan antar-
keadaan, dan mengukur sifat-sifat sistem yang sedang dipelajari. State terakses juga berkaitan
dengan sifat-sifat seperti ergodisitas dan ireducibility dalam analisis rantai Markov.
Suatu keadaan j dikatakan sebagai “terakses” dari keadaan i jika ada suatu 𝑛 ≥ 1 sehingga 𝑝𝑖𝑗 𝑛 >
0. Dimana 𝑝𝑖𝑗 𝑛 adalah probabilitas transisi dari keadaan i ke keadaan j dalam n langkah Waktu.
Dalam rumusnya dapat dinyatakan sebagai:
𝑝𝑖𝑗 𝑛 = 𝑃(𝑋𝑛 = 𝑗|𝑋0 = 𝑖 ) > 0

Dimana Xn adalah keadaan sistem pada waktu n, X0 adalah keadaan awal dan 𝑃(𝑋𝑛 = 𝑗|𝑋0 = 𝑖 )
adalah probabilitas bahwa sistem akan berada dalam keadaan j setelah n langkah waktu, dimulai
dari keadaan i.
Dalam kasus ketika n=1, ini mengacu pada probabilitas transisi langsung dari i ke j. Dalam kasus
n>1, ini menunjukkan bahwa keadaan j dapat dicapai dalam n langkah waktu/lebih dengan
probabilitas yang lebih besar dari 0 mulai dari keadaan i.

4. Jelaskan apa yang dimaksud state yang irreducible!

Dalam konteks rantai Markov, keadaan yang tidak dapat direduksi adalah keadaan di mana setiap
keadaan dalam rantai Markov memiliki kemampuan untuk mencapainya dengan probabilitas lebih
besar dari nol. Dengan kata lain, setiap keadaan dalam rantai Markov memiliki kemampuan untuk
mencapai keadaan yang irreducible dalam jumlah langkah tertentu. Keadaan yang tidak dapat
direduksi menunjukkan bahwa sistem tidak terbatas pada kumpulan keadaan tertentu, dan bahwa
semua keadaan sangat terkait satu sama lain.
Salah satu elemen penting dalam analisis rantai Markov adalah sifat state yang tidak dapat
direduksi, yang dikenal sebagai sifat ergodisitas. Sebuah rantai Markov dikatakan ergodik jika
memiliki state yang tidak dapat direduksi dan memiliki distribusi stasioner yang terjadi setelah
langkah waktu tertentu. Ini adalah ide penting untuk memahami perilaku rantai Markov dalam
jangka panjang.
Dalam notasi matematis, rantai Markov dengan matriks transisi P disebut irreducible jika:
∀𝑖,𝑗 = 𝑆, ∃𝑛,𝑚 ∈ 𝑁 sehingga 𝑝𝑖𝑗 𝑛 > 0 𝑑𝑎𝑛 𝑝𝑗𝑖 𝑚 > 0

Disini 𝑝𝑖𝑗 𝑛 adalah elemen dari matriks transisi P yang menunjukkan probabilitas transisi dari
keadaan i ke keadaan j dalam n langkah waktu.
5. Jelaskan yang dimaksud dengan state recurrent dan transient!
a) State Recurrent (Keadaan Rekuren) : Sebuah keadaan dalam rantai Markov dikatakan sebagai
state recurrent jika, setelah meninggalkan keadaan tersebut, sistem kemungkinan besar akan
kembali ke keadaan tersebut dalam jumlah langkah waktu yang terbatas atau tak terbatas.
Dengan kata lain, jika suatu keadaan adalah state recurrent, maka peluang kembali ke keadaan
itu adalah 1 atau mendekati 1. State-state recurrent adalah keadaan-keadaan yang sistem
cenderung "mengunjungi" secara berkala. Suatu state atau kedudukan rantai Markov i disebut
state absorbing jika sekali sistem tersebut tinggal pada state i, maka sistem itu akan tetap tinggal
pada state i untuk selamanya
Definisi: Suatu state i, 𝑗 ∈ 𝑆 pada suatu rantai Markov disebut keadaaan menyerap (state
absorbing) jika 𝑝𝑖𝑖 = 1 atau 𝑝𝑖𝑗 = 0 untuk i≠j.
b) State Transient : sebuah keadaan dikatakan sebagai state transient jika setelah meninggalkan
keadaan tersebut, sistem kemungkinan besar tidak akan kembali ke keadaan tersebut. Peluang
kembali ke keadaan tersebut adalah kurang dari 1. State-state transient adalah keadaan-keadaan
yang sistem cenderung meninggalkan dan mungkin tidak pernah kembali.
Suatu state atau kedudukan rantai Markov j disebut state transien jika rantai markov mulai dari
j belum tentu kembali lagi ke j.
Definisi: Suatu state 𝑗 ∈ 𝑆 pada suatu rantai Markov disebut transien jika 𝜃𝑖𝑗 < 1

Sumber Referensi :
- Haryono., Dewi Juliah Ratnaningsih. (2018). BMP Pengantar Proses Stokastik. Tangerang
Selatan: Universitas Terbuka
- Ross, S. M. (2014). "Introduction to Probability Models." Academic Press.