1. Jelaskan sifat-sifat Rantai Markov Diskrit (RMD)!

Jawab:
Rantai Markov Diskrit (RMD) adalah model matematis yang digunakan untuk menggambarkan
perubahan keadaan sistem dalam waktu diskrit. Sifat-sifat utama dari RMD adalah sebagai berikut:
a. Sifat Ketergantungan Masa Lampau (Memorylessness):
RMD memiliki sifat ketergantungan masa lampau yang berarti bahwa transisi keadaan selanjutnya
hanya bergantung pada keadaan saat ini dan tidak bergantung pada sejarah sebelumnya. Dengan
kata lain, probabilitas peralihan hanya tergantung pada keadaan saat ini dan bukan pada bagaimana
sistem mencapai keadaan tersebut.
b. Sifat Keadaan Diskrit:
Dalam RMD, ruang keadaan sistem adalah himpunan diskrit, yang berarti bahwa hanya ada
sejumlah terbatas keadaan yang mungkin. Ini berbeda dari proses stokastik kontinu di mana
keadaan adalah variabel kontinu.
c. Probabilitas Transisi:
Setiap transisi antara keadaan dalam RMD memiliki probabilitas transisi yang didefinisikan.
Probabilitas ini menggambarkan peluang peralihan dari satu keadaan ke keadaan lain dalam satu
langkah waktu.
d. Diagram Transisi:
RMD sering diilustrasikan dengan menggunakan diagram transisi, yang adalah grafik yang
menunjukkan keadaan sistem dan probabilitas transisi antara mereka.
e. Matriks Probabilitas Transisi:
RMD dapat dijelaskan dengan menggunakan matriks probabilitas transisi. Matriks ini
menggambarkan probabilitas peralihan dari satu keadaan ke semua keadaan lainnya dalam satu
langkah waktu.
f. Konvergensi:
RMD dapat mencapai keadaan keseimbangan atau konvergensi di mana probabilitas keadaan sistem
menjadi stabil dan tidak berubah seiring berjalannya waktu. Dalam keadaan keseimbangan,
probabilitas keadaan tertentu tidak berubah dari waktu ke waktu.
g. Sifat Markov:
RMD mematuhi sifat Markov, yang berarti bahwa masa depan hanya bergantung pada keadaan saat
ini dan tidak bergantung pada sejarah sistem. Ini juga dikenal sebagai sifat tanpa ingatan.
h. Model Stokastik:
RMD adalah model stokastik yang digunakan untuk menggambarkan sistem yang dipengaruhi oleh
ketidakpastian atau variabilitas.
Rantai Markov Diskrit digunakan dalam berbagai bidang seperti teori antrian, analisis keuangan, teori
informasi, dan banyak aplikasi lainnya di mana perubahan keadaan sistem dengan waktu diskrit perlu
dimodelkan dengan cara yang konsisten dan matematis.
2. Jelaskan yang dimaksud proses melakukan transisi!
 Jawab:
Proses melakukan transisi pada Rantai Markov Diskrit (RMD) mengacu pada perubahan status atau
keadaan sistem dari satu keadaan ke keadaan lainnya dengan mempertimbangkan probabilitas transisi
diskrit. Berikut adalah langkah-langkah umum dalam melakukan transisi pada RMD:
a. Menentukan Keadaan Awal: Langkah pertama adalah menentukan keadaan awal sistem yang akan
dianalisis. Ini merujuk pada keadaan sistem pada waktu awal atau iterasi pertama.
b. Matriks Probabilitas Transisi: Anda perlu menentukan matriks probabilitas transisi. Matriks ini
menggambarkan probabilitas peralihan dari satu keadaan ke keadaan lain dalam sistem. Matriks ini
biasanya berbentuk matriks persegi dengan ukuran n x n, di mana n adalah jumlah total keadaan
yang mungkin.
c. Menghitung Probabilitas Transisi: Dengan matriks probabilitas transisi, Anda dapat menghitung
probabilitas transisi dari satu keadaan ke keadaan lain. Ini melibatkan perkalian matriks probabilitas
transisi dengan vektor probabilitas keadaan saat ini.
d. Mengupdate Keadaan: Setelah menghitung probabilitas transisi, Anda perlu mengupdate keadaan
sistem sesuai dengan probabilitas transisi yang dihasilkan. Ini akan menghasilkan keadaan baru pada
waktu selanjutnya.
e. Iterasi: Langkah-langkah 3 dan 4 diulang untuk setiap iterasi atau waktu berikutnya, sesuai dengan
jumlah iterasi yang ditentukan atau sampai mencapai kondisi berhenti yang telah ditetapkan.
Dengan melakukan langkah-langkah ini secara iteratif, Anda dapat mengamati bagaimana sistem
berubah dari satu keadaan ke keadaan lainnya dalam konteks waktu diskrit. Ini juga memungkinkan
Anda untuk memprediksi distribusi probabilitas keadaan di masa yang akan datang, yang merupakan
salah satu aplikasi utama RMD dalam pemodelan sistem yang berkembang seiring waktu dengan
ketidakpastian. Terima kasih atas penjelasan yang lengkap!
3. Jelaskan apa yang dimaksud dengan state terakses (accessible)!
Jawab
State terakses (accessible) dalam rantai Markov adalah sifat yang menunjukkan bahwa setiap state
dalam rantai Markov dapat dicapai dari state lainnya dalam suatu waktu tertentu. Ini berarti bahwa
tidak ada state yang terisolasi atau tidak dapat dicapai dari state lain dalam rantai Markov.
Kehadiran sifat ini adalah penting karena mengindikasikan bahwa sistem dalam rantai Markov memiliki
keterhubungan yang kuat antara semua keadaan. Dalam konteks ini, setiap keadaan dalam rantai
memiliki jalur atau serangkaian transisi yang memungkinkan untuk mencapai state lain dalam rantai
dengan probabilitas transisi yang lebih besar dari nol. Ini membantu dalam pemahaman dan analisis
sistem serta dalam memodelkan perubahan keadaan di waktu yang berbeda.
4. Jelaskan apa yang dimaksud state yang irreducible!
Jawab:
Dalam konteks Rantai Markov, state dikatakan irreducible (tidak dapat direduksi) jika semua state
dalam sistem membentuk satu kelas komunikasi tunggal. Dengan kata lain, setiap state dalam rantai
 Markov irreducible dapat mencapai atau berkomunikasi dengan setiap state lainnya dalam rantai
dengan probabilitas transisi yang lebih besar dari nol.
Beberapa poin penting dalam menjelaskan state yang irreducible adalah:
a. Kelas Komunikasi: Rantai Markov irreducible hanya memiliki satu kelas komunikasi tunggal. Kelas
komunikasi ini adalah himpunan state yang berkomunikasi satu sama lain, artinya ada jalur atau
serangkaian transisi yang memungkinkan perpindahan antara state-state dalam kelas tersebut.
b. Relasi Ekuivalen: Dalam konteks ini, hubungan "i ↔ j" mengindikasikan bahwa state "i" dan state
"j" dalam rantai Markov memiliki hubungan komunikasi. Ini adalah relasi ekuivalen yang membagi
semua state dalam rantai Markov menjadi kelas-kelas ekuivalen berdasarkan hubungan komunikasi
mereka.
c. Partisi State: Partisi state adalah pembagian state dalam rantai Markov menjadi kelompok-kelompok
yang saling terhubung. Setiap kelas dalam partisi ini adalah kelompok state-state yang saling
berkomunikasi dan tidak dapat mencapai state-state di luar kelas tersebut.
Ketika rantai Markov adalah irreducible, analisisnya sering lebih sederhana karena semua state berada
dalam satu kelas komunikasi tunggal. Ini memungkinkan perpindahan bebas antara state-state dalam
rantai, yang sering digunakan dalam pemodelan sistem yang memiliki keterhubungan penuh antara
berbagai keadaan.
5. Jelaskan yang dimaksud dengan state recurrent dan transient!
Jawab:
a. State Recurrent (Kemungkinan Kembali):
• State j dalam rantai Markov diklasifikasikan sebagai state recurrent jika, setelah mencapai state
tersebut, pasti akan kembali lagi ke state j.
• Ini dinyatakan dalam bentuk probabilitas transisi 𝜃ij = 1, yang berarti peluang kembali dari j ke j
adalah 1 (pasti).
• State-state recurrent memiliki sifat "memori panjang" dan secara teoritis akan selalu dikunjungi
dalam waktu yang tak terbatas.
b. State Transient (Sementara):
• State j dalam rantai Markov diklasifikasikan sebagai state transient jika, setelah mencapai state
tersebut, belum tentu akan kembali lagi ke state j.
• Ini dinyatakan dalam bentuk probabilitas transisi 𝜃ij < 1, yang berarti peluang kembali dari j ke j
adalah kurang dari 1.
• State-state transient memiliki sifat "memori pendek" dan tidak akan selalu dikunjungi dalam
waktu yang tak terbatas.
Sumber referensi:
MODUL SATS4322/Pengantar Proses Stokastik
Introduction to Stochastic Processes with R oleh Robert P. Dobrow.
Markov Chains and Mixing Times oleh David A. Levin, Yuval Peres, and Elizabeth L. Wilmer.
Stochastic Processes oleh Sheldon M. Ross.