Nama : Nurul Maulida

Nim : 1917140008

BAB 5

Rantai Markov

 5.1 Contoh dan Definisi Pertama

 Contoh 5.1

Di beberapa rumah, penggunaan telepon bisa menjadi masalah yang cukup sensitif. Misalkan
jika telepon bebas selama beberapa periode waktu, misalnya menit ke-n, maka dengan
probabilitas p, di mana 0 <p <1, telepon akan sibuk selama satu menit berikutnya. Jika telepon
telah sibuk selama menit ke-n, maka akan menjadi bebas selama menit berikutnya dengan
probabilitas q, di mana 0 <q <1. Asumsikan bahwa telepon bebas pada menit ke-5. Kami ingin
menjawab dua pertanyaan berikut.

1) Berapa probabilitas Xn bahwa telepon akan bebas di ke-n menit?

2) Apa, jika ada?

Dilambangkan dengan Suatu peristiwa bahwa telepon bebas selama menit ke-n dan biarkan Bn =
n \ An menjadi pelengkap, yaitu peristiwa bahwa telepon sibuk selama menit ke-n. Kondisi
contoh memberi kita

Kami juga mengasumsikan bahwa P (Ao) = 1, yaitu Xo = 1. Dengan menggunakan notasi ini,
kami memiliki Xn = P (An). Kemudian rumus probabilitas total, lihat Latihan 1.10, bersama-
sama dengan (5.1) - (5.2) menyiratkannya
Agak sulit untuk menemukan rumus eksplisit untuk X n. Untuk melakukannya, pertama-tama
kita anggap deret {x ..} konvergen, yaitu

Sifat dasar dari batasan dan persamaan (5.3) yaitu Xn + 1 = q + (1 - pq) xn 'menghasilkan

Solusi unik dari persamaan terakhir adalah

Khususnya

Dengan mengurangkan (5.7) dari (5.3), kami menyimpulkan itu

Jadi, apakah itu urutan geometris dan oleh karena itu, untuk semua n E N

Jadi, dengan memperhitungkan kondisi awal Xo = 1, kita punya

Mari kita tunjukkan bahwa meskipun kita telah menggunakan asumsi (5.4) untuk menurunkan
(5.8), bukti yang terakhir sekarang sudah lengkap. Memang, setelah membuktikan (5.9), kami
dapat menunjukkan bahwa asumsi (5.4) memang puas. Ini karena kondisi 0 <p, q <1
menyiratkan bahwa, dan (1 dan juga as Jadi, (5.4) berlaku.
Ini memberikan jawaban untuk bagian kedua dari Misalnya, Yaitu

Latihan berikut adalah modifikasi dari contoh terakhir.

Catatan 5.1

Situasi yang dijelaskan dalam Contoh 5.1 cukup umum. Seringkali kemungkinan suatu peristiwa
pada waktu n + 1 hanya bergantung pada apa yang terjadi pada waktu n, tetapi tidak lebih jauh
ke masa lalu. Contoh 5.1 memberi kita kasus sederhana dari rantai Markov. Lihat juga definisi
dan latihan berikut.

 Definisi 5.1

Misalkan S adalah himpunan terbatas atau himpunan yang dapat dihitung. Anggap juga bahwa
ruang probabilitas (n, F, p) diberikan. Urutan nilai-S dari variabel acak ~ n 'n E N, disebut rantai
Markov bernilai-S atau rantai Markov pada S jika untuk semua n E N dan semua

Properti (5.10) biasanya akan disebut sebagai properti Markov dari rantai Markov ~ n, n E N.
Himpunan S disebut ruang keadaan dan elemen S disebut keadaan.
Bukti

Biarkan S = {0, 1}, di mana 0 dan 1 mewakili keadaan telepon yang bebas atau sibuk. Pertama
kita perlu membangun ruang probabilitas yang sesuai. Biarkan O menjadi set semua urutan wo,
WI, . . . dengan nilai dalam S. Mari kita mengukur probabilitas pada S. Misalnya, = sesuai
dengan kasus ketika ponsel bebas pada saat 0. Kita akan mendefinisikan P dengan induksi.
Untuk setiap urutan S-valued

kami menempatkan

Tampaknya masuk akal untuk mengharapkan P menjadi ukuran probabilitas (sehubungan

dengan bidang sepele dari semua subset O). Ambil ini begitu saja, periksa saja

Bagaimana Anda mendefinisikan proses (n, n e N? Kita akan melakukannya dengan cara
standar, yaitu.

(5.13)

Pertama kita akan menunjukkan bahwa probabilitas transisi dari

apa yang seharusnya, yaitu.

(5.14)

(5.15)
Definisi hasil probabilitas bersyarat

Selanjutnya, definisi P memberikan

o)

Rantai Markov bernilai-S disebut homogen waktu atau homogen jika untuk semua
dan semua

 Definisi 5.2

Rantai Markov yang dihargai S (n, n e N, disebut homogen waktu atau homogen jika untuk
semua n e N dan semua i, j G S

Angka P (€1 = = i) ditandai dengan p(jli) dan disebut probabilitas transisi dari negara bagian i ke
status j. Matriks P = [p(jli)]j,i€s disebut matriks transisi rantai (n.

 Definisi 5.3

A = disebut matriks stochastic jika

1) aji 2 0, untuk semua i, j e S;

2) jumlah entri di setiap kolom adalah 1, yaitu Ejesa • = 1 untuk i e S.

A disebut matriks stochastic ganda jika A dan transpose-nyaA t adalah matriks stochastic.

Proposal 5.2

Tunjukkan bahwa matriks stochastic adalah dua kali lipat stochastic jika dan hanya jika jumlah
entri di setiap baris adalah 1, yaitu E a • = 1 untuk j S.
Bukti

Taruh At = [bij]. Kemudian, menurut definisi matriks yang diubah urutannya, bt,

Oleh karena itu,A t adalah matriks stochastic jika dan hanya jika

di i

Definisi 5.4

Matriks transisi n-step dari rantai Markov dengan probabilitas transisi p(jli), j, i G S adalah pn
matriks dengan entri

pn(jli) = P(sc (5.17)

Bukti (dari Proposisi 5.3)

Biarkan P dan Pn menjadi, masing-masing, matriks probabilitas transisi dan matriks probabilitas
transisi n-langkah. Karena pn(jli) adalah entri pn, kita hanya perlu menunjukkan bahwa Pn = Pn
untuk
semua n G N. Ini dapat dilakukan dengan induksi. Pernyataan itu jelas berlaku untuk n = 1.
Misalkan pn = Pn . Kemudian, untuk i, j G S, dengan rumus probabilitas total dan properti
Markov (5,10) pn+l (jli) = P(Cn+l = — i)

(i)

Proposal 5.5

Probabilitas bahwa berjalan acak yang pernah kembali ke titik awal adalah

1- Ip-ql.
Bukti

Misalkan = 0 dan menunjukkan dengan fo(n) probabilitas bahwa proses kembali ke 0 pada
waktu n untuk pertama kalinya, yaitu.

fo (n,) p (C

Jika juga po(n) = = 0) untuk n G N, maka kita dapat membuktikan bahwa

Epo(n) — E po (n)E

Pembuktian

Misalkan P dan Pn adalah matriks probabilitas transisi dan tahap-n matriks probabilitas transisi.
Sejak adalah entri Pn, kita hanya perlu untuk menunjukkan bahwa Pn = pn untuk semua

Ini dapat dilakukan dengan induksi. Itu pernyataan ini jelas benar untuk n = 1. Misalkan

Pn = pn. Kemudian, untuk dengan rumus probabilitas total dan properti Markov (5.10)

 Proposition 5.4

 Proposition 5.5

Probabilitas bahwa jalan acak pernah kembali ke titik awal adalah

  Pembuktian

Seandainya = 0 0 dan dilambangkan dengan fo (n) probabilitas bahwa proses tersebut kembali
ke 0 pada waktu n untuk pertama kalinya, mis.

Karena semua angka yang terlibat adalah non-negatif, untuk membuktikan (5.23) kita hanya
perlu menunjukkan itu

Rumus probabilitas total dan properti Markov (5.10) menghasilkan

Terbukti (5.23). kami akan memanfaatkannya. Pertama kita perhatikan bahwa file

probabilitas bahwa proses akan pernah kembali ke 0 sama dengan

 Chapter 2 Classification of States

 Definition 5.5

Sebuah negara bagian saya dipanggil. berulang jika proses ~ n pada akhirnya akan kembali ke i
mengingat itu dimulai pada i, yaitu

Jika kondisi (5.36) tidak terpenuhi, maka kondisi i disebut transien.

 Definition 5.6

Kita mengatakan bahwa keadaan i berkomunikasi dengan keadaan j jika dengan probabilitas
positif rantai akan mengunjungi keadaan j yang dimulai pada i, yaitu.
jika saya berkomunikasi dengan j, maka kita akan menulis i → j. Kami mengatakan bahwa
negara bagian i melakukan interkomunikasi dengan negara bagian j, dan menulis i ↔j, jika i →j
dan j →i.

 Definition 5.7

Untuk rantai Markov bernilai-S ᶓn, n є N, keadaan i є S disebut null-recurrent jika berulang dan
rata-rata waktu pengulangan mi didefinisikan oleh :

sama dengan ꝏ. Keadaan i є S disebut positif-berulang jika berulang dan rata-rata waktu
pengulangan mi terbatas

Remark 5.4

Seseorang dapat menunjukkan bahwa keadaan berulang i adalah null-berulang jika dan hanya
jika Pn (i | i) → O

Kita sudah tahu bahwa untuk jalan acak di Z keadaan 0 berulang jika dan hanya jika P = 1/2,
yaitu jika dan hanya jika jalan acak itu simetris. Dalam soal berikut kita akan mencoba
menjawab jika 0 adalah keadaan null-berulang atau positif-berulang (ketika P = 1/2).

 Definition 5.8

Misalkan ᶓn, n є N, adalah rantai Markov pada ruang keadaan S. Misalkan i є S. Kita katakan
bahwa i adalah keadaan periodik jika dan hanya jika pembagi persekutuan terbesar (gcd) dari
semua n є N *, di mana N * = {I, 2, 3 "..}, sehingga Pn (i | i)> 0 adalah ≥ 2. Jika tidak, status i
disebut aperiodik. Dalam kedua kasus, gcd dilambangkan dengan d (i) dan disebut periode
keadaan i. Jadi, i periodik jika dan hanya jika d (i) ≥2. Keadaan i yang positif berulang dan
aperiodik disebut ergodik. periode keadaan i. Jadi, i periodik jika dan hanya jika d (i) ≥ 2.
Keadaan i yang positif berulang dan aperiodik disebut ergodik.
Proposition 5.7

Misalkan i, j є S dan i ↔ j. Menunjukkan bahwa

1) i bersifat sementara jika dan hanya jika j;

2) i berulang jika dan hanya jika j;

3) i adalah null-recurrent jika dan hanya jika j adalah;

4) i positif-berulang jika dan hanya jika j;

5) i periodik jika dan hanya jika j, dalam hal ini d (i) = d (j);

6) i ergodik jika dan hanya jika j.

Proof

Bukti Itu cukup untuk menunjukkan properti 1), 4) dan 5). Karena i ↔ j seseorang dapat
menemukan n, m є N sehingga Pm (j | i)> 0 dan Pn (i | j)> O. Maka c: = Pm (j | i) Pn (i | j) positif
. Mari kita ambil k є N. Kemudian dengan persamaan Chapman-Kolmogorov

Dengan simetri

Makanya, seri ∑ Pk(i|i) dan ∑ Pk(j|J) secara bersamaan konvergen atau divergen

Proof
(dari Teorema 5.3) Misalkan R = S \ T menunjukkan himpunan semua keadaan berulang. Jika i
t↔j, maka baik i dan j milik T atau R. Hal ini berarti bahwa hubungan interkoneksi ↔ terbatas
pada R adalah relasi ekivalen juga. Oleh karena itu, R = Uⱼ = 1 Cⱼ, Cⱼ= [Sj] 'Sj E R. Di sini N
menunjukkan jumlah kelas ekivalen yang berbeda. Karena menurut definisi setiap Cj adalah
himpunan yang tidak dapat direduksi, kita hanya perlu menunjukkan bahwa Cj tertutup. Tapi ini
mengikuti Latihan 5.26. Memang, jika i є Ck dan i →j, maka i ↔j, dan seterusnya j є Ck.

 Definition 5.9

Misalkan , adalah rantai Markov pada ruang keadaan S.

1) Himpunan C C S disebut tertutup jika setelah rantai memasuki C ia tidak akan pernah
keluar itu, yaitu

2) Himpunan C C S disebut tidak dapat direduksi jika ada dua elemen i, j dari C saling
berhubungan, yaitu untuk semua i, j E C ada n E N sehingga Pn (jli)> 0.

Teorema 5.3
Misalkan, adalah rantai Markov pada ruang keadaan terhitung S. Kemudian