Nama : Nurul Maulida

Nim : 1917140008

5.3 Long-Time Behaviour of Markov Chains: General Case

(Perilaku Lama Rantai Markov: Kasus Umum)

Demi kenyamanan, kami akan menunjukkan ruang keadaan yang dapat dihitung S dengan {1, 2,
3, ...} bila S adalah himpunan tak hingga dan oleh {I, 2, .. "n} bila S berhingga.

Proposisi 5.8

Misalkan P = [p (jli)] adalah matriks transisi dari rantai Markov dengan ruang keadaan S.

Misalkan untuk semua i, j є S

(Secara khusus, batasnya tidak bergantung pada i.) Kemudian

Bukti :

Untuk memulainya, mari kita asumsikan bahwa S berhingga dengan elemen m. Menggunakan
Chapman-Kolmogorovequations (5.18), kami punya

Sejak ini membuktikan 1) dan 3) serentak. Terlebih

lagi, ini menunjukkan bahwa alternatif kedua dari 3) tidak pernah bisa terjadi. Untuk
membuktikan 2) kami berdebat dengan cara yang sama. Mari kita perbaiki j є S dan (a auxiliary)
k є S. Lalu,

Jika ∑ ( |) (| ) ( | )dengan persamaan Chapman-Kolmogorov.

Ketika himpunan S tidak terbatas, kita tidak bisa begitu saja mengulangi argumen di atas. Itu

Alasannya cukup sederhana: secara umum dua operasi lim dan 𝞢 tidak bisa dipertukarkan.
Mereka bisa jika jumlahnya terbatas, dan kami menggunakan fakta di atas. Tetapi jika S tidak
terbatas, maka situasinya lebih halus. Salah satu solusi yang mungkin dari kesulitannya
terkandung dalam versi Le.

Lemma 5.1 (Fatou)

Lemma 5.1 (Fatou)

Misalkan bahwa aj(n) 2 0 untuk j, n G N. Kemudian

Menggunakan fakta bahwa untuk barisan konvergen lim dan lim inf bertepatan, oleh Lemma
Fatou yang kita miliki
Definisi 5.10

Ukuran probabilitas adalah ukuran invarian dari sebuah Markov Rantai

dengan matriks probabilitas transisi P = [P (j|i)] iffor semua n є N dan semua j є S

Teorema 5.4

Misalkan ,ᶓ ₙ, n є N is a Markov chain on a state space where T is the set of all

transient states and C is a closed irreducible set of recurrent states.3 Then there exists an
invariant measure if and only if each element of C is positive-recurrent. Moreover, if this is the
case, then the invariant measure is unique and it is given by di mana

dengan mᵢ menjadi waktu pengulangan rata-rata dari negara bagian ᵢ, lihat (5.44).

Perhatikan, bahwa dengan Latihan 5.32, ukuran invarian unik dalam Teorema 5.4 didukung oleh
C.

Teorema 5.5

Jika C = U j—l — C j' di mana setiap Cj adalah sekumpulan keadaan berulang yang dapat
diedukasi tertutup, maka hasil di atas memegang, kecuali untuk bagian keunikan. Bahkan, jika
setiap elemen dari beberapa Cj positif berulang, maka ada ukuran invarian Pj yang didukung
oleh Cj. Selain itu, pj adalah ukuran invarian unik dengan dukungan di Cj. Dalam kasus khusus
ketika setiap elemen C positif-berulang, setiap ukuran invarian adalah kombinasi cembung dari
ukuran invarian 'Lj,

Teorema 5.5

Misalkan ᶓₙ, n є N adalah rantai Markov dengan ruang keadaan S. Misalkan j є S adalah a
keadaan berulang. Jika j aperiodik, maka
di mana Fⱼᵢ (l) adalah probabilitas bahwa rantai akan pernah mengunjungi status j jika itu dimulai
dari i, lihat (5.39), dan di mana mj adalah rata-rata waktu pengulangan keadaan j, lihat (5.44);

Definisi 5.11

Rantai Markov ᶓₙ, n є N, dengan ruang keadaan S disebut ergodik jika masing-masing i є S
ergodik, yaitu setiap keadaan i є S positif, berulang dan aperiodik.

Teorema 5.6

Misalkan ᶓₙ 'n є N, adalah rantai Markov aperiodik yang tidak dapat direduksi dengan status
spasi S. Kemudian ᶓₙ n є N, ergodik jika dan hanya jika memiliki invarian yang unik mengukur.

Bukti

Bagian 'jika' dibuktikan dalam Latihan 5.34. Kita akan membahas bagian 'hanya jika'.Seandainya
s ukuran invarian unik dari rantai. Kemudian ℼⱼ > 0 untuk beberapa j є S. Ingatlah
bahwa karena Teorema 5.5 dan Latihan 5.33 limₙ → ꝏPn (j|i) ada untuk semua i, j є S.

Sejak 𝞢ᵢ pₙ(j|i) ℼᵢ = ℼⱼ. oleh Lemma Fatou (ketidaksetaraan (5,49)).

Oleh karena itu, terdapat sebuah i є S sehingga limₙ →ꝏ Pₙ(j|i) ℼᵢ> O. Oleh karena itu limₙ → ꝏ
Pn (j|i)> 0, yang menurut Teorema 5.5 mengimplikasikan bahwa mⱼ <ꝏ. Jadi, j adalah keadaan
ergodik dan, karena rantai tidak dapat direduksi, semua keadaan adalah ergodik juga.
 5.4 Long-Time Behaviour of Markov Chains with Finite State Space
Perilaku Lama Rantai Markov dengan Ruang Negara Terbatas

Keberadaan Tj memainkan peran yang sangat penting dalam mempelajari langkah-langkah

invarian. Dalam apa yang berikut kita akan menyelidiki pertanyaan ini dalam kasus ketika ruang
negara S terbatas.

Teorema 5.7

Misalkan S terbatas dan matriks transisi P = [p(jli)] dari rantai Markov pada S memenuhi kondisi
(5.54)
Kemudian, batas berikut ada untuk semua i, j S dan independen dari i:
lim pn(jli) = ffj. (5.55)
Angka-angka Tj memuaskan

Tj > 0,j G S dan = 1. (5.56)

jes
Sebaliknya, jika urutan angka Tj, j S memenuhi kondisi (5,55)—(5,56), maka asumsi (5,54) juga
puas.

Bukti
Menunjukkan matriks Pno = [pno(jli)] oleh Q = [q(jli)]. Kemudian proses = , k e N, adalah rantai
Markov pada S dengan matriks probabilitas transisi Q memuaskan (5,54) tanpa sama dengan 1.
Perhatikan bahwa (jli) = qk(jli) karena persamaan Chapman— Kolmogorov. Misalkan properti
(5,55)—(5,56) berlaku untuk Q. Secara khusus, lirnk *00 (jli) = Tj ada dan independen dari i.
Kami mengklaim bahwa mereka juga berlaku untuk matriks asli P. Jelas, satu hanya perlu
memeriksa kondisi (5,55). Chapman—Persamaan Kolmogorov (dan fakta bahwa S terbatas)
menyiratkan bahwa untuk setiap r = 1, • • • • , tidak – 1

Jika untuk urutan an, n G N, ada angka alami tidak sedemikian rupa sehingga untuk setiap r G
{0, 1 1} batas limk Pkno Uli) = ′lrj ada dan r-independen, maka urutannya adalah
konvergen dengan batas umum dari subsequence tersebut, kami menyimpulkan bahwa (5,55)
puas.
Amati bahwa Mo(j) = 1 dan mo(j) = 0 untuk semua j e S. Dari Chapman— Persamaan
Kolmogorov itu mengikuti bahwa urutan Mn(j), n G N, menurun, sementara urutan mn(j), n e N,
meningkat. Memang, sejak Ek p(kli)

Oleh karena itu, dengan mengambil minimum atas semua i e S, kami tiba di

Demikian pula,

Teorema 5.8
Misalkan matriks transisi dari rantai Markov (n, n e N, memenuhi asumsi (5,54).
Tunjukkan bahwa ada ukuran invarian yang unik g. Selain itu, untuk beberapa A > 0, dan a < 1

Bukti (bagian sebaliknya dari Theorem 5.7)

Menempatkan

Sejak pn(jli) Tj untuk semua i, j S, tidak ada G N, sedemikian rupa sehingga Pk(jli) 2 E untuk
semua untuk k no dan (i, j) e S2 . Menempatkan k = tidak ada bukti bahwa (5,54) puas.

Mari kita amati bahwa kita hanya menggunakan dua fakta: Tj > 0 untuk semua j G S, dan pn(jli)
—+ untuk semua i, j G S. O