Teoria Elementar das Cadeias de Markov

PE0809
7 de Maio de 2009
1 Preambulo
Estas notas foram desenvolvidas tomando como principais guias os textos indicados
nas referencias bibliogracas, em particular [9], obra que o leitor nao deve deixar de
consultar. No entanto, o estudo das cadeias de Markov a este nvel pode ser efectuado
com proveito usando o livro de texto adoptado para a disciplina. Sublinhamos que o
nosso objectivo e o de facilitar uma primeira abordagem ao assunto, entendendo-se que
qualquer estudo mais aprofundado requerera a leitura e reexao sobre os textos classicos
indicados na bibliograa.
2 Introducao
Muitos fenomenos de evolucao a tempo discreto podem ser estudados no quadro con-
ceptual seguinte. Consideramos uma populacao. Cada elemento desta populacao pode
encontrar-se em cada instante num determinado estado. O conjunto dos estados em
que os elementos da populacao se podem encontrar e nito ou innito numeravel. Por
exemplo, considere-se a populacao composta pelos jogadores portugueses das equipas
das primeiras ligas da Europa que podem vir a integrar a seleccao nacional. Pelas suas
caractersticas fsicas e pelo papel que desempenham nos jogos podemos classica-los em
guarda-redes (G), defesas (D), centrais (C) e atacantes (A). Ha a considerar ainda os
jogadores que nao jogam (por motivo de lesao de recuperacao ou por motivos tacticos)
e que, por isso, estao no banco (B). Neste exemplo, o espaco ou conjunto dos estados
pode ser representado por S = {A, C, D, G, B}.
Em seguida podemos pretender estipular a forma como evolue a classicacao dos
elementos da populacao segundo o estado em que se encontram. Denominamos por X
n
a variavel aleatoria, denida no conjunto da populacao e tomando valores em S que
nos da, `a data n N, a situacao de cada elemento da populacao. Uma das formas de
especicar a forma como se altera a situacao da populacao ao longo do tempo e supor
conhecida, para cada i, j S e para cada n N, a probabilidade
p
ij
(n) := P[X
n+1
= j | X
n
= i] ,
isto e, a probabilidade de sabendo que `a data n se esta no estado i, `a data n+1 car no
estado j. Em certos casos a lei de evolucao dada por p
ij
(n), nao depende da data em
1
Captulo VI Cadeias de Markov Seccao: 2
que nos encontramos, isto e, p
ij
(n) p
ij
. No que vai seguir-se consideraremos sempre
este caso, o das cadeias de Markov
1
homogeneas, salvo mencao explcita em contrario.
Voltando, de seguida. ao exemplo. O treinador da nossa seleccao acredita na po-
livalencia dos seus potenciais jogadores. Assim, suponhamos que apos cada jornada e
tomando em consideracao o desempenho de cada jogador, nos jogos dessa jornada, as-
sim como os objectivos denidos para a seleccao, o treinador da seleccao decide qual a
funcao que cada jogador desempenhara no jogo seguinte. A observacao de um n umero
suciente de jogos pode dar-nos a ideia da forma como se efectuam as transicoes en-
tre estados. Assim suponhamos que se observou pelas informacoes que o seleccionador
tornou p ublicas que:
A probabilidade que um defesa (respectivamente atacante, central, guarda-redes)
continue defesa (respectivamente atacante, central, guarda-redes) e 0.8 e a pro-
babilidade que um defesa (respectivamente atacante, central, guarda-redes) passe
para o banco e 0.2.
A probabilidade que um jogador do banco passe a defesa (respectivamente ata-
cante, central, guarda-redes) e 0.2 sendo que, em consequencia, a probabilidade
que um jogador que no banco e 0.2.
Estas observacoes podem ser sistematizadas numa matriz P = [p
ij
]
i,jS
, a que se da o
nome de matriz de transicao entre estados a um passo da cadeia de Markov,
P =
_
_
_
_
_
_
0.8 0 0 0 0.2
0 0.8 0 0 0.2
0 0 0.8 0 0.2
0 0 0 0.8 0.2
0.2 0.2 0.2 0.2 0.2
_
_
_
_
_
_
em que se tem p
ij
:= P[X
n+1
= j | X
n
= i] para cada i, j S, de acordo com as
decisoes do seleccionador que observamos. Relembremos que se trata-se de uma matriz
em que cada elemento p
ij
representa a probabilidade de estar numa certa data no estado
j S, sabendo que na data imediatamente anterior estava no estado i S; forcosamente
ter-se-a que para cada linha i S da matriz P,

jS
p
ij
= 1.
Na gura 1 representamos o grafo dirigido da cadeia de Markov que e construdo a
partir da matriz de transicao da cadeia deste exemplo. O metodo e simples. Os estados
sao os vertices e existe um arco entre os vertices i e j se e so se p
ij
> 0.
Pelo menos nos exemplos mais simples, muitas propriedades relevantes das cadeias
de Markov podem ser determinadas por inspeccao do grafo que lhe esta associado.
Regra geral, consideramos que e observavel a distribuicao inicial da populacao pelos
estados do conjunto S. Assim, suponhamos que inicialmente se observou uma distri-
buicao dos jogadores pelos estados em que G = 18, D = 72, C = 54, A = 54 e B = 216.
1
Andrei Andreyevich Markov, matematico russo nascido em Ryazan em 1856, professor na Uni-
versidade de S. Petersburgo, foi pioneiro no estudo dos processos estocasticos que tem o seu nome.
O leitor devera consultar a pagina http://www-gap.dcs.st-and.ac.uk/ history/Biographies/Markov.html
para amplas informacoes biogracas sobre este matematico.
PE0809 2 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 3
Figura 1: Grafo da cadeia de Markov no exemplo dos jogadores para a seleccao
Se considerarmos a variavel aleatoria X
0
que descreve a situacao de um jogador por-
tugues que possa integrar a seleccao no momento inicial tem-se que:
P[X
0
= G] =
18
414
, P[X
0
= D] =
72
414
, P[X
0
= C] =
54
414
= P[X
0
= A] , P[X
0
= B] =
216
414
.
Sob certa condicao
2
que estudaremos detalhadamente a seguir, a matriz de transicao a
um passo P e da distribuicao inicial X
0
sao sucientes para determinar o comportamento
a longo prazo da sucessao (X
n
)
nN
.

E esse o estudo que pretendemos desenvolver com
estas notas.
3 Simulacao de uma variavel aleatoria discreta com lei dada
Nesta seccao chamamos a atencao do leitor para um resultado com importancia para o
que vai seguir-se mas que e tambem relevante para as aplicacoes ligadas `a simulacao.
Seja X for uma variavel aleatoria discreta, tomando os valores (
k
)
kN
R
N
, com
as probabilidades (p
k
)
kN
R
N
+
tais que

+
k=0
p
k
= 1. Isto e, a lei de X ou a sua
distribuicao e dada por:
P[X =
k
] = p
k
.
Considere-se agora a variavel aleatoria Y denida por:
Y () :=
+

k=0

k
I
]
P
k1
i=0
p
i
,
P
k
i=0
p
i
]
(U()) , (1)
em que U e uma variavel aleatoria com distribuicao uniforme sobre [0, 1] e em que por
convencao se considerara que

1
k=0
p
k
= 0.
2
A propriedade de Markov.
PE0809 3 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 4
Proposicao 1. Tem-se entao que L
X
= L
Y
.
Demonstra cao.

E uma simples vericacao. Com efeito, como (]

k1
i=0
p
i
,

k
i=0
p
i
])
k{0,1,... }
e uma famlia de intervalos que forma uma particao de ]0, 1] tem-se que na formula 1
{Y =
k
}
_
U
_
k1

i=0
p
i
,
k

i=0
p
i
__
,
pelo que uma vez que sendo U uniforme em ]0, 1] se tem P[U ]a, b]] = b a,
P[Y =
k
] =
k

i=0
p
i

k1

i=0
p
i
= p
k
= P[X =
k
] ,
tal como queramos demonstrar.
Observacao 1. Este resultado mostra que para poder simular uma variavel aleatoria com
lei dada, isto e, tal que se conhecam os valores tomados bem como as probabilidades
com que esses valores sao tomados basta poder simular uma variavel aleatoria com
distribuicao uniforme em [0, 1]. Este resultado e assim de grande utilidade uma vez
que regra geral os geradores de n umeros pseudo-aleatorios dao n umeros uniformemente
distribudos em [0, 1].
4 As cadeias de Markov
4.1 A denicao; transicoes a um passo
Comecamos por observar que dado que S e numeravel podemos sempre considerar, sem
perda de generalidade que S = N no caso em que S e innito e que S = {1, 2, . . . , N} se
S tiver N elementos.
Notacao 1. Salvo indicacao expressa em contrario, no que vai seguir-se supomos que,
ou se tem S = N ou entao, para um dado N N

verica-se que S = {1, 2, 3, . . . , N}.

No caso em que S e innito consideraremos que a matriz de transicao a um passo
P e tambem uma matriz innita tendo-se entao:
P =
_
_
_
_
_
_
_
_
p
00
p
01
p
02
p
03
. . .
p
10
p
11
p
12
p
13
. . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
p
n0
p
n1
p
n2
p
n3
. . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
_
.
Note-se que uma consequencia da interpretacao que damos `a matriz P e que se tem:
i S

jS
p
ij
= 1 , (2)
PE0809 4 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 4
ou seja, a soma dos elementos em cada linha vale um. Uma matriz vericando esta
propriedade denomina-se matriz estocastica.
Denicao 1. Uma cadeia de Markov com espaco de estados S, distribuicao
inicial (p
i
)
iS
e matriz de transicao P = (p
ij
)
i,jS
e, por denicao, uma sucessao
(X
n
)
nN
de variaveis aleatorias tais que se vericam as seguintes propriedades.
1. Para qualquer i S tem-se que:
P[X
0
= i] = p
i
.
2. Para quaisquer i, j S, e n N verica-se que:
P[X
n+1
= j | X
n
= i] = p
ij
.
3. Para quaisquer n N e i
0
, i
1
, i
2
, . . . i
n1
, i
n
, j S, vale a condicao:
P[X
n+1
= j | X
0
= i
0
, X
1
= i
1
, . . . X
n1
= i
n1
, X
n
= i
n
] =
= P[X
n+1
= j | X
n
= i
n
] .
(3)
Observacao 2. A propriedade (1) diz-nos que a sucessao (p
i
)
iS
descreve a a distribuicao
inicial. A propriedade (2) diz que as probabilidades de transicao a um passo sao-nos da-
das pelos elementos da matriz P e a conjuncao das propriedades (2) e (3) e a denominada
propriedade de Markov. Esta propriedade, mais precisamente a formula 3, diz-nos
que dado o presente (X
n
), entao o futuro (X
n+1
) e o passado (X
0
, X
1
, . . . X
n1
) sao
independentes. Esta propriedade e um primeiro compromisso entre a propriedade de in-
dependencia da sucessao (X
n
)
nN
e outras relacoes de dependencia mais restritivas mas
para as quais os calculos se tornam muito difceis e as propriedades menos interessantes.
Vamos, de seguida, vericar que a partir de um sistema dinamico se pode, de facto,
construir uma cadeia de Markov com distribuicao inicial e matriz de transicao a um
passo dadas.
PE0809 5 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 4
Proposicao 2. Consideremos que S = N. Seja (p
k
)
k0
[0, 1]
N
tal que

+
k=0
p
k
= 1 e a variavel aleatoria X
0
descrevendo a cadeia no instante inicial
dada por:
X
0
=
+

k=0
kI
]
P
k1
i=0
p
i
,
P
k
i=0
p
i
]
(U
0
) ,
com U
0
variavel aleatoria uniformemente distribuda em [0, 1], convencionando-
se que

1
i=0
p
i
= 0. Dena-se a funcao f de N R em R por
f(i, u) :=
+

k=0
k I
]
P
k1
j=0
p
ij
,
P
k
j=0
p
ij
]
(u) , (4)
(U
n
)
nN
uma amostra da lei uniforme sobre [0, 1] e dena-se a sucessao de
variaveis aleatorias (X
n
)
n1
por:
X
n+1
= f(X
n
, U
n+1
) , (5)
entao (X
n
)
nN
e uma cadeia de Markov com espaco de estados S, distribuicao
inicial X
0
e matriz de transicao P = (p
ij
)
i,jS
.
Demonstra cao. Pela proposicao 1 temos que P[X
0
= k] = p
k
pelo que a primeira pro-
priedade da denicao esta vericada. Uma consequencia imediata da formula 5, que se
demonstra sem diculdade por inducao, e que X
n
depende apenas de U
0
, U
1
, . . . , U
n
.
Para i, j S temos que:
P[X
n+1
= j | X
n
= i] = P[f(X
n
, U
n+1
) = j | X
n
= i] = P[f(i, U
n+1
) = j | X
n
= i] =
(a)
= P[f(i, U
n+1
) = j] =
(b)
p
ij
,
com as justicacoes seguintes:
(a) Uma vez que, por hipotese, U
n+1
e independente de (U
0
, U
1
, . . . , U
n
) tem-se que
U
n+1
e independente de X
n
, em consequencia da observacao feita acima.
(b) Uma vez que pela formula 4 se tem
{f(i, U
n+1
) = j} =
_
U
n+1

_
j1

l=0
p
il
,
j

l=0
p
il
__
e como U
n+1
U([0, 1]), verica-se P[U
n+1
]a, b]] = b a.
Fica assim demonstrada a segunda propriedade da denicao. Para demonstrarmos a
terceira propriedade observe-se que para n N e para i
0
, i
1
, i
2
, . . . i
n1
, i, j S se
tem:
P[X
n+1
= j | X
0
= i
0
, X
1
= i
1
, . . . X
n1
= i
n1
, X
n
= i] =
= P[f(i, U
n+1
) = j | X
0
= i
0
, X
1
= i
1
, . . . X
n1
= i
n1
, X
n
= i] =
(a)
= P[f(i, U
n+1
) = j] = p
ij
,
PE0809 6 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 4
em que (a) se justica por se ter, em consequencia da observacao feita acima, que U
n+1
e independente de X
0
, X
1
, . . . X
n
.
A proposicao 2 e de grande utilidade para simular uma cadeia de Markov. Para
esse efeito requer-se apenas uma sucessao de variaveis aleatorias iid com distribuicao
uniforme no intervalo [0, 1].
A proposicao seguinte caracteriza a cadeia de Markov descrevendo as distribuicoes
marginais.
Proposicao 3. Seja a sucessao de variaveis aleatorias X = (X
n
)
n0
. Entao
X e uma cadeia de Markov com espaco de estados S, distribuicao inicial X
0
e
matriz de transicao P = (p
ij
)
i,jS
se e so se para i
0
, i
1
, . . . , i
N
pertencentes ao
espaco dos estados S se vericar:
P[X
0
= i
0
, X
1
= i
1
, . . . , X
N
= i
N
] = p
i
0
p
i
0
i
1
p
i
1
i
2
. . . p
i
N1
i
N
. (6)
Demonstra cao. Observe-se que para dois conjuntos A, B se tem que P[A B] = P[A |
B] P[B]. Em consequencia pode escrever-se
P[X
0
= i
0
, X
1
= i
1
, . . . , X
N
= i
N
] = P[X
N
= i
N
| X
0
= i
0
, X
1
= i
1
, . . . , X
N1
= i
N1
]
P[X
0
= i
0
, X
1
= i
1
, . . . , X
N1
= i
N1
]
Pela mesma razao podemos reescrever o termo mais `a direita na ultima formula,
P[X
0
= i
0
, X
1
= i
1
, . . . , X
N1
= i
N1
] = P[X
N1
= i
N1
| X
0
= i
0
, X
1
= i
1
, . . . , X
N2
= i
N2
]
P[X
0
= i
0
, X
1
= i
1
, . . . , X
N2
= i
N2
]
Por inducao vira entao:
P[X
0
= i
0
, X
1
= i
1
, . . . , X
N
= i
N
] = P[X
0
= i
0
] P[X
1
= i
1
| X
0
= i
0
]
P[X
N
= i
N
| X
0
= i
0
, X
1
= i
1
, . . . , X
N1
= i
N1
] ,
o que pela propriedade de Markov implica a formula 6. Suponhamos agora vericada
esta formula. Somando sobre todos os estados i
N
S tem-se que, em resultado da
condicao 2 sobre as linhas da matriz de transicao que:

i
N
S
P[X
0
= i
0
, X
1
= i
1
, . . . , X
N
= i
N
] =
_
p
i
0
p
i
0
i
1
p
i
1
i
2
. . . p
i
N2
i
N1
_
_
_

i
N
S
p
i
N1
i
N
_
_
=
= p
i
0
p
i
0
i
1
p
i
1
i
2
. . . p
i
N2
i
N1
,
pelo que a formula 6 e valida tambem para N 1. Por inducao, usando um argumento
do mesmo genero, pode mostrar-se que a formula 6 e valida para n = 0, 1, 2, . . . N. Para
n = 0 tem-se que P[X
0
= i
0
] = p
i
0
, o que mostra qual e a distribuicao inicial da cadeia.
PE0809 7 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 4
Para n = 0, 1, 2, . . . N 1 tem-se, usando a formula 6 que e valida para todos estes
valores de n, que:
P[X
n+1
= i
n+1
| X
0
= i
0
, . . . , X
n
= i
n
] =
P[X
0
= i
0
, X
1
= i
1
, . . . , X
n
= i
n
, X
n+1
= i
n+1
]
P[X
0
= i
0
, X
1
= i
1
, . . . , X
n
= i
n
]
=
=
p
i
0
p
i
0
i
1
p
i
1
i
2
. . . , p
i
n1
i
n
, p
i
n
i
n+1
p
i
0
p
i
0
i
1
p
i
1
i
2
. . . p
i
n1
i
n
= p
i
n
i
n+1
pela denicao da probabilidade condicional usual. Esta entao vericado que X e uma
cadeia de Markov de acordo com a denicao 1.
4.2 As transicoes de ordem superior
Seja P = [p
ij
]
i,jS
a matriz de transicao a um passo de uma cadeia de Markov. Faz
sentido denir para qualquer n 0 a matriz de transicao de ordem superior P
n
=
[p
(n)
ij
]
i,jS
. Com efeito, comecamos por convencionar que P
0
= Id
S
, isto e a matriz
[a
ij
]
i,jS
tal que para qualquer i S se tem a
ii
= 1 e para quaisquer i, j S com i = j,
a
ij
= 0. Seguidamente, podemos denir a matriz P
2
= P P = [p
(2)
]
ij
]
i,jS
com auxlio
da formula que nos nos da o termo generico do produto de matrizes usual:
p
(2)
ij
=

kS
p
ik
p
kj
. (7)
Note-se que no caso em que S e innito se tem que a serie na formula 7 e uma serie
convergente uma vez que

kS
p
ik
p
kj


kS
p
ik
1, dado que para k S se tem
0 p
kj
1. Em seguida, por inducao e com o mesmo metodo, supondo que denimos
para qualquer n 2 a matriz P
n1
= [p
(n1)
ij
]
i,jS
, podemos denir, com o produto
usual de matrizes,
P
n
= P P
n1
= P
n1
P = [p
(n)
ij
]
i,jS
com p
(n)
ij
=

kS
p
ik
p
(n1)
kj
=

kS
p
(n1)
ik
p
kj
. (8)
A proposicao seguinte mostra-nos que o elemento p
(n)
ij
da matriz das transicoes de
ordem superior P
n
, pode ser interpretado como dando a probabilidade de partindo do
estado i S chegar ao estado j S em n passos.
Proposicao 4. Para n 0 e i, j S tem-se:
p
(n)
ij
= P[X
n
= j | X
0
= i] . (9)
Demonstra cao. Podemos fazer a demonstracao por inducao. Com efeito, para n = 0
tem-se, pela denicao de P
0
= Id
S
, que:
p
(0)
ij
= P[X
0
= j | X
0
= i] =
_
1 se i = j
0 se i = j .
PE0809 8 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 4
Para n = 1 tem-se, uma vez que P
1
= P e que a cadeia de Markov e homogenea, que:
p
(1)
ij
= P[X
1
= j | X
0
= i] = P[X
k+1
= j | X
k
= i] = p
ij
.
Para n = 2 tem-se, com a denicao acima que P
2
= PP, a seguinte cadeia de igualdades:
P[X
2
= j | X
0
= i] = P[{X
2
= j} | X
k
= i] = P
_
{X
2
= j}
_
kS
{X
1
= k} | X
k
= i
_
=
(a)
=

kS
P[X
2
= j , X
1
= k | X
0
= i] =
(b)

kS
P[X
2
= j, X
1
= k, X
0
= i]
P[X
0
= i]
=
(c)
=

kS
p
i
p
ik
p
kj
p
i
=

kS
p
ik
p
kj
=
(d)
p
(2)
ij
,
com as justicacoes imediatas seguintes.
(a) Em resultado das propriedades imediatas de uma probabilidade enquanto medida,
ou entao, mais intuitivamente, somando sobre todas as possibilidades para os es-
tados intermedios de X
1
, uma vez que a cadeia vai de X
0
a X
2
passando por
X
1
.
(b)

E apenas a denicao da probabilidade condicional usual.
(c)

E o resultado imediato da proposicao 3 e de termos que P[X
0
= i] = p
i
.
(d) Resulta imediatamente da formula 7.
Suponhamos agora que o enunciado e valido para n = 0, 1, 2, . . . , N. Com o mesmo
metodo temos a seguinte cadeia de igualdades.
P[X
N+1
= j | X
0
= i] =
(a)

kS
P[X
N+1
= j, X
1
= k, X
0
= i]
p
i
=
(b)
=

kS
P[X
N+1
= j | X
1
= k, X
0
= i] P[X
1
= k, X
0
= i]
p
i
=
(c)
=

kS
P[X
N+1
= j | X
0
= i] P[X
1
= k | X
0
= i] =
(d)
=

kS
p
N
kj
p
ik
=
(e)
p
(N+1)
ij
,
Em que as igualdades assinaldas (a), (b), . . . (e) admitem as justicacoes seguintes.
(a) Da mesma forma que anteriormente, somando sobre todas as possibilidades para os
estados intermedios de X
1
, usando a denicao usual de probabilidade condicional
e o facto de se ter P[X
0
= i] = p
i
.
(b) Dado que pela denicao de probabilidade condicional usual se verica imediata-
mente que:
P[X
N+1
= j, X
1
= k, X
0
= i] = P[X
N+1
= j | X
1
= k, X
0
= i]P[X
1
= k, X
0
= i] .
PE0809 9 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 4
(c) Como estamos em presenca de uma cadeia de Markov e homogenea tem-se imedi-
atamente que:
P[X
N+1
= j | X
1
= k, X
0
= i] = P[X
N
= j | X
0
= k] .
Tendo-se ainda pela deniocao de probabilidade condicional que:
P[X
1
= k, X
0
= i]
p
i
= P[X
1
= k | X
0
= i] .
(d) Resulta de termos pela hipotese de inducao que:
P[X
N
= j | X
0
= k] = p
(N)
kj
e P[X
1
= k | X
0
= i] = p
ik
.
(e) Resulta imediatamente da formula 8.
Fica assim demonstrada a proposicao.
O corolario seguinte mostra que as matrizes de transicao de ordem superior permitem
calcular as distribuicoes de cada uma das variaveis do processo X.
Corolario 1. Se (p
(n)
j
)
jS
representar a lei de X
n
, isto e, se P[X
n
= j] = p
(n)
j
, entao:
p
(n)
j
=

iS
p
i
p
(n)
ij
.
Demonstra cao. Tem-se, obviamente, em resultado da proposicao anterior que:
P[X
n
= j] =

iS
P[X
n
= j | X
0
= i] P[X
0
= i] =

iS
p
i
p
(n)
ij
,
uma vez que se verica que
P[X
n
= j | X
0
= i] P[X
0
= i] = P[X
n
= j, X
0
= i]
pela denicao de probabilidade condicional usual.
A proposicao fundamental seguinte mostra como se relacionam as probabilidades de
transicao a passos diferentes.
Proposicao 5 (As equacoes de Chapman-Kolmogorov). Seja X uma cadeia de
Markov com matriz de transicao a um passo P = [p
ij
]
i,jS
. Seja para cada
n N, P
n
= [p
(n)
ij
]
i,jS
o produto da matriz de transicao p por ela propria
efectuado n vezes. Entao para quaisquer m, nN tem-se que:
p
(n+m)
ij
=

kS
p
(n)
ik
p
(m)
kj
=

kS
p
(m)
ik
p
(n)
kj
. (10)
PE0809 10 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 5
Demonstra cao.

E uma simples consequencia de se ter P
n+m
= P
n
P
m
= P
m
P
n
em
virtude da propriedade associativa do produto usual de matrizes.
Observacao 3. No caso de uma cadeia de Markov com um n umero nito de estados ha
pelo menos dois metodos praticos gerais para determinar p
(n)
ij
, para quaisquer estados
i e j. O primeiro no caso em que a matriz P tem dimensao 2 ou 3 (ou tem uma
estrutura simples em que os termos nao nulo sao uma pequena percentagem do total)
pode-se tentar calcular directamente o produto P
n
por inducao. Regra geral, mesmo
num espaco de estados com cardinalidade 3, e ecaz utilizar a analise espectral da matriz
P. Para esse efeito dever-se-a, no caso em que a matriz for diagonalizavel:
1. Determinar os valores proprios de P, achando as razes do determinante da matriz
P I
#S
em que I
#S
e a matriz identidade #S #S.
2. Determinar uma base de vectores proprios resolvendo o sistema em X: PX = X
em que percorre o conjunto dos valores proprios de P.
3. Representar a matriz P na forma P = MDM
1
em que M e a matriz em que as
colunas sao sao dadas pelas componentes dos vectores proprios, e D e a matriz dia-
gonal em que os elementos da diagonal sao os valores proprios na mesma ordem em
que foram colocados os vectores proprios na matriz M. Verica-se imediatamente
que se tem
P
n
= MD
n
M
1
.

E calro que se os valores proprios

1
, . . .
M
forem distintos entao ter-se-a que a forma
gerla de p
(n)
ij
e dada por:
p
(n)
ij
= a
1
(ij)
n
1
+a
2
(ij)
n
2
+ +a
M
(ij)
n
M
,
em que os termos a
k
(ij) so dependem de i e j. Note-se que esta metodologia pode ser
facilmente programada em qualquer linguagem que permita o calculo simbolico. Veja-se,
por exemplo, o guiao n umero tres para as aulas praticas computacionais.
Notacao 2. Seguidamente poderemos usar a notacao:
P
i
[ ] = P[ | X
0
= i] . (11)
Note-se que de acordo com a denicao usual da probabilidade condicional, P
i
e uma
medida de probabilidade
3
.
5 Tempos de paragem
Nesta seccao vamos introduzir, no contexto das cadeias de Markov, os tempos de paragem
ja estudados em captulos anteriores.
Seja B S um qualquer subconjunto do espaco dos estados. Seja X = (X
n
)
nN
uma
cadeia de Markov.
3
Recomendamos que o leitor verique este facto.
PE0809 11 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 5
Denicao 2. O tempo para o processo X atingir B
a
e. por denicao,

B
= inf {n N : X
n
B} (12)
Para B = {j} escrevemos
B
=
j
.
a
A designacao em lngua Inglesa hitting time of B deve ser retida pelo leitor em virtude de
ser uma nocao de enorme importancia.
Observacao 4. Dado que X
n
e uma variavel aleatoria, tem-se que
B
e tambem aleatorio.
Se suposermos que S esta munido da algebra discreta, tem-se que
B
e tambem um
tempo de paragem, no sentido em que foi denido no texto sobre a teoria das martingalas.
A denicao seguinte formaliza a ideia de da possibilidade de atingir um estado a
partir de outro (distinto do primeiro) em tempo nito.
Denicao 3. Um estado j S diz-se acessvel a partir de um estado i S (e
escrevemos, nesse caso, i j) se e so se se verica que:
P
i
[
j
< +] = P[
j
< +| X
0
= i] > 0 . (13)
Observacao 5. Note-se que, pela denicao, todo o estado e trivialmente acessvel a partir
dele proprio, uma vez que P[
i
= 0 | X
0
= i] = 1. De acordo com uma das interpretacoes
que temos vindo a utilizar, o estado j e atingvel a partir do estado i se ha um conjunto de
elementos da populacao (os ) de medida P positiva, em que, partindo inicialmente
de i se atinge j num tempo nito.
A proposicao seguinte fornece-nos um criterio para determinar se se verica ou nao
i j para dois estados distintos, a partir das potencias da matriz de transicao a um
passo.
Proposicao 6. Para estados distintos i, j S as armacoes seguintes sao
equivalentes.
(i) i j
(ii) p
(n)
ij
> 0 para algum n 0.
Demonstra cao. Para mostrar que a segunda proposicao implica a primeira, observe-
se que se `a data n a cadeia atingir o estado j entao o tempo para X atingir {j} e,
necessariamente, inferior ou igual a n, isto e, tem-se que:
{X
n
= j} {
j
n} {
j
< +} .
Em consequencia, e por se vericar {
j
< +} =
nN
{
j
n}, tem-se que:
P
i
[
j
< +] P
i
[
j
n] P
i
[X
n
= j] = p
(n)
ij
> 0 .
PE0809 12 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 5
Para vericarmos a implicacao no outro sentido suponha-se que para todo o n 0 se
tem p
(n)
ij
= 0. Tem-se, entao, a sequencia de estimativas seguinte:
P
i
[
j
< +] =
(a)
lim
n+
P
i
[
j
n] =
(b)
lim
n+
P
i
_
n
_
k=0
{X
k
= j}
_

(c)
limsup
n+
n

k=0
P
i
[X
k
= j] =
= limsup
n+
n

k=0
p
(k)
ij
=
(d)
0 .
Com as justicacoes que, a seguir, detalhamos.
(a) Tendo em conta que ({
j
n})
nN
e uma sucessao crescente tal vericando por isso
que lim
n+
{
j
n} =
nN
{
j
n} e que P
i
e uma medida (de probabilidade)
e que, por isso, se verica P
i
[lim
n+
{
j
n}] = lim
n+
P
i
[{
j
n}].
(b) Uma vez que {
j
n} =
n
k=0
{X
k
= j}, o que se verica sem diculdade recor-
rendo `a denicao de
j
.
(c)

E resultado da subaditividade da medida P
i
.
(d) Em consequencia do que admitimos para efeitos da demonstracao.
Fica assim demonstrada a proposicao.
Observacao 6. O estado j e acessvel a partir de i se e so se, ou se tem p
ij
> 0 ou entao,
N 2 k
1
, k
2
, . . . k
N1
S p
ik
N1
p
k
N1
k
N2
p
k
N2
k
N3
p
k
1
j
> 0 .
Com efeito, como vale p
(2)
ij
=

k
1
S
p
ik
1
p
k
1
j
tem-se obviamente, pelo teorema de Fubini
dado que os (eventuais) termos gerais das series sao nao negativos, que:
p
(2)
ij
=

k
2
S
p
ik
2
p
(2)
k
1
j
=

k
2
S
p
ik
2
_
_

k
1
S
p
k
2
k
1
p
k
1
j
_
_
=

k
1
S

k
2
S
p
ik
2
p
k
2
k
1
p
k
1
j
.
Por inducao, mostra-se da mesma forma que:
p
(n)
ij
=

k
1
,...k
N1
S
p
ik
N1
p
k
N1
k
N2
p
k
1
j
.
Como todos os termos da soma sao nao negativos p
(n)
ij
> 0 se e so se se verica a consicao
indicada acima.
Quando se considera uma situacao de simetria entre os estados e natural a denicao
seguinte.
Denicao 4. Dois estados i, j S comunicam (e escrevemos i j) se e so
se i j e j i.
PE0809 13 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 5
Proposicao 7. A relacao R denida sobre S por:
iRj i j ,
e uma relacao de equivalencia.
Demonstra cao. A reexividade e trivial uma vez que pela denicao, todo o estado e
acessvel a partir dele proprio. A simetria e uma propriedade imediata da relacao R
uma vez que a denicao 4 nao se altera se permutarmos i e j. A transitividade e uma
consequencia das equacoes de Chapmann-Kolmogorov e da proposicao 6. Com efeito,
suponhamos que para i, j, k S se tem i j e j k. Pela proposicao mencionada
tem-se que para um certo n se tem p
(n)
ij
> 0 e, da mesma forma, se tem para um certo
m, p
(m)
jk
> 0. Logo, em consequencia da formula 10, tem-se que:
p
(m+n)
ik
=

sS
p
(n)
is
p
(m)
sk
p
(n)
ij
p
(m)
jk
> 0 ,
pelo que, invocando, mais uma vez, a proposicao 6, se justica que i k, tal como
queramos demonstrar.
Em consequencia deste resultado temos as seguintes denicoes.
Denicao 5. Seja X uma cadeia de Markov com espaco de estados S.
1. Aos elementos do conjunto cociente S/R chamamos classes de comu-
nicacao.
2. A cadeia de Markov X e irredutvel se e so se #S/R = 1, isto e, se existir
apenas uma classe de comunicacao.
3. Um conjunto C S de estados (eventualmente, uma classe de estados)
diz-se fechado ( ou classe fechada) se e so se:
i C P
i
[
C
c = +] = 1 .
4. Um estado j S e absorvente se e so se {j} for um conjunto de estados
fechado.
Observacao 7. Note-se que para [i] S/R, a classe de equivalencia do estado i S, se
tem que: j [i] i j. Um conjunto C de estado e fechado se e so se partindo de um
qualquer estado de C a probabilidade de atingir um qualquer estado do complementar
de C, num tempo nito e nula.
A proposicao seguinte da-nos um meio de caracterizar os conjuntos de estados fecha-
dos e os estados absorventes a partir da matriz de transicao a um passo.
PE0809 14 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 6
Proposicao 8. Um conjunto de estados (eventualmente, uma classe de comu-
nicacao) C e fechada se e so se:
i C j C
c
p
ij
= 0 (14)
O estado j S e absorvente se e so se p
jj
= 1.
Demonstra cao. Suponhamos que se verica a condicao 14. Considere-se i C. Tem-se,
P
i
[
C
c = 1] =

jC
c
p
ij
= 0 .
Tambem se verica que:
P
i
[
C
c 2] = P
i
[
C
c = 1] +P
i
[
C
c = 2] = 0 +P[X
1
C, X
2
C
c
] =

jC
c

kC
p
ik
p
kj
= 0 .
Com um raciocnio do mesmo tipo tambem se mostra que se tem P
i
[
C
c n] = 0, para
qualquer n 1. Em consequencia:
P
i
[
C
c < +] = lim
n+
P
i
[
C
c n] = 0 ,
vericando-se assim que C e um conjunto de estados fechado.
6 Transiencia e Recorrencia
Nesta seccao vamos analizar o comportamento da cadeia de Markov no que diz respeito
ao n umero de vezes que a cadeia passa por um estado determinado.
Primeiramente vamos indicar um resultado de grande importancia cuja demonstracao
pode ser estudada numa das obras referidas na bibliograa, por exemplo [9].
Suponhamos que a cadeia parte de um dado estado i S com probabilidade um,
isto e, que se tem P[X
0
= i] = 1.
PE0809 15 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 6
Denicao 6. Sejam, por denicao:
O tempo de paragem que representa o tempo de retorno da cadeia ao
estado i de ordem zero e zero, isto e,
i
(0) := 0
O tempo de paragem que representa o tempo de retorno do processo ao
estado i, depois de ter sado desse estado, e

i
(1) := inf{m 1 : X
m
= 1} ,
isto e, dito de outra forma, o tempo de paragem correspondente `a primeira
vez que o processo regressa a i S.
Sobre {
i
(1) < +} dene-se tempo de paragem que representa o tempo
de retorno do processo ao estado i, depois de ter sado desse estado pela
segunda vez:

i
(2) := inf{m
i
(1) : X
m
= 1} ,
isto e, dito de outra forma, o tempo de paragem correspondente `a segunda
vez que o processo regressa a i S. Por inducao denes-se sobre {
i
(1) <
+, . . . ,
i
(n) < +}, tempo de paragem que representa o tempo de
retorno do processo ao estado i, depois de ter sado desse estado pela
enesima vez:

i
(n + 1) := inf{m
i
(n) : X
m
= 1} ,
isto e, dito de outra forma, o tempo de paragem correspondente `a enesima
mais uma vez que o processo regressa a i S.
O resultado seguinte e de capital importancia e resulta da propriedade de Markov.
Dveido ao seu caracter tecnico, contentar-nos-emos com uma formulacao intuitiva de-
vendo o leitor interessado consultar a obra [9] para um estudo completo e mais rigoroso.
Proposicao 9. As excursoes do processo entre os tempos de paragem
i
(k) sao
independentes e identicamente distribudas relativamente `a probabilidade
P
#
i
= P
i
[ |
i
(1) < +, . . . ,
i
(n) < +] .
Observacao 8. Esta proposicao diz-nos apenas que as partes da trajectoria do processo
entre quaisquer dois retornos sucessivos ao estado i sao independentes e identicamente
distribudas. Tal e natural uma vez que, em conseqencia da propriedade de Markov, de
cada vez que o processo retorna a i parte de novo, independentemente do que tenha sido
a sua trajectoria ate essa data.
Armados com este resultado surgem agora, naturalmente, os seguintes conceitos.
PE0809 16 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 6
Denicao 7. Seja X uma cadeia de Markov com espaco de estados S.
1. Um estado i S e um estado recorrente se e so se a cadeia regressa a i,
com probabilidade um, num n umero nito de passos, condicionalmente a
ter sado de i, isto e:
P
i
[
i
(1) < +] = 1 ,
ou ainda, se para a quase totalidade da populacao (isto e, a menos de
um conjunto de probabilidade nula), o processo regressa a i num n umero
nito de passos.
2. Um estado i S e um estado transiente se e so se, condicionalmente a
ter sado de i,
P
i
[
i
(1) = +] > 0 ,
isto e, se houver uma probabilidade positiva do processo nunca regressar
a i, ou ainda, se para uma percentagem nao nula da populacao o processo
nunca mais regressa a i.
3. Um estado i S e um estado recorrente positivo se e so se:
E
i
[
i
(1)] < +,
isto e, se o tempo medio de retorno a i, condicionalmente a ter sado de
i, e nito.
Notacao 3. Para j, k S a distribuicao do tempo para atingir k partindo de j, dada
por (f
(n)
jk
)
n0
, e a sucessao de termo geral dado por:
f
(n)
jk
:= P
j
[
k
(1) = n] .
Observacao 9. Note-se que f
jk
a probabilidade de atingir k partindo de j e dada por:
f
jk
=
+

n=0
f
(n)
jk
=
+

n=0
P
j
[
k
(1) = n] = P
j
[
k
(1) < +] . (15)
Observacao 10. Os seguintes factos sao consequencia directa das denicoes.
1.
k
(1) 1 f
(0)
jk
= 0.
2. O estado i S e recorrente se e so se f
ii
= 1. Com efeito, de acordo com a
formula 15, esta ultima condicao pode ser reescrita na forma P
i
[
i
(1) < +] = 1
que e, exactamente, a condicao de denicao de estado recorrente.
3. O estado i S e recorrente positivo se e so se

+
n=0
nf
(n)
ii
< +. Com efeito,
tem-se que esta condicao e equivalente a
E
i
[
i
(1)] =
+

n=0
nf
(n)
ii
< +.
PE0809 17 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 6
O nosso proposito, no que vai seguir-se, e de encontrar consicoes sobre a matriz de
transicao que caracterizem os estados recorrentes e transientes. Para esse efeito vamos
usar duas funcoes geradoras.
Denicao 8. Seja a funcao geradora do tempo para atingir j S a
partir do estado i S dada por:
s ]0, 1] F
ij
(s) :=
+

n=0
f
(n)
ij
s
n
.
Seja a funcao geradora das probabilidades
a
de atingir j S a partir
do estado i S dada por:
s ]0, 1] G
ij
(s) :=
+

n=0
p
(n)
ij
s
n
.
a
Note-se que nao se trata de uma funcao geradora de probabilidade de uma variavel
aleatoria, e apenas uma funcao geradora de uma dada sucessao.
Tem-se imediatamente o seguinte resultado tecnico importante.
Proposicao 10. Para i S, n 1 e 0 < s < 1:
p
(n)
ii
=
n

k=0
f
(k)
ii
p
(nk)
ii
, G
ii
(s) =
1
1 F
ii
(s)
. (16)
Para i, j S distintos , n 0 e 0 < s < 1:
p
(n)
ij
=
n

k=0
f
(k)
ij
p
(nk)
jj
, G
ij
(s) = F
ii
(s) G
jj
(s) . (17)
Demonstra cao. Vamos demonstrar ja de seguida a primeira das duas formulas 16. Observe-
se que {X
n
= i} {
i
n} logo verica-se a seguinte cadeia de igualdades.
p
(n)
ii
=
(a)
P
i
[X
n
= i] =
(b)
n

k=1
P
i
[X
n
= i,
i
(1) = k] =
(c)
n

k=1
P
i
[X

i
(1)+nk
= i,
i
(1) = k] =
(d)
=
n

k=1
P
i
[
i
(1) = k]P
i
[X
nk
= i] =
(e)
n

k=1
f
(k)
ii
p
(nk)
ii
,
em que as igualdades se justicam pelas razoes que apontamos de seguida.
(a)

E apenas a denicao.
(b) Dado que em consequencia da observacao feita acima, no incio da demonstracao,
se tem que P
i
[X
n
= i] = P
i
[X
n
= i,
i
(1) n] e ainda que {
i
(1) n} =

n
k=1
{
i
(1) = k}.
PE0809 18 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 6
(c) Uma vez que para qualquer {
i
(1) = k} se tem que:
X
n
() = X
n+kk
() = X

i
(1)()+nk
() .
(d) Utilizamos aqui a proposicao 9 que nos garante que entre os tempos de retorno ao
estado i as excursoes sao independentes e identicamente distribudas.
(e) Mais uma vez, apenas as denicoes.
Para demonstrarmos a segunda das formulas observe-se que, em consequencia da pri-
meira formula ja demonstrada,
G
ii
(s) 1 =
_
+

n=0
p
(n)
ii
s
n
_
1 =
+

n=1
p
(n)
ii
s
n
=
(a)
+

n=1
_
n

k=1
f
(k)
ii
p
(nk)
ii
_
s
n
=
(b)
=
+

k=1
_
+

n=k
p
(nk)
ii
s
nk
_
f
(k)
ii
s
k
=
(c)
G
ii
(s) F
ii
(s) .
Em que valem as seguintes justicacoes.
(a) Resulta da primeira formula ja demonstrada.
(b)

E uma consequencia do teorema de Fubini que se justica porque os termos gerais
das series sao nao negativos.
(c) Uma vez que

+
n=k
p
(nk)
ii
s
nk
=

+
n=0
p
(n)
ii
s
n
= G
ii
(s).
As formulas 17 demonstram-se com um raciocnio semelhante.
Proposicao 11 (Criterios para a recorrencia e para a transiencia). Seja X uma
cadeia de Markov com espaco de estados S e matriz de transicao a um passo
P = [p
ij
]
i,jS
.
O estado i S e recorrente se e so se f
ii
= 1, se e so se,

+
n=0
p
(n)
ii
= +.
O estado i S e transiente se e so se f
ii
< 1, se e so se,

+
n=0
p
(n)
ii
< +.
Demonstra cao. Na observacao 10 (pagina 17) ja tnhamos referido que o estado i e
recorrente se e so se f
ii
= 1. Tal implica, pelas denicoes, que:
1 = f
ii
=
+

n=0
f
(n)
ii
= F
ii
(1) .
Assim sendo, em consequencia das formulas 16 temos que i e recorrente se e so se:
lim
s1

G
ii
(s) = lim
s1

1
1 F
ii
(s)
= +.
Como se tem que G
ii
(s) |
s=1
=

+
n=0
p
(n)
ii
, o primeiro resultado anunciado segue.
PE0809 19 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 7
Observacao 11. Considere-se o o n umero de visitas a j apos a data n = 0. Esse n umero
pode ser representado por
N
j
:=
+

n=1
I
{X
n
=j}
,
uma vez que a soma no segundo membro da formula conta o n umero de vezes em que
se verica X
n
= j. O estado i S e recorrente se e so se o n umero medio de visitas
do processo ao estado i e innito. Com efeito, se i for recorrente, pela proposicao 11,
tem-se que:
E
i
[N
j
] =
+

n=1
E
i
[I
{X
n
=j}
] =
+

n=1
P
i
[X
n
= j] =
+

n=1
p
(n)
ij
= +,
tal como armamos.
7 Exerccios
Exerccio 1. Um
4
treinador de futebol na moda (cujo nome nao referimos para nao ferir susceptibili- [1]
dades clubsticas) acredita na polivalencia dos seus jogadores. Considera tres tipos de jogadores na sua
equipa: atacantes, defesas, e guarda-redes. Apos cada jogo reavalia os jogadores de forma a que no jogo
seguinte possa usa-los de acordo com as suas tacticas para o ataque/defesa. Alem disso, sempre que um
jogador incorre numa falta disciplinar coloca-o, de castigo, como guarda-redes no jogo seguinte. Depois
de ter experimentado este sistema uma epoca observou que a probabilidade que, de um jogo para o outro,
um atacante continue atacante e 1/2;
um atacante passe a defesa e zero;
um defesa passe a atacante e zero;
um defesa que defesa e 1/2;
um guarda-redes passe a atacante e 3/4;
um guarda-redes passe a defesa e zero;
No nicio do campeonato classicou o seu plantel da seguinte forma: doze atacantes, onze defesas e dois
guarda-redes. Depois pensou num modelo de cadeia de Markov homogenea para a evolucao da sua equipa.
Os alunos de PE vao ajuda-lo a entender o que lhe vai acontecer com este esquema, estudando a cadeia
de Markov subjacente ao modelo.
1. Identique os seguintes tems.
(a) O espaco de estados S.
(b) Um grafo dirigido correspondente `as transicoes.
(c) A matriz de transicao de estados P.
(d) A distribuicao inicial X
0
.
2. Determine, para este modelo, os seguintes resultados.
(a) A matriz de transicoes de ordem superior P
n
para n 1.
(b) As classes de comunicacao.
(c) As classes fechadas e os estados absorventes.
4
NB: Algumas questoes deste exerccio necessitam o estudo da totalidade da materia leccionada.
PE0809 20 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 7
3. A lei das variaveis X
n
. Se puder usar a calculadora diga o que vai acontcer no m do campeonato,
isto e, ao m de 35 jogos. Senao puder efectuar o calculo exactamante proponha um resultado
que ache plausvel.
4. Os estados transientes, recorrentes e os estados periodicos com, eventualmente, os respectivos
perodos.
5. A distribuicao estacionaria, se esta existir.
Exerccio 2 ([?] ex. 5.8, 5.9). Mostre que o passeio aleatorio (tal como foi denido no exerccio ??) [1]
pode ser considerado como uma cadeia de Markov.
Exerccio 3 ([?] ex. 5.16). Mostre que a relacao de comunicacao entre estados e uma relacao de [1]
equivalencia.
Exerccio 4 ([?] p. 193). Mostre que j S e recorrente se e so se:
P
+
n=0
p
(n)
ij
= +. Mostre que se [3]
i S e recorrente e se i comunica com j S entao j e recorrente.
Exerccio 5 ([?] ex. 5.20). Mostre que numa cadeia de Markov a dois estados, nao trivial, ambos os [1]
estados sao recorrentes.
Exerccio 6 ([?] ex. 5.21). Mostre que numa cadeia de Markov com espacos de estados nito existe [1]
pelo menos um estado recorrente.
Exerccio 7 ([?] ex. 5.22). Mostre que no passeio aleatorio simetrico o estado 0 (zero) e recorrente [1]
nulo.
Exerccio 8 ([?] ex. 5.23). Mostre que numa cadeia de Markov a dois estados todos os estados sao [1]
recorrentes positivos.
Exerccio 9 ([?] ex. 5.28). Mostre que se para uma dada cadeia de Markov, [2]
i, j S lim
n+
p
(n)
ij
=
j
,
X
jS

j
= 1
entao :=
P
jS

j

j
e a unica medida invariante da cadeia de Markov.
Exerccio 10 ([?] ex. 5.29). Mostre que se para uma dada cadeia de Markov, [2]
j S
j
= 0
entao nao existe medida invariante.
Exerccio 11 ([?] ex. 5.30). Mostre que se e forem medidas invariantes entao toda a combinacao [1]
convexa de e e uma medida invariante, isto e, se denirmos
[0, 1]

:= (1 ) + ,
entao,

e invariante.
Exerccio 12 ([?] ex. 5.32). Mostre que se for uma medida invariante, entao o suporte de esta [3]
contido no complementar em S do conjunto de estados transientes T, isto e,
suprt() S \ T .
Exerccio 13 ([?] p. 194). Estude detalhadamente a cadeia de Markov denida pelo passeio aleatorio [3]
simetrico de acordo com o que foi feito no exerccio 1.
PE0809 21 7 de Maio de 2009
Captulo VI Cadeias de Markov Seccao: 7
Referencias
[1] Michel Benam, Nicole El Karoui, Promenade Aleatoire, Les editions de

Ecole
Polytechnique, 2004.
[2] William Feller, An Introduction to Probability Theory and its Applications, John
Wiley & Sons, 1968.
[3] Daniel Flipo, Chanes de Markov, Cours D.E.S.S. 2005-2006, Universite des Sci-
ences et Technologies de Lille.
[4] Samuel Karlin, Howard M. Taylor, A First Course in Stochastic Processes, second
edition, Academic Press, 1975.
[5] Joao Tiago Mexia, Notas de licoes para Processos Estocasticos I, FCT/UNL,
2001.
[6] Joao Tiago Mexia, Vortices estocasticos, Actas dos III Coloquios Actuariais,
FCT/UNL, 1999.
[7] James R. Norris, Markov Chains, Cambridge Univeristy Press, 1998.
[8] Emmanuel Parzen, Stochastic Processes, SIAM 1999.
[9] Sidney I. Resnick, Adventures in Stochastic Processes, Birkhauser, 2002.
[10] Sheldon M. Ross, Stochastic Processes, second edition, John Wiley & Sons, 1996.
[11] Sheldon M. Ross, Probability Models, eighth edition, Academic Press, 2003.
[12] Daniel W. Stroock, An Introduction to Markov Processes, Springer, 2005.
PE0809 22 7 de Maio de 2009