VII Bienal da Sociedade Brasileira de Matemtica

Universidade Federal de Alagoas

Cadeias de Markov

Ali Golmakani
Ayane Adelina da Silva
Emanoel Mateus dos Santos Freire
Myrla Kedynna Barbosa
Pedro Henrique Gomes de Carvalho
Vitor de Lima Alves

Macei
2014

Prefcio
Neste material faremos uma introduo as Cadeias de Markov, com alguns
exemplos e aplicaes. O tema baseia-se no fato de que a maioria dos estudos
em probabilidade tem lidado com processos de ensaios independentes, que so
a base da teoria da probabilidade clssica e estatstica.
Em 1907, o matemtico russo Andrei Andreyevich Markov comeou o
estudo de um importante tipo de processo. Neste processo, apenas o resultado de uma dada experincia atual pode afetar o resultado da experincia
seguinte, ou seja as experincias anteriores no inuenciam as experincias
futuras. Tal propriedade conhecida como "perda de memria"ou Propriedade de Markov, e o que caracteriza uma Cadeia de Markov (tambm
conhecida como Processo Markoviano).
Este texto foi desenvolvido para dar referncia ao minicurso Cadeias de
Markov, apresentado durante a VII Bienal da Sociedade Brasileira de Matemtica realizada em Macei no ano de 2014.
Gostaramos de agradecer a dois grandes amigos, Lucas Luan de Moura
Lima e Antnio Marcos Larangeira Lima, por terem dedicado tempo e empenho para o desenvolvimento do programa utilizado durante o minicurso e
ao professor Krerley Irraciel Oliveira pelo incentivo e o tempo cedido em seus
seminrios semanais para o aperfeioamento deste trabalho. Ao amigo Diogo
Carlos pela ajuda constante e ao professor Isnaldo Isaac por todo incentivo
e sua constante disponibilidade em nos ajudar. E por m, agradecemos ao
Comit Cientco da V II Bienal da Sociedade Brasileira de Matemtica por
terem nos dado a oportunidade de ministrar este minicurso e ao Instituto de
Matemtica da Universidade Federal de Alagoas.

Sumrio
1 Especicando uma cadeia de Markov

2 Cadeias Absorventes

3 Cadeias Irredutveis

11

4 Teorema da Convergncia

13

5 A Runa do Jogador

15

6 Aplicaes de Cadeias de Markov Regulares no PageRank

21

1.1 Matriz de Transio . . . . . . . . . . . . . . . . . . . . . . . .

1.2 Vetor Probabilidade . . . . . . . . . . . . . . . . . . . . . . . .
2.1 Forma Cannica . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Probabilidade de Absoro . . . . . . . . . . . . . . . . . . . .
2.3 A Matriz Fundamental . . . . . . . . . . . . . . . . . . . . . .

4
6
8
8
9

4.1 Variao Total Entre Duas distribuies de Probabilidade . . . 13

5.1 Passeios Aleatrios . . . . . . . . . . . . . . . . . . . . . . . . 15

Captulo 1
Especicando uma cadeia de
Markov
Descrevemos uma cadeia de Markov da seguinte maneira: seja S =
{s1 , s2 , , sr } um conjunto de estados. O processo comea em um desses
estados e move-se sucessivamente de um estado para outro. Cada movimento
chamado de passo. Se a cadeia est atualmente no estado si , ento ela se
move para o estado sj no prximo passo com uma probabilidade denotada
por sij , e essa probabilidade no depende dos estados ocorridos nos passos
anteriores, apenas do estado atual.
A probabilidade pij chamada probabilidade de transio. O processo
pode permanecer no estado que se encontra e isso ocorre com probabilidade
pii .

Exemplo 1.0.1 (Dados Fictcios). Foram observados alguns dados do time

de futebol Flamengo. Ele nunca empata dois jogos seguidos. Se ele empata,
as probabilidades de ele ganhar ou perder o prximo jogo so iguais. Se a
vitria ocorreu no jogo atual, com a empolgao, a probabilidade de ganhar
ou empatar no prximo jogo de 1/2 e 1/4, respectivamente. Se a derrota
vier no jogo atual, a probabilidade de ganhar na prxima partida diminui para
1/4 e a de perder novamente aumenta para 1/2.
Perceba que as probabilidades de resultado da partida atual, no depende
de resultados anteriores ao atual, podemos ento modelar uma cadeia de
Markov.
Com as informaes acima podemos determinar as probabilidades de transio, representaremos numa matriz, onde D derrota, E empate e V
vitria.

V
0, 5 0, 25 0, 25
E 0, 5
0
0, 5
D
0, 25 0, 25 0, 5
1.1

Matriz de Transio

As entradas da primeira linha da matriz P no exemplo anterior representa

a probabilidade para os possveis resultados depois de um jogo vitorioso. Da
mesma forma as entradas da segunda (jogo atualmente empatado) e terceira
linha (jogo atual com derrota). Tal matriz quadrada P chamada de matriz
de transio de probabilidade.

Denio 1.1.1. Considere uma cadeia de Marokv com estados 1, 2, , N .

Seja pij a probabilidade de transio do estado i para o estado j . Ento

a matriz Pnn com entradas aij = pij denomina-se matriz de transio da
cadeia de Markov.

Podemos considerar uma pergunta mediante aos dados: qual a probabilidade de estarmos no estado j daqui a dois dias, iniciando no estado i?
Denotaremos essa probabilidade por Pij(2) . No exemplo 1 vimos que se o Flamengo ganhasse hoje, ento o evento que ele perder daqui a dois jogos a
unio disjunta dos eventos:
1. No prximo jogo ele ganha e depois perde.
2. No prximo jogo ele empata e depois perde.
3. No prximo jogo ele perde e depois perde.
A probabilidade do primeiro evento 1 ocorrer o produto da probabilidade
condicional de que ele ganhe o prximo jogo, dado que ele ganhou o jogo
atual, com a probabilidade condicional de que ele perca daqui a dois jogos,
dado que ele vencer o prximo jogo. Podemos escrever essa probabilidade
como p11 p13 . Os outros dois seguem o mesmo raciocnio e fcil ver que
p213 = p11 p13 + p12 p23 + p13 p33 .

Essa equao deve lembrar ao leitor o produto escalar de dois vetores, o

vetor primeira linha de P e o vetor terceira coluna de
P . Em geral, se uma
k=1
2
cadeia de Markov tem estados nitos r, ento pij = r pik pkj .
4

Teorema 1.1.1. Seja

P a matriz de transio de uma cadeia de Markov.

A ij -sima entrada da matriz P n nos d a probabilidade de que a cadeia de
Markov, a partir do estado si , esteja no estado sj aps n passos.

Continuando com o exemplo do Flamengo, podemos calcular as iteradas

da matriz P e ter a probabilidade dos resultados dos jogos futuros.
V

V
0, 438 0, 188 0, 375
P 2 = E 0, 375 0, 250 0, 375 ,
D
0, 375 0, 188 0, 438

0, 406 0, 203 0, 391

V
P 3 = E 0, 406 0, 188 0, 406 ,
0, 391 0, 203 0, 406
D

0, 402 0, 199 0, 398

V
P 4 = E 0, 398 0, 203 0, 398 ,
0, 398 0, 199 0, 402
D

V
0, 4
0, 2 0, 399
P 5 = E 0, 4 0, 199 0, 4 ,
D
0, 399 0, 2
0, 4

V
0, 4 0, 2 0, 4
P 6 = E 0, 4 0, 2 0, 4 .
D
0, 4 0, 2 0, 4

Perceba que os resultados da matriz P 6 nos d a probabilidade de resultados daqui a 6 jogos, como visto anteriormente. Perceba tambm que os
resultados depois de 6 jogos independem do resultado do jogo atual (vetores
linhas iguais). As probabilidades para os trs resultados V , E e D em P 6
so 0, 4; 0, 2 e 0, 4, respectivamente, e no importa onde a cadeia comeou.
Este um exemplo de uma cadeia Regular, que estudaremos mais tarde.
Para esse tipo de cadeia verdade que as previses de longo alcance independem do estado de partida. Nem todas as cadeias so regulares, mas esse
tipo de cadeia um tipo muito importante e fonte de pesquisas.
1.2

Vetor Probabilidade

Denio 1.2.1. Qualquer vetor w = {w1 , , wk }, tal que w1 0 e w1 +

+ wk = 1 chamado de vetor probabilidade.

Se w um vetor de probablidade que representa o estado inicial de uma

cadeia de Markov, ento pensamos na ia componente de w como a probabilidade de que a cadeia de comece no estado si . Mediante as denies, fcil
provar o seguinte teorema:

Teorema 1.2.1. Seja

P a matriz de transio de uma cadeia de Markov,

e seja u o vetor de probabilidade que representa a distribuio de partida
(estado inicial). Ento a probabilidade de que a cadeia esteja no estado si
aps n passos a i-sima entrada do vetor
u(n) = uP n .

Captulo 2
Cadeias Absorventes
O tema cadeias de Markov melhor estudado quando consideramos alguns tipos especiais de cadeias de Markov. Primeiramente vamos estudar as
cadeias de Markov absorventes.

Denio 2.0.2. Um estado

si chamado de estado absorvente se pii =

1. Uma cadeia de Markov dita absorvente se existe ao menos um estado

absorvente, alm do mais, se for possvel, a partir de qualquer estado, atingir

um estado absorvente (no necessariamente em um nico passo). Um estado
que no absorvente chamado de estado de transio.

Exemplo 2.0.1. Um estudo realizado pela universidade da Carolina do Norte

em pacientes dum determinado hospital foi modelado por uma cadeia de Markov: 0 (morto), 1 (estado desfavorvel), 2 (estado favorvel). A matriz de
transio tem um ciclo de 72 horas.

0
1
0
0
P = 1 0, 085 0, 779 0, 136
0, 017 0, 017 0, 966
2

Perceba que p00 = 1, ou seja, s0 um estado de absoro, uma vez que

o paciente morto, a cada passo ele continuar morto. Os estados 1 e 2 so
os estados de transio e a partir de qualquer um destes possvel chegar no
estado de absoro. Da, a cadeia absorvente.
A pergunta mais bvia que podemos fazer a seguinte: qual a probabilidade que o processo acabe por ter chegado num estado absoro? Outras
questes: em mdia, quanto tempo vai demorar para o processo ser absorvido? Em mdia, quantas vezes o processo passar por determinado estado
7

de transio at ser absorvido? As respostas para essas perguntas dependem

de qual estado a cadeia se inicia, bem como as probabilidades de transio,
essas perguntas sero respondidas a seguir.
2.1

Forma Cannica

Considere uma cadeia de Markov absorvente arbitrria. Reenumere os

estados de modo que os estados de transio venham primeiro. Se tivermos
r estados absorventes e t estados de transio, ento a matriz de transio
ter a seguinte forma cannica.
TR

Q
TR

P =
O
ABS

ABS

R
.
I

Aqui, I matriz r r identidade, O uma matriz nula t r com entradas

nulas, R uma matriz no nula t r e Q uma matriz t t. Anteriormente,
vimos que a ij -sima entrada da matriz P n a probabilidade de sairmos
do estado si e chegarmos ao estado sj em n passos. Com um argumento
semelhante, podemos mostrar que P n da forma
T R ABS
n

TR
Q

,
Pn =
ABS
O
I

onde o representa uma matriz tr no canto superior de P n . Essa submatriz

pode ser escrita em termos de R e Q, mas a expresso complicada e no
necessria agora.
2.2

Probabilidade de Absoro

A forma de P n nos mostra que as entradas da matriz Qn nos d a probabilidade de chegarmos a qualquer estado transitrio aps n passos, iniciando
de um estado transitrio. Para o nosso prximo teorema, mostraremos que a
probabilidade de estarmos em um estado de transio em n passos (quando
n ) se aproxima de zero. Assim, cada entrada de Qn deve se aproximar
de zero a medida que n torna-se muito grande, isto , Qn 0.
8

Teorema 2.2.1. Em uma cadeia de Markov de absoro, a probabilidade do

processo ser absorvido 1, isto , Qn 0 quando
n

.
Demonstrao. Por denio de cadeia absorvente, de cada estado sj possvel chegar num estado absorvente. Seja mj o nmero mnimo de passos para
atingirmos um estado absorvente, iniciando de sj . Seja pj a probabilidade de
que, a parte de sj , o processo no seja absorvido em mj passos. Ento pj < 1.
Seja m o maior dos mj 's e p o maior dos pj 's. A probabilidade do processo
no ser absorvido em m etapas menor ou igual a p, a probabilidade de no
ser absorvido em 2m passos menor ou igual a p2 , etc. Um vez que p < 1,
pn 0 quando n , ou seja, essas probabilidades tendem a zero, da
Qn = 0.

2.3

A Matriz Fundamental

Teorema 2.3.1. Para uma cadeia de Markov absorvente, a matriz

IQ
tem uma inversa N = I + Q + Q + Q + . A ij -sima entrada nij da
matriz N nos d o nmero esperado de vezes que a cadeia estar no estado
sj , iniciando em si , at ser absorvido.
2

Demonstrao. Seja (I Q)x=0 ; que x = Qx. Quando interamos, observamos que x = Qn x. (x = Qx x = Q Qx x = Q2 x). Fazendo Q 0,
temos que Qn x 0, ento x = 0. Assim, (I Q)1 = N existe. Observe
que (I Q)(I + Q + Q2 + + Qn ) = I Qn+1 . Assim, multiplicando ambos
os lados por N , obtemos
I + Q + Q2 + Q3 + + Qn = N (I Qn+1 ).

Fazendo n , temos
N = I + Q + Q2 + Q3 + + Qn +

Seja si e sj dois estados de transio, e assumamos ao longo da prova que

i e j so xos. Seja x(k) uma varivel aleatria que assume 1 se a cadeia est
no estado sj em k passos, e 0 caso constrrio. Para k , esta varivel depende
tanto de i quanto de j . Temos que P (x(k) = 1) = qij(k) , e P (xk = 0) = 1 qij(k) ,
onde qij(k) a ij -sima entrada de Qk . Quando k = 0, temos Q0 = I . Temos
9

que E(xk ) = qij(k) . Ento, o nmero esperado de vezes que a cadeia estar em
sj , sabendo que iniciou-se em si , nos n primeiros passos,
E(x0 + x1 + + xn ) = qij0 + qij1 + + qijn .

Fazendo n tender ao innito, obtemos

E(x0 + x1 + x2 + ) = qij0 + qij1 + qij2 + .

Teorema 2.3.2. Seja

ti o nmero esperado de passos antes da cadeia ser

absorvida, dado que iniciamos do estado Si , e seja T o vetor coluna com
entradas ti , ento t = N c, onde c um vetor coluna com entradas iguais a
1.

Demonstrao. Se somarmos todas as entradas da i-sima linha de N , teremos o nmero esperado de vezes de passarmos por qualquer dos estados
transitrios, iniciando de um determinado estado Si , que , justamente, o
tempo necessrio antes de ser absorvido. Assim, ti a soma das entradas
na i-sima linha de N . Se escrevermos esta declarao na forma matricial,
obteremos o teorema.

10

Captulo 3
Cadeias Irredutveis
O objetivo deste captulo estudar as cadeias de markov regulares, que
tem vrias aplicaes fora da Matemtica, como o PageRank, que o algoritmo utilizado na ferramente de busca da Google.

Denio 3.0.1. Uma cadeia de Markov

irredutvel se dados quaisquer

dois estados i, j S , existe r N tal que p(r)

ij > 0. Em outras palavras,
sempre possvel ir de um estado para outro, no necessariamente em um
passo.
Dado um estado i S , denimos T (i) := {a N : p(a)
ii > 0}. O perodo
de i o m.d.c. de T (i).

Proposio 3.0.1. Se uma cadeia de Markov irredutvel, ento mdc T (i) =

mdc T (j), i, j P .

Demonstrao. Dados dois estados quaisquer i, j P , existem r e s naturais

s
tais que p(r)
ij > 0 e pji > 0. Logo, r + s T (i) T (j). Alm disso, T (i)
T (j) m, o que implica que m.d.c T (j)|m.d.c T (i). Provamos de forma
anloga que m.d.c T (i)|m.d.c T (j). Portanto, mdc T (i) = mdc T (j), como
queramos demonstrar.
Assim, podemos denir o perodo de uma cadeia irredutvel P como sendo
m.d.c. T (x), onde x S . Uma cadeia irredutvel aperidica se tiver perodo igual a 1. Se a cadeia no for aperidica, dizemos que ela peridica.

Denio 3.0.2.

(Cadeia Regular) Uma cadeia de Markov regular se

existe um natural r0 tal que para todo r r0 p(r)

ij > 0, i, j S . Ou seja,
se existe uma potncia de P com todas as entradas positivas.

11

Observao: Diremos que a matriz de transio P de uma cadeia de

Markov uma matriz regular se a cadeia de markov associada a ela for
regular.
A primeira coisa que devemos notar que toda cadeia regular irredutvel.
Entretanto, nem toda cadeia irredutvel regular. Por exemplo, se a cadeia
tem matriz de transio:
(
)
P =

0 1
.
1 0

Temos que essa cadeia irredutvel, pois P 2 = I . Porm, Temos que P n = P ,

se n for mpar, e P n = I , se n for par. Como, ambas as matrizes P e I tm
entradas nulas, segue-se que essa cadeia irredutvel mas no regular.
Pelo que foi visto acima, podemos indagar qual seria uma condio necessria e suciente para que uma matriz irredutvel seja regular. Est condio
ser dada no

Teorema 3.0.3. Uma cadeia irredutvel regular se, e somente se, ela
aperidica.

Demonstrao. Para provar a ida vamos usar o seguinte resultado de Teoria

dos Nmeros :

Lema 3.0.1. Seja T um conjunto de nmeros naturais no-vazio que possui

as seguintes propriedades:
1. m.d.c T = 1
2. Se r, s T , ento s + t T .
Ento existe t T tal que s t, s N = t T .
Dado i S , temos que m.d.c. T (i) = 1 e se r, s T (i), ento r +s T (i).
Logo, pelo Lema 1, segue-se que existe ti T (i) tal que t ti implica t Ti .
Como a cadeia irredutvel, para qualquer j S , existe r = r(i, j) tal que
(r)
(t)
pij > 0. Logo, para qualquer que seja t ti + r, temos que pxy > 0.
Consequentemente, para t ti , onde tx := ti + maxjS r(i, j), tem-se que
(t)
pij > 0, j P . Dena r0 := maxiS ti . Para todo r r0 e para todos
(r)
i, j S , temos que pij > 0. Portanto, P regular.
Reciprocamente, se a matriz de transio P for regular, existe r tal que P r
tem entradas positivas. Logo, a matriz P r+1 tambm tem todas as entradas
positivas, o que implica que o perodo da cadeia igual a 1, pois m.d.c(r, r +
1) = 1.

12

Captulo 4
Teorema da Convergncia
Nesta seo vamos provar aquele que o principal teorema sobre cadeias
de markov regulares e que extremamente utilizado nas aplicaes das cadeias de markov.
4.1

Variao Total Entre Duas distribuies de

Probabilidade

Denio 4.1.1. Sejam S = {s1 , . . . , sn } e p e q duas distribuies de probabilidade em S . Denimos a variao total entre p e q como sendo
1
|p(sk ) q(sk )|
:=
2 k=1
n

p qV T

Aplicando a desigualdade triangular, temos que p qV T 1. Ademais,

a variao total uma mtrica sobre o conjunto de todas as distribuies de
probabilidade de um conjunto nito.

Exemplo 4.1.1. Sejam

S = {a, b, c} e p e q distribuies de probibilidades

tais que (0, 2 0, 3 0, 5) e q = (0, 1 0, 4 0, 5) so os vetores de probabilidade
asssociados a p e q , respectivamente. Temos que
p qV T = 0, 5(0, 1 + 0, 1 + 0) = 0, 1

Seja P uma matriz de transio. Primeiramente note que a i-sima linha

de qualquer potncia de P uma distribuio de probabilidade. A i-sima
linha de P r ser denotada por P r (i, .).

13

Teorema 4.1.1. (Teorema da Convergncia) Seja P uma matriz regular.

Existem (0, 1) e c > 0 tais que

lim maxiS P r (i, .) V T = 0.

Onde uma distribuio de probabilidade em S tal que P = .

Demonstrao. Como a cadeia regular, existe r N tal que p(r)
ij > 0, i, j
S . Alm disso, a existncia de segue diretamente do teorema de PerronFrobenius. Para 1 > > 0 sucientemente pequeno temos que
Pijr > (j)

para todos i, j S . Seja = 1 e . Considere a matriz Q tal que

P r = (1 ) + Q

onde a matriz quadrada que tem linhas idnticas e iguais a .

Note que Q uma matriz de transio, que M = e P = . Portanto,
aplicando o princpio de induo nita, temos que
P rk = (1 k ) + k Qk .

Multiplicando a desigualdade acima por P j , j N, e reaaranjando os

termos, temos que
P rk+j = k (Qk P j ).

Logo, para todo i S

rk+j

P
(i, .) 

VT

= k Qk P j (i, .) V T k .

Fazendo k , obtemos o desejado.

14

Captulo 5
A Runa do Jogador
Um jogador entra num cassino justo com X reais. Ele participa de um
jogo de apostas independentes. Em cada aposta ele recebe 1 real caso d
vitria e perde 1 real caso contrrio. Vamos admitir que os recursos do
cassino so ilimitados, ou seja, por mais que o jogador ganhe, ele nunca
`quebra a banca'. Suponha que ele jogue indenidamente, parando apenas
quando ca sem dinheiro.
Pergunta: Qual a probabilidade do jogador, em algum momento, car
sem dinheiro?
Am de responder a resposta acima vamos fazer um breve estudo de
passeios aleatricos.
5.1

Passeios Aleatrios

Denio 5.1.1. Sejam X1 , X2 , , Xn , variveis aleatrias independentes e igualmente distribudas tais que E(Xi ) < . Sejam, S0 = C e
Sn = S0 +
trio.

Xi , n 1. O processo {Sn , n 0} chamado passeio alea-

i=1

Observe que um passeio aleatrio tambm um processo markoviano.

Exemplo 5.1.1. Considere uma partcula que se move de modo aleatrio

sobre os vrtices de um cubo. Sejam I = {i, 1 i 8} o conjunto dos

vrtices do cubo e
{
P (Sn+1 = j|Sn = i) = 31 , se i e j so ligados por uma aresta,
P (Sn+1 = j|Sn = i) = 0, caso contrrio,

15

onde Sn indica a posio assumida pela partcula no n-simo salto (S0 indica
o vrtice inicial).

Denio 5.1.2 (Passeio Aleatrio Simples). Um passeio

aleatrio simples em Z consiste de uma partcula inicialmente num ponto x Z, que se

move em Z e a cada instante pode pular de um ponto x para um dos pontos vizinhos, x + 1 ou x 1, com probabilidade p de pular para a direita e
probabilidade 1 p = q de pular para a esquerda.

Se p = q =

1
2

o passeio aleatrio dito simtrico.

Sn denota a posio da partcula no instante n.

Exemplo 5.1.2 (A Runa do Jogador). Matematicamente este problema

descrito como o passeio aleatrio simples simtrico {Sn ; n 0}, onde
{
S0 = X,

Sn = X + ni=1 Xi , n 1

{
Xi =

1, se o jogador ganha a i-sima aposta,

1, se o jogador perde a i-sima aposta.

Ou seja, a varivel aleatria Xi indica o ganho da i-sima aposta e Sn indica

o capital acumulado na n-sima aposta.
16

Denio 5.1.3. Seja (Xn )n0 uma cadeia de Markov com matriz de transio P . O tempo de batida de um subconjunto A I (I o conjunto
onde (Xn )n0 assume valores) uma varivel aleatria
H A : {0, 1, 2, } {}

onde consideramos que o nmo do conjunto vazio .

Assim, a probabilidade de que, iniciando em i, (Xn )n0 sempre bata em
A
A
hA
i := Pi (H < ).

Teorema 5.1.1. O vetor de probabilidade de batida

nima soluo no-negativa do sistema:

hA = hA
i ; i I a m-

{
hA
i = 1, se i A

A
hi = jI pij hA
/ A.
j , se i

Observao: A minimalidade signica que se

soluo com xi 0 para todo i I , ento xi

hA
i

x = (xi , i I) outra
, i I .

Demonstrao. Primeiro vamos mostrar que hA soluo do sistema:

A
Se i A, ento hA
i = Pi (H < ) = 1.

Se i
/ A, observamos que {X1 = j}jI uma coleo de conjuntos 2 a
2 disjuntos e que
jI {X1 = j} = .

Assim, temos que

{H A < } = {H A < } (jI {X1 = j})
= jI ({H A < } {X1 = j})

uma partio do conjunto {H A < }. Temos ento que

Pi (H A < ) = jI Pi (H A < , X1 = j)

= jI Pi (H A < |X1 = j) Pi (X1 = j).

Pela propriedade de Markov, temos que

Pi (H A < |X1 = j) = Pj (H A < ),

donde segue que

17

Pi (H A < ) =

Pi (X1 = j) Pj (H A < ),

jI

ou seja,

hA
i =

pij hA
j .

jI

Portanto, hA soluo do sistema.

Agora vamos mostrar que hA soluo mnima do sistema. Suponha
que x = (xi , i I) outra soluo do sistema. Ento, se i A, xi = hAi = 1.
Se i
/ A, ento
xi =

pij xj =

jI

pij +

xj pij xj .

j A
/

jA

Agora temos que, se j A, ento xj = 1 e se j

/ A ento
xj =

pjk xk .

kI

Substituindo na equao (5.1) temos

xi =

pij +

jA

j A
/

kI

pij +

pij

j A
/

jA

pij

)
pjk xk

pjk xk +

)
pjk xk

kA
/

kA

(
)

(pij pjk xk )
pjk +
pij +
pij
j A
/

jA

j A
/ kA
/

kA

= Pi (X1 A) + Pi (X1
/ A, x2 A) +

(pij pjk xk ).

j A
/ kA
/

Fazendo
xk =

lI

pkl xl =

pkl xl +

lA

e substituindo na equao acima, obteremos

18

lA
/

pkl xl

(5.1)

xi = Pi (X
A)
+ Pi (X1 A, X2 A) + Pi (X1
/ A, x2
/ A, X3
/ A)
1

+
pkl xl .
j A
/ kA
/ lA
/

Repetindo este processo. aps n passos, obteremos

xi = Pi (X
A) +
+ Pi (X1
/ A, , Xn1
/ A, Xn A)+
1

pij1 pj1 j2 pjn1 jn xn .

j1 A
/ j2 A
/

jn A
/

Se n no negativo, a ltima parcela da soma acima tambm ser, logo

teremos
xi Pi (X1 A) + + Pi (X1
/ A, , Xn1
/ A, Xn A).

Agora observamos que

Pi (X1 A) + + Pi (X1
/ A, , Xn1
/ A, Xn A) = Pi (H A n).

Ou seja,

xi Pi (H A n), para todon.

Segue-se que
xi lim Pi (H A n) = Pi (H A ) = hA
i .
n

Portanto, hA soluo mnima do sistema.

Exemplo 5.1.3. Voltando a runa do jogador. Am de responder a pergunta

inicial deste captulo, queremos encontrar a probabilidade de (Sn )n0 sempre

bater no conjunto A = {0}, iniciando no estado i, ou seja, queremos encontrar hAi .
Pelo teorema anterior, temos que o vetor probabilidade de batida hA :=
0) a soluo mnima do sistema

(hA
i ,i

hA
i = 1, i = 0
1 A
A
hi = 12 hA
i1 + 2 hi+1 , i = 0.

Para resolver o sistema, dena a varivel aleatria

A
V i = hA
i1 hi , i 1.

19

Da segunda equao do sistema, temos que

1 A
1 A
1 A 1 A
A
hA
i = hi1 + hi+1 = hi = hi + hi ,
2
2
2
2

ou seja,

1 A
1
1 A 1 A
hi1 hA
i = hi hi+1 ,
2
2
2
2

logo,
A
A
A
hA
i1 hi = hi hi+1 ,

donde temos que Vi = Vi+1 , para todo i 1.

Assim, temos que V1 + V2 + + Vi = iV1 . Por outro lado, temos que
A
A
A
A
A
A
V1 + V2 + + Vi = hA
0 h1 + h1 h2 + hi1 + hi1 hi
A
= hA
0 hi .

Ou seja,
A
iV1 = hA
0 hi .

Segue-se ento que hAi = 1 para todo i 0. Resolvendo o sistema, encontramos hi = 1 para todo i 0. Ou seja, com probabilidade 1 o jogador
perder todo dinheiro em algum momento!
Lembrando que estvamos considerando um cassino. Mas vale ressaltar
que, se a cada aposta o jogador tiver probabilidade maior que 1/2 de vencer,
ento ele tem probabilidade positiva de nunca perder todo o dinheiro. Porm
este modelo no interessante, pois no modela a realidade.

20

Captulo 6
Aplicaes de Cadeias de Markov
Regulares no PageRank
A princpio consideraremos que em nossa internet existem apenas trs
sites, so eles: A B e C .
(

Ad

BN

Dentro destes sites existem links que direcionamos ao site respectivo.

natural perguntar qual destes sites o mais relevante, ou melhor, qual destes
sites deve aparecer no topo de uma pesquisa em um buscador. Ou seja, se
estes trs so voltados Matemtica qual desses sites deve aparecer no topo
de uma pesquisa. intuitivo pensar que, como B tem dois links, B tem dois
votos, e como C possui dois links que levam o acesso a C , C possui dois votos
de popularidade e usando este raciocnio temos que
site votos
A
1
B
2
C
2
Com este pensamento, diramos que B e C esto empatados em relao
a sua popularidade. Mas na vida real no podemos aplicar este mtodo por
muitos motivos.
21

A soluo inicial para este problema desenvolvido pelo Google foi, em

sntese, considerar que um usurio, estando no site A tem igual probabilidade
de acessar o site B ou C . Ou seja,
(

1
2

Ad
1
2
1
2

BN

1
1
2

montando uma matriz de transio temos,

1
2

1
2

P = B
0

1
C
2

0
1
2

1
.

Note que P no uma cadeia de Markov absorvente, e mais

0, 25

0, 25

0, 5

0, 5

0, 25

0, 75

P2 = B
0, 5

C
0

A
0, 1875

P = B
0, 375

0, 125
C

B
0, 3125

0, 375
0, 3125

22

C
0, 5

0, 25
.

0, 5625

0, 20

0, 32

0, 46

P6 = B
0, 28

C
0, 18

10

0, 32

0, 37
.

0, 48

0, 21

0, 33

0, 34

= B
0, 22

C
0, 21

12

0, 33
0, 33

A
0, 221

= B
0, 224

C
0, 221

0, 44

0, 43
.

0, 44

0.333

0, 445

0.333
0.333

0, 442
.

0, 445

O que temos que P uma matriz de transio de uma Cadeia de Markov regular. Observe tambm que para n sucientemente grande os vetores
colunas so constantes. Exemplo:

16

A
0, 222

= B
0, 222

0, 222
C

0.333

0, 444

0.333
0.333

23

0, 444
.

0, 444

Ento a probabilidade que o usurio acesse o site A depois de 16 cliques

em links igual a 0, 2, que tambm a probabilidade de que o usurio acesse
A depois de 16 cliques em links saindo de B ou C . Assim, a probabilidade
de um usurio acessar A depois de 16 cliques em links 0, 2, enquanto que
em B e C so iguais a 0, 3 e 0, 4 respectivamente. Ou seja, o site C o mais
popular e A o menos popular.
Novamente, sejam 3 sites existentes em toda a internet, mas agora de
forma que nestes sites existam links que nos faam continuar no site, e em
alguns casos a probabilidade de continuar no site maior do que sair.

Montando a matriz de transio temos

1
2

1
4

1
4

1
4

1
4

1
2

1
4

1
4

1
2

Deste modo,

(X1 , X2 , X3 )

1
2

1
4

1
4

1
4

1
4

1
2

1
4

1
4

1
2

= (X1 , X2 , X3 ).

Logo, V = (X1 , 43 X1 , 54 X1 ). Mas queremos que X1 =

.

( 13 , 14 , 52 )

24

1
3

, assim V =

Mas na prtica no funciona bem assim. Sites so criados quase que

a todo momento e um destes sites pode conter um link apenas para o seu
prprio site. Considere

Nossa matriz de transio escrita da seguinte forma

P =

0 0
1
0
2
0 31
0 0
0 12
0 0
0 0

1
0
0
0
0

0 0 0
0 12 0
1
0 13
3
1 0 0
0 0 12
1
0 13 0
3
0 0 0 0

0
0
0
0
0
1
3

P absorvente, mas no regular e para estes casos a soluo feita da

seguinte forma. Consideramos p igual a probabilidade do internauta saltar
para uma pgina aleatria na internet, p = 17 .
A = (1 p)P + pM

M =

1/7
1/7
1/7
1/7
1/7
1/7
1/7

1/7
1/7
1/7
1/7
1/7
1/7
1/7

P =

1/7
1/7
1/7
1/7
1/7
1/7
1/7

1/7
1/7
1/7
1/7
1/7
1/7
1/7

1/7
1/7
1/7
1/7
1/7
1/7
1/7

1/7
1/7
1/7
1/7
1/7
1/7
1/7

0 0 1 0 0 0 0
1
0 0 0 12 0 0
2

0 31 0 13 0 13 0

1
1
1
1
1
1
1
.
7
7
7
7
7
7
7
0 21 0 0 0 21 0

0 0 13 0 13 0 13
1
7

1
7

1
7

25

1
7

1
7

1
7

1
7

1/7
1/7
1/7
1/7
1/7
1/7
1/7

Na prtica, seria como se o site estivesse colocando a probabilidade

saltar para um site qualquer.

A = (0, 85)P +(0, 15)M =

0.21 0.21 0.87 0.02 0.02

0.44 0.02 0.02 0.02 0.44
0.02 0.304 0.02 0.30 0.21
0.14 0.14 0.14 0.14 0.14
0.02 0.44 0.02 0, 021 0, 021
0.02 0.021 0.30 0.021 0.30
0.14 0.142 0.14 0.14 0.14

0.02
0.02
0.30
0.14
0.44
0.02
0.14

1
n

de

0.02
0.02
0.02
0.14
0.02
0.30
0.14

Interando a 11 vezes, obtemos

(0.11, 0.16, 0.19, 0.09, 0.16, 0.16, 0.09).

Ou seja, o site C o mais popular.

Por m, consideremos o esquema abaixo para nossa mini-internet.

Esse esquema pode ser interpretado da seguinte maneira: o site A tem 3

pginas para o seu prprio site e um link direcionado ao site C . Enquanto
que o site C tem ao todo 8 links, 4 redirecionados a ele mesmo, 2 links para
o site A e um link para B e outro para D.
Agora surgem perguntas interessantes a serem feitas como por exemplo,
se o internauta est no site A, quantas vezes em mdia ele voltar ao site A
antes de conhecer os sites B ou D? Outra pergunta seria, se o internauta est
no site A, quantas vezes em mdia visitar outros sites antes de conhecer B ou
D? E qual seria a probabilidade do internauta, saindo do site A, conhecer o
site B ?
As respostas para essas perguntas so encontradas no teorema visto para
cadeias absorventes.
Montando a matriz de transio para o nosso problema temos

26

3
4

1
4

1
8

1
2

B
0

1
C
4

D
0

1
8

Pela forma cannica, temos que

[

3
4
1
4

Q=

1
4
1
2

]
.

Assim,
[
(I Q) =

41

1
4

14

1
2

]
.

Fazendo os clculos, obtemos que

[
1

(I Q)

8 4
4 4

]
= N.

Pelo teorema visto, temos que 8 o nmero de vezes que o internauta

passa em mdia por A antes de conhecer os sites B ou D saindo de A.
Para responder a segunda pergunta, temos que considerar
[
t = NC =

8 4
4 4

][

1
1

]
= (12, 8).

Assim, o nmero esperado de sites que o internauta visite antes de conhecer o site B ou o site D, desde que saia do site A 12.
A ltima pergunta solucionada tomando
27

][

8 4
4 4

B = NR =

0 0
1
8

1
8

[
=

1
2
1
2

1
2
1
2

]
.

Deste modo a probabilidade do internauta acessar o site B , saindo do site

A, 12 .

Vamos agora calcular quem o mais popular. Primeiro temos que colocar
a probabilidade de escolher um site aleatrio dentre os possveis. No nosso
caso esta probabilidade 14 . Onde a linha absorvente, colocamos a linha
constante 14 .

P =

3
4

1
4

1
4

1
4

1
4

1
4

1
4

1
8

1
2

1
8

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

e considerando

M =

M uma considerao para o caso em que o internauta no use os links

e simplesmente saia pulando de site em site de modo aleatrio.

A = 0, 75

3
4

1
4

1
4

1
4

1
4

1
4

1
4

1
8

1
2

1
8

1
4

1
4

1
4

1
4

+ 0, 25

28

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

1
4

p = 0, 25 a probabilidade de saltar para um site qualquer desconside-

rando o link.

A=

10
16

1
16

4
16

1
16

4
16

4
16

4
16

4
16

4
16

5
32

7
16

5
32

4
16

4
16

4
16

4
16

Calculando,

(X1 , X2 , X3 , X4 )

10
16

1
16

4
16

1
16

4
16

4
16

4
16

4
16

4
16

5
32

7
16

5
32

4
16

4
16

4
16

4
16

= (X1 , X2 , X3 , X4 )

obtemos o vetor soluo

(X1 ,

19
40
19
X1 , X1 , X1 ),
52
52
52

mas desejamos que este vetor seja uma vetor linha da matriz de transio, assim sua soma tem que ser igual a 1. Desta forma, X1 = 25 . Assim
conclumos que o vetor (0.4, 0.1465, 0.30769, 0.14615). Dessa forma, o site
mais acessado o site A com `popularidade' 0.4 e os que possuem a menor
popularidade so os sites B e D. Podemos interpretar tambm da seguinte
forma, se 1000 pessoas entrassem na mini-internet, (0, 4 1000) pessoas, em
mdia, acessariam o site A.
O PageRank um mecanismo muito importante para o Google, mas um
site cuja nota no mtodo do PageRank baixa no necessariamente tem
menor prestgio. Atualmente o mtodo que o Google usa mais avanado e
ainda considera mais coisas. Como por exemplo, se um site A relacionado a
msica concede um link para um outro site B , que por sua vez relacionado
a matemtica, este link de A para B quase desprezvel, pois estes sites no
possuem a mesma base. Os contedos de A no esto muito relacionados
com os contedos de B . A atualizao feita de 3 em 3 meses permitindo
uma renovao dos dados.
29

Com isso encerramos a introduo ao algortimo do PageRank criada

por Larry Page, desenvolvida em 1995 na Universidade de Stanford. Aos
interessados em calcular o PageRank de algum determinado site, o Google
disponibiliza uma ferramenta online. Basta colocar o endereo do site, que
o Google atribui uma nota em um escala de 0 a 10. Um meio de medir a
relevncia de um site, este o objetivo do PageRank.

Figura 6.1: Pagerank divulgado pelo google em uma escala de 0 a 10 e seus

reais valores possveis

30

Referncias Bibliogrcas
[1] Azevedo Filho, A., Introduo ao Algoritmo PageRank do Google com
o R: uma Aplicao de Autovalores/Autovetores e Cadeias de Markov
. Disponvel em:. <http://rpubs.com/adriano/PageRank>. Acesso em:
31 outubro 2014.
[2] Brian, K.; Leise, T. -The Linear Algebra Behind , Dept. Mathematics
and Computer Science, Amherst College. 2007. Brian, K. e Leise, T.
[3] Grinstead, C. M.; Snell, J. L. -Introduction to Probability, American
Mathematical Society, 1997.
[4] Norris, J.R., Markov Chains Cambridge Series in Statistical and Probabilistic Mathematics, Cambridge University Press, 1997.
[5] Queiroz Pellegrino, G.; Ferreira dos Santos, L. R. A lgebra Linear
por Trs do Google. Disponvel em:. <http://prezi.com/5g35pvki43-t/aalgebra-linear-por-tras-do-google/>. Acesso em: 31 outubro 2014.

31