Cadeias de Markov

Processos Estocasticos
Cadeias de Markov
Bruno Barbosa Albert
Universidade Federal de Campina Grande
Centro de Engenharia El
etrica e Inform
atica
Departamento de Engenharia El
etrica

23 de novembro de 2010

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Sumario

Cadeias de Markov

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

De um modo geral, as v.as. que definem um PE nao sao

independentes.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

De um modo geral, as v.as. que definem um PE nao sao

independentes.
Na verdade elas podem ser dependentes de um modo bastante
complexo.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

De um modo geral, as v.as. que definem um PE nao sao

independentes.
Na verdade elas podem ser dependentes de um modo bastante
complexo.
Os modelos estudados ate aqui, IID e WSS, nao de grande
ajuda nesses casos.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

De um modo geral, as v.as. que definem um PE nao sao

independentes.
Na verdade elas podem ser dependentes de um modo bastante
complexo.
Os modelos estudados ate aqui, IID e WSS, nao de grande
ajuda nesses casos.
Os primeiros tem a independencia como ponto de partida.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

De um modo geral, as v.as. que definem um PE nao sao

independentes.
Na verdade elas podem ser dependentes de um modo bastante
complexo.
Os modelos estudados ate aqui, IID e WSS, nao de grande
ajuda nesses casos.
Os primeiros tem a independencia como ponto de partida.
Os u
ltimos necessiatam apenas da media e da funcao de
autocorrelacao para serem descritos e

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

De um modo geral, as v.as. que definem um PE nao sao

independentes.
Na verdade elas podem ser dependentes de um modo bastante
complexo.
Os modelos estudados ate aqui, IID e WSS, nao de grande
ajuda nesses casos.
Os primeiros tem a independencia como ponto de partida.
Os u
ltimos necessiatam apenas da media e da funcao de
autocorrelacao para serem descritos e
portanto nao fornecem informacoes sobre as funcoes de
distribuicao.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

Os modelos de Markov representam a primeira fronteira no

domnio de modelos dependentes.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

Os modelos de Markov representam a primeira fronteira no

domnio de modelos dependentes.
Modelos dependentes sao poderosos na captura da essencia
de varios sistemas dependentes na pratica, tais como

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

Os modelos de Markov representam a primeira fronteira no

domnio de modelos dependentes.
Modelos dependentes sao poderosos na captura da essencia
de varios sistemas dependentes na pratica, tais como
Trafego em telefonia, em rdes, ...

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

Os modelos de Markov representam a primeira fronteira no

domnio de modelos dependentes.
Modelos dependentes sao poderosos na captura da essencia
de varios sistemas dependentes na pratica, tais como
Trafego em telefonia, em rdes, ...
Canais de telecomunicacoes

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

Os modelos de Markov representam a primeira fronteira no

domnio de modelos dependentes.
Modelos dependentes sao poderosos na captura da essencia
de varios sistemas dependentes na pratica, tais como
Trafego em telefonia, em rdes, ...
Canais de telecomunicacoes
Engenharia espacial

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

Os modelos de Markov representam a primeira fronteira no

domnio de modelos dependentes.
Modelos dependentes sao poderosos na captura da essencia
de varios sistemas dependentes na pratica, tais como
Trafego em telefonia, em rdes, ...
Canais de telecomunicacoes
Engenharia espacial
Genetica

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

Os modelos de Markov representam a primeira fronteira no

domnio de modelos dependentes.
Modelos dependentes sao poderosos na captura da essencia
de varios sistemas dependentes na pratica, tais como
Trafego em telefonia, em rdes, ...
Canais de telecomunicacoes
Engenharia espacial
Genetica
Neg
ocios, etc.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Introducao

Os modelos de Markov representam a primeira fronteira no

domnio de modelos dependentes.
Modelos dependentes sao poderosos na captura da essencia
de varios sistemas dependentes na pratica, tais como
Trafego em telefonia, em rdes, ...
Canais de telecomunicacoes
Engenharia espacial
Genetica
Neg
ocios, etc.

E tambem na producao de resultados analticos e

computacionais necessarios para se ter um discernimento
sobre seus comportamentos.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Historia

A teoria das cadeias de Markov comecou a ser desnvolvida

indiretamente em 1906 pelo matematico russo Andrei
Andreivich Markov (1856-1922),

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Historia

A teoria das cadeias de Markov comecou a ser desnvolvida

indiretamente em 1906 pelo matematico russo Andrei
Andreivich Markov (1856-1922),
com a publicacao de um artigo no boletim da Sociedade
Fsico-matematica da Universidade de Kazan.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Historia

A teoria das cadeias de Markov comecou a ser desnvolvida

indiretamente em 1906 pelo matematico russo Andrei
Andreivich Markov (1856-1922),
com a publicacao de um artigo no boletim da Sociedade
Fsico-matematica da Universidade de Kazan.
O ttulo do artigo foi Extensao da lei dos grandes n
umeros
para eventos dependentes.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Historia

A teoria das cadeias de Markov comecou a ser desnvolvida

indiretamente em 1906 pelo matematico russo Andrei
Andreivich Markov (1856-1922),
com a publicacao de um artigo no boletim da Sociedade
Fsico-matematica da Universidade de Kazan.
O ttulo do artigo foi Extensao da lei dos grandes n
umeros
para eventos dependentes.
Na realidade era uma extensao dos resultados obtidos por
Chebyshev da lei dos grandes n
umeros para sequencias
independentes.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Historia
Em dezembro de 1907 Markov retomou o assunto em um
artigo para a revista da Academia de Ciencias Imperial de Sao
Petersburgo.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Historia
Em dezembro de 1907 Markov retomou o assunto em um
artigo para a revista da Academia de Ciencias Imperial de Sao
Petersburgo.
No artigo ele definiu e investigou as propriedades do que
atualmente conhecemos como processo de Markov.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Historia
Em dezembro de 1907 Markov retomou o assunto em um
artigo para a revista da Academia de Ciencias Imperial de Sao
Petersburgo.
No artigo ele definiu e investigou as propriedades do que
atualmente conhecemos como processo de Markov.
O ttulo do trabalho foi Extensao dos Teoremas de Limites da
Teoria de Probabilidades para uma Soma de Variaveis
Conectadas em uma Cadeia.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Historia
Em dezembro de 1907 Markov retomou o assunto em um
artigo para a revista da Academia de Ciencias Imperial de Sao
Petersburgo.
No artigo ele definiu e investigou as propriedades do que
atualmente conhecemos como processo de Markov.
O ttulo do trabalho foi Extensao dos Teoremas de Limites da
Teoria de Probabilidades para uma Soma de Variaveis
Conectadas em uma Cadeia.
Essa teoria foi chamada pela primeira vez como processo de
Markov em 1934 por Khinchine.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Historia
Em dezembro de 1907 Markov retomou o assunto em um
artigo para a revista da Academia de Ciencias Imperial de Sao
Petersburgo.
No artigo ele definiu e investigou as propriedades do que
atualmente conhecemos como processo de Markov.
O ttulo do trabalho foi Extensao dos Teoremas de Limites da
Teoria de Probabilidades para uma Soma de Variaveis
Conectadas em uma Cadeia.
Essa teoria foi chamada pela primeira vez como processo de
Markov em 1934 por Khinchine.
Markov aplicou sua teoria no estudo de dependencias em
lingustica.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Historia

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov

Diz-se que boas ideias sao simples.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov

Diz-se que boas ideias sao simples.

O processo de Markov nao e uma excessao.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov

Diz-se que boas ideias sao simples.

O processo de Markov nao e uma excessao.
Por exemplo, pode-se pensar no processo de Markov como a
descricao do comportamento de uma ra em um lago cheio de
vit
orias-regias.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov

Diz-se que boas ideias sao simples.

O processo de Markov nao e uma excessao.
Por exemplo, pode-se pensar no processo de Markov como a
descricao do comportamento de uma ra em um lago cheio de
vit
orias-regias.
A ra esta sempre em uma folha.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov

Diz-se que boas ideias sao simples.

O processo de Markov nao e uma excessao.
Por exemplo, pode-se pensar no processo de Markov como a
descricao do comportamento de uma ra em um lago cheio de
vit
orias-regias.
A ra esta sempre em uma folha.
Ela nunca cai na agua.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov

Diz-se que boas ideias sao simples.

O processo de Markov nao e uma excessao.
Por exemplo, pode-se pensar no processo de Markov como a
descricao do comportamento de uma ra em um lago cheio de
vit
orias-regias.
A ra esta sempre em uma folha.
Ela nunca cai na agua.
Ocasionamente, a ra salta na mesma folha em que esta ou
para outra folha.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
No momento estamos interessados na localizacao da ra ap
os
alguns saltos sucessivos e nao no tempo de seu salto.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
No momento estamos interessados na localizacao da ra ap
os
alguns saltos sucessivos e nao no tempo de seu salto.
Considere inicialmente que o lago tem um n
umero finito de
vit
orias-regias numeradas de 1 a N.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
No momento estamos interessados na localizacao da ra ap
os
alguns saltos sucessivos e nao no tempo de seu salto.
Considere inicialmente que o lago tem um n
umero finito de
vit
orias-regias numeradas de 1 a N.
Se usarmos n para indicar o n
umero de saltos feitos pela ra

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
No momento estamos interessados na localizacao da ra ap
os
alguns saltos sucessivos e nao no tempo de seu salto.
Considere inicialmente que o lago tem um n
umero finito de
vit
orias-regias numeradas de 1 a N.
Se usarmos n para indicar o n
umero de saltos feitos pela ra
e Xn para indicar o n
umero da folha ocupada ap
os o n-esimo
salto,

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
No momento estamos interessados na localizacao da ra ap
os
alguns saltos sucessivos e nao no tempo de seu salto.
Considere inicialmente que o lago tem um n
umero finito de
vit
orias-regias numeradas de 1 a N.
Se usarmos n para indicar o n
umero de saltos feitos pela ra
e Xn para indicar o n
umero da folha ocupada ap
os o n-esimo
salto,
entao a sequencia
X0 , X1 , X2 , . . . , Xn , Xn+1
especifica o caminho percorrido pela ra ate o (n + 1)-esimo
slato.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
No momento estamos interessados na localizacao da ra ap
os
alguns saltos sucessivos e nao no tempo de seu salto.
Considere inicialmente que o lago tem um n
umero finito de
vit
orias-regias numeradas de 1 a N.
Se usarmos n para indicar o n
umero de saltos feitos pela ra
e Xn para indicar o n
umero da folha ocupada ap
os o n-esimo
salto,
entao a sequencia
X0 , X1 , X2 , . . . , Xn , Xn+1
especifica o caminho percorrido pela ra ate o (n + 1)-esimo
slato.
Chamamos essa sequencia de trajet
oria do processo.
Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Os valores que Xn pode assumir, Xn {1, 2, . . . , N},
representa o estado do processo no n-esimo salto, ou na
n-esima transicao, ou ainda no tempo n.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Os valores que Xn pode assumir, Xn {1, 2, . . . , N},
representa o estado do processo no n-esimo salto, ou na
n-esima transicao, ou ainda no tempo n.
O salto da ra de uma folha para outra (ou para a mesma
folha), e chamada de transic
ao de estados.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Os valores que Xn pode assumir, Xn {1, 2, . . . , N},
representa o estado do processo no n-esimo salto, ou na
n-esima transicao, ou ainda no tempo n.
O salto da ra de uma folha para outra (ou para a mesma
folha), e chamada de transic
ao de estados.
Como pode ser observado a sequencia de folhas ocupadas pela
ra, sua trajet
oria, e aleat
oria.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Os valores que Xn pode assumir, Xn {1, 2, . . . , N},
representa o estado do processo no n-esimo salto, ou na
n-esima transicao, ou ainda no tempo n.
O salto da ra de uma folha para outra (ou para a mesma
folha), e chamada de transic
ao de estados.
Como pode ser observado a sequencia de folhas ocupadas pela
ra, sua trajet
oria, e aleat
oria.
O comportamnto estatstico desse processo poderia ser
especificado se a probabilidade
P[Xn+1 = xn+1 |Xn = xn , Xn1 = xn1 , . . . , X0 = x0 ]
fosse conhecida para todos os valores de seus argumentos.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov

Esta e a probabilidade de que cada estado seja ocupado ap

os
as n + 1 primeiras transicoes dada a sua trajet
oria completa
ou sua historia de ocupacao ate o tempo n.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov

Esta e a probabilidade de que cada estado seja ocupado ap

os
as n + 1 primeiras transicoes dada a sua trajet
oria completa
ou sua historia de ocupacao ate o tempo n.
Se esta probabilidade puder ser especificada para qualquer
valor de n entao o comportamento do processo poderia ser
bastante complexo.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov

Esta e a probabilidade de que cada estado seja ocupado ap

os
as n + 1 primeiras transicoes dada a sua trajet
oria completa
ou sua historia de ocupacao ate o tempo n.
Se esta probabilidade puder ser especificada para qualquer
valor de n entao o comportamento do processo poderia ser
bastante complexo.
Levantar essas probabilidades ja seria um grande problema por
si so.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
A suposicao de Markov.
Apenas o u
ltimo estado ocupado pelo processo (pela ra) e
relevante para determinar seu comportamento futuro (o
proximo salto da ra).

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
A suposicao de Markov.
Apenas o u
ltimo estado ocupado pelo processo (pela ra) e
relevante para determinar seu comportamento futuro (o
proximo salto da ra).
Matematicamente
P[Xn+1 = xn+1 |Xn = xn , Xn1 = xn1 , . . . , X0 = x0 ]
= P[Xn+1 = xn+1 |Xn = xn ].

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
A suposicao de Markov.
Apenas o u
ltimo estado ocupado pelo processo (pela ra) e
relevante para determinar seu comportamento futuro (o
proximo salto da ra).
Matematicamente
P[Xn+1 = xn+1 |Xn = xn , Xn1 = xn1 , . . . , X0 = x0 ]
= P[Xn+1 = xn+1 |Xn = xn ].
Ou seja, a probabilidade de se realizar uma transicao depende
apenas do estado ocupado atualmente.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
A suposicao de Markov.
Apenas o u
ltimo estado ocupado pelo processo (pela ra) e
relevante para determinar seu comportamento futuro (o
proximo salto da ra).
Matematicamente
P[Xn+1 = xn+1 |Xn = xn , Xn1 = xn1 , . . . , X0 = x0 ]
= P[Xn+1 = xn+1 |Xn = xn ].
Ou seja, a probabilidade de se realizar uma transicao depende
apenas do estado ocupado atualmente.
Esta suposicao simplifica bastante o possvel comportamento
do sistema bem como o levantamento dessas probabilidades.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Uma gama bastante ampla de sistemas pode ser modelada
pela suposicao de Markov.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Uma gama bastante ampla de sistemas pode ser modelada
pela suposicao de Markov.
Ate mesmo quando o passado influencia o comportamento
futuro a suposicao de Markov ainda pode ser satisfeita por
uma mudanca na sua estrutura.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Uma gama bastante ampla de sistemas pode ser modelada
pela suposicao de Markov.
Ate mesmo quando o passado influencia o comportamento
futuro a suposicao de Markov ainda pode ser satisfeita por
uma mudanca na sua estrutura.
Por exemplo, suponha que os dois u
ltimos estados ocupados
influenciam no comportamento futuro.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Uma gama bastante ampla de sistemas pode ser modelada
pela suposicao de Markov.
Ate mesmo quando o passado influencia o comportamento
futuro a suposicao de Markov ainda pode ser satisfeita por
uma mudanca na sua estrutura.
Por exemplo, suponha que os dois u
ltimos estados ocupados
influenciam no comportamento futuro.
Podemos, entao, definir um novo processo com N 2 estados no
qual cada par de estados sucessivos no processo antigo
corresponda a um estado no novo processo.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Uma gama bastante ampla de sistemas pode ser modelada
pela suposicao de Markov.
Ate mesmo quando o passado influencia o comportamento
futuro a suposicao de Markov ainda pode ser satisfeita por
uma mudanca na sua estrutura.
Por exemplo, suponha que os dois u
ltimos estados ocupados
influenciam no comportamento futuro.
Podemos, entao, definir um novo processo com N 2 estados no
qual cada par de estados sucessivos no processo antigo
corresponda a um estado no novo processo.
Observe que esse procedimento aumenta consideravelmente a
complexidade computacional.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov

Processos iid
Considere uma sequencia de v.as. iid Xn . Ela pode ser vista como
um processo de Markov?

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov

Processos iid
Considere uma sequencia de v.as. iid Xn . Ela pode ser vista como
um processo de Markov?
Solucao:
Aplicando a definicao
P[Xn+1 = xn+1 |Xn = xn , Xn1 = xn1 , . . . , X0 = x0 ]
= P[Xn+1 = xn+1 ] = P[Xn+1 = xn+1 |Xn = xn ].
logo a sequencia iid pode ser vista como um processo de
Markov.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Processo soma
Considere o pocesso soma Sn de uma sequencia de v.as. idd Xn , ja
discutido anteriormente. Ele pode ser visto como um processo de
Markov?

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Processo soma
Considere o pocesso soma Sn de uma sequencia de v.as. idd Xn , ja
discutido anteriormente. Ele pode ser visto como um processo de
Markov?
Solucao:
Aplicando a definicao
P[Sn+1 = sn+1 |Sn = sn , Sn1 = sn1 , . . . , S1 = s1 ]

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Processo soma
Considere o pocesso soma Sn de uma sequencia de v.as. idd Xn , ja
discutido anteriormente. Ele pode ser visto como um processo de
Markov?
Solucao:
Aplicando a definicao
P[Sn+1 = sn+1 |Sn = sn , Sn1 = sn1 , . . . , S1 = s1 ]
= P[Xn+1 = sn+1 sn ]

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Processo soma
Considere o pocesso soma Sn de uma sequencia de v.as. idd Xn , ja
discutido anteriormente. Ele pode ser visto como um processo de
Markov?
Solucao:
Aplicando a definicao
P[Sn+1 = sn+1 |Sn = sn , Sn1 = sn1 , . . . , S1 = s1 ]
= P[Xn+1 = sn+1 sn ]
= P[Sn+1 Sn = sn+1 sn ]

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Processo soma
Considere o pocesso soma Sn de uma sequencia de v.as. idd Xn , ja
discutido anteriormente. Ele pode ser visto como um processo de
Markov?
Solucao:
Aplicando a definicao
P[Sn+1 = sn+1 |Sn = sn , Sn1 = sn1 , . . . , S1 = s1 ]
= P[Xn+1 = sn+1 sn ]
= P[Sn+1 Sn = sn+1 sn ]
= P[Sn+1 = sn+1 |Sn = sn ].

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Processo de Markov
Processo soma
Considere o pocesso soma Sn de uma sequencia de v.as. idd Xn , ja
discutido anteriormente. Ele pode ser visto como um processo de
Markov?
Solucao:
Aplicando a definicao
P[Sn+1 = sn+1 |Sn = sn , Sn1 = sn1 , . . . , S1 = s1 ]
= P[Xn+1 = sn+1 sn ]
= P[Sn+1 Sn = sn+1 sn ]
= P[Sn+1 = sn+1 |Sn = sn ].
Logo o processo soma pode ser visto como um processo de
Markov.
Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Probabilidades de Transicao

Para definir um processo de Markov devemos especificar as

probabilidades
P[Xn+1 = j|Xn = i]
para todos 1 i, j N e para n = 0, 1, 2, . . . .

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Probabilidades de Transicao

Para definir um processo de Markov devemos especificar as

probabilidades
P[Xn+1 = j|Xn = i]
para todos 1 i, j N e para n = 0, 1, 2, . . . .
Quando i e j sao inteiros, como nesse caso, o processo de
Markov e chamado de Cadeia de Markov.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Probabilidades de Transicao

Para definir um processo de Markov devemos especificar as

probabilidades
P[Xn+1 = j|Xn = i]
para todos 1 i, j N e para n = 0, 1, 2, . . . .
Quando i e j sao inteiros, como nesse caso, o processo de
Markov e chamado de Cadeia de Markov.
Vamos supor que a probabilidade acima nao muda para
diferentes valores de n, (a ra nao cansa), dizemos entao que a
cadeia de Markov e homog
enea.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Probabilidades de Transicao
Definimos a probabilidade de transicao pij como
pij = P[Xn+1 = j|Xn = i]

1 i, j N,

n = 0, 1, 2, . . .

que e a probabilidade de que o processo esteja no estado i e

va para o estado j logo a seguir.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Probabilidades de Transicao
Definimos a probabilidade de transicao pij como
pij = P[Xn+1 = j|Xn = i]

1 i, j N,

n = 0, 1, 2, . . .

que e a probabilidade de que o processo esteja no estado i e

va para o estado j logo a seguir.
Como o processo deve ocupar um dos N estados ap
os cada
transicao, entao
N
X

pij = 1

i = 1, 2, . . . , N.

j=1

(A ra nunca cai na agua.)

Bruno Barbosa Albert

Processos Estoc
asticos

(1)

Cadeias de Markov

Probabilidades de Transicao
Um modo conveniente de descrever uma cadeia de Markov e
representar as N 2 probabilidades de transicao por uma matriz
P N N, cujos elementos sao pij ,

p11 p12 . . . p1N

p21 p22 . . . p2N

P = {pij } = .
..
..
.
.
.
.
.
.
.
pN1 pN2 . . . pNN

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Probabilidades de Transicao
Um modo conveniente de descrever uma cadeia de Markov e
representar as N 2 probabilidades de transicao por uma matriz
P N N, cujos elementos sao pij ,

p11 p12 . . . p1N

p21 p22 . . . p2N

P = {pij } = .
..
..
.
.
.
.
.
.
.
pN1 pN2 . . . pNN

A matriz P e chamada de matriz de probabilidades de

transic
ao (de um passo).

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Probabilidades de Transicao
Um modo conveniente de descrever uma cadeia de Markov e
representar as N 2 probabilidades de transicao por uma matriz
P N N, cujos elementos sao pij ,

p11 p12 . . . p1N

p21 p22 . . . p2N

P = {pij } = .
..
..
.
.
.
.
.
.
.
pN1 pN2 . . . pNN

A matriz P e chamada de matriz de probabilidades de

transic
ao (de um passo).
Observe que cada linha da matriz P deve satisfazer a
equacao (1).

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Probabilidades de Transicao

Uma matriz cujos elementos estao no intervalo [0, 1] e os

elementos de sua linha somam 1 e chamada de matriz
estocastica.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Probabilidades de Transicao

Uma matriz cujos elementos estao no intervalo [0, 1] e os

elementos de sua linha somam 1 e chamada de matriz
estocastica.
Uma cadeia de Markov pode ser representada graficamente
por um diagrama de transicao de estados.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Probabilidades de Transicao

Uma matriz cujos elementos estao no intervalo [0, 1] e os

elementos de sua linha somam 1 e chamada de matriz
estocastica.
Uma cadeia de Markov pode ser representada graficamente
por um diagrama de transicao de estados.
Ou por um diagrama de trelica.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Supondo que temos razoes para acreditar que a atividade da

ra pode ser descrita por uma cadeia de Markov com uma
determinada matriz de transicao P.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Supondo que temos razoes para acreditar que a atividade da

ra pode ser descrita por uma cadeia de Markov com uma
determinada matriz de transicao P.
Quais questoes seriam de interesse sobre o seu
comportamento?

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Questao 1:
Qual a probabilidade de ocorrencia de uma determinada trajet
oria?

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Questao 1:
Qual a probabilidade de ocorrencia de uma determinada trajet
oria?
Considere apenas 2 transicoes (2 saltos da ra) inicialmente.
Desejamos calcular

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Questao 1:
Qual a probabilidade de ocorrencia de uma determinada trajet
oria?
Considere apenas 2 transicoes (2 saltos da ra) inicialmente.
Desejamos calcular
P[X2 = i2 , X1 = i1 , X0 = i0 ]

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Questao 1:
Qual a probabilidade de ocorrencia de uma determinada trajet
oria?
Considere apenas 2 transicoes (2 saltos da ra) inicialmente.
Desejamos calcular
P[X2 = i2 , X1 = i1 , X0 = i0 ]
= P[X2 = i2 |X1 = i1 , X0 = i0 ]P[X1 = i1 , X0 = i0 ]

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Questao 1:
Qual a probabilidade de ocorrencia de uma determinada trajet
oria?
Considere apenas 2 transicoes (2 saltos da ra) inicialmente.
Desejamos calcular
P[X2 = i2 , X1 = i1 , X0 = i0 ]
= P[X2 = i2 |X1 = i1 , X0 = i0 ]P[X1 = i1 , X0 = i0 ]
= P[X2 = i2 |X1 = i1 ]P[X1 = i1 , X0 = i0 ]

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Questao 1:
Qual a probabilidade de ocorrencia de uma determinada trajet
oria?
Considere apenas 2 transicoes (2 saltos da ra) inicialmente.
Desejamos calcular
P[X2 = i2 , X1 = i1 , X0 = i0 ]
= P[X2 = i2 |X1 = i1 , X0 = i0 ]P[X1 = i1 , X0 = i0 ]
= P[X2 = i2 |X1 = i1 ]P[X1 = i1 , X0 = i0 ]
= P[X2 = i2 |X1 = i1 ]P[X1 = i1 |X0 = i0 ]P[X0 = i0 ]

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Questao 1:
Qual a probabilidade de ocorrencia de uma determinada trajet
oria?
Considere apenas 2 transicoes (2 saltos da ra) inicialmente.
Desejamos calcular
P[X2 = i2 , X1 = i1 , X0 = i0 ]
= P[X2 = i2 |X1 = i1 , X0 = i0 ]P[X1 = i1 , X0 = i0 ]
= P[X2 = i2 |X1 = i1 ]P[X1 = i1 , X0 = i0 ]
= P[X2 = i2 |X1 = i1 ]P[X1 = i1 |X0 = i0 ]P[X0 = i0 ]
= pi1 i2 pi0 i1 pi0 (0),
em que pi0 (0) = P[X0 = i0 ].
Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Generalizando para n transicoes

P[Xn = in , . . . , X0 = i0 ] = pin1 in . . . pi0 i1 pi0 (0)

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Generalizando para n transicoes

P[Xn = in , . . . , X0 = i0 ] = pin1 in . . . pi0 i1 pi0 (0)
Assim a trajet
oria do processo ou a fmp conjunta do processo de
Markov Xn e dada pelo produto da fmp no instante inicial e das
probabilidades de transicao dos estados subsequentes.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Questao 2:
O que podemos dizer sobre a posicao da ra ap
os n saltos se
sabemos a folha de onde ela partiu?

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Questao 2:
O que podemos dizer sobre a posicao da ra ap
os n saltos se
sabemos a folha de onde ela partiu?
Seja pij (n) a probabilidade de que o processo estara no estado j no
tempo n dado que ele ocupou o estado i no tempo 0
pij (n) = P[Xn = j|X0 = i] 1 i, j N,

Bruno Barbosa Albert

n = 0, 1, 2, . . .

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Questao 2:
O que podemos dizer sobre a posicao da ra ap
os n saltos se
sabemos a folha de onde ela partiu?
Seja pij (n) a probabilidade de que o processo estara no estado j no
tempo n dado que ele ocupou o estado i no tempo 0
pij (n) = P[Xn = j|X0 = i] 1 i, j N,

n = 0, 1, 2, . . .

pij (n) e chamada de probabilidade de transic

ao de n passos do
processo de Markov a partir do estado i para o estado j.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Observe que P[Xn = j|X0 = i] = P[Xn+k = j|Xk = i] para
n, k 0 pois as probabilidades de transicao nao dependem do
tempo.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Observe que P[Xn = j|X0 = i] = P[Xn+k = j|Xk = i] para
n, k 0 pois as probabilidades de transicao nao dependem do
tempo.
Considere primeiro as probabilidades de transicao de 2 passos.

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Observe que P[Xn = j|X0 = i] = P[Xn+k = j|Xk = i] para
n, k 0 pois as probabilidades de transicao nao dependem do
tempo.
Considere primeiro as probabilidades de transicao de 2 passos.
A probabilidade de ir do estado i no tempo n = 0, passando
por k no tempo n = 1 e terminando no estado j no tempo
n = 2 e
P[X2 = j, X1 = k|X0 = i] =

Bruno Barbosa Albert

P[X2 = j, X1 = k, X0 = i]
P[X0 = i]

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Observe que P[Xn = j|X0 = i] = P[Xn+k = j|Xk = i] para
n, k 0 pois as probabilidades de transicao nao dependem do
tempo.
Considere primeiro as probabilidades de transicao de 2 passos.
A probabilidade de ir do estado i no tempo n = 0, passando
por k no tempo n = 1 e terminando no estado j no tempo
n = 2 e
P[X2 = j, X1 = k, X0 = i]
P[X0 = i]
P[X2 = j|X1 = k]P[X1 = k|X0 = i]P[X0 = i]
=
P[X0 = i]

P[X2 = j, X1 = k|X0 = i] =

Bruno Barbosa Albert

Processos Estoc
asticos

Cadeias de Markov

Comportamento da Cadeia de Markov

Observe que P[Xn = j|X0 = i] = P[Xn+k = j|Xk = i] para
n, k 0 pois as probabilidades de transicao nao dependem do
tempo.
Considere primeiro as probabilidades de transicao de 2 passos.
A probabilidade de ir do estado i no tempo n = 0, passando
por k no tempo n = 1 e terminando no estado j no tempo
n = 2 e
P[X2 = j, X1 = k, X0 = i]
P[X0 = i]
P[X2 = j|X1 = k]P[X1 = k|X0 = i]P[X0 = i]
=
P[X0 = i]
= pkj (1)pik (1).

P[X2 = j, X1 = k|X0 = i] =

Bruno Barbosa Albert

Processos Estoc
asticos