UNIVERSIDADE SO

JUDAS TADEU
PROCESSOS ESTOCSTICOS E
CADEIAS DE MARKOV
FERNANDO MORI
http://sites.google.com/site/fmoripro
prof.fmori@gmail.com
Processos Estocsticos
Um processo estocstico definido como um conjunto
indexado de variveis aleatrias em que o ndice t
percorre dado conjunto T. Normalmente admite-se que
T seja o conjunto dos inteiros no negativos e
represente uma caracterstica mensurvel de interesse
no instante t. Por exemplo, poderia medir o nvel de
estoque de determinado produto ao final da semana t.
Os processos estocsticos so de interesse por
descreverem o comportamento de um sistema
operando ao longo de um perodo.
FERNANDO MORI - USJT 2014 2
{ }
t
X
t
X
t
X
Processos Estocsticos
Um processo estocstico normalmente apresenta a seguinte
estrutura:
O estado atual do sistema pode cair em qualquer uma das M + 1
categorias mutuamente exclusivas denominadas de estados.
Esses estados so identificados como 0,1,2,......,M. A varivel
aleatria representa o estado do sistema no instante t de
modo que os seus nicos valores possveis sejam 0,1,2,......,M.
O sistema observado em pontos determinados no tempo,
identificados por t = 0,1,2,......Portanto o processo estocstico
fornece uma representao
matemtica de como o sistema fsico evolui ao longo do
tempo.
FERNANDO MORI - USJT 2014 3
t
X
{ } { }
0 1 2
, , ,...........
t
X X X X =
Processos Estocsticos
Este tipo de processo conhecido como um processo estocstico
em tempo discreto com um espao de estado finito.
Exemplo:
O tempo em uma certa cidade pode mudar de maneira rpida.
Entretanto as chances em termos de tempo seco (sem
chuvas) amanh so ligeiramente maiores, caso esteja seco
hoje do que se chover hoje. Particularmente a probabilidade
de termos tempo seco amanh de 0,8, caso hoje esteja
seco, porm de apenas 0,6 caso amanh chova.
A evoluo do tempo, dia a dia, um processo estocstico.
Comeando em dado dia inicial (chamado dia 0), o tempo
FERNANDO MORI - USJT 2014 4
Processos Estocsticos
observado em cada dia t, para t = 0,1,2,...... O estado do
sistema no dia t pode ser:
Estado = 0 dia t seco
Estado = 1 dia t com chuva
Portanto para t = 0,1,2,...., a varivel aleatria assume os
seguintes valores:
O processo estocstico fornece uma
representao matemtica de como o estado do tempo na
cidade evolui ao longo do tempo.
FERNANDO MORI - USJT 2014 5
t
X
0 se o dia t estiver seco
1 se o dia t estiver chovendo
t
t
X
X
=
=
{ } { }
0 1 2
, , ,........
t
X X X X =
Processos Estocsticos
Um processo estocstico dito ter a propriedade markoviana se
a probabilidade condicional de qualquer evento futuro ,
dados quaisquer eventos do passado e o estado presente
independente dos eventos passados e depende apenas do
estado atual.
Um processo estocstico uma cadeia de Markov
se possuir a propriedade markoviana.
As probabilidades condicionais para uma cadeia de
Markov so chamadas de probabilidades de transio(uma
etapa). Se para cada i e j ,
FERNANDO MORI - USJT 2014 6
{ }( 0,1, 2,......)
t
X t =
{ }
1
/
t t
P X j X i
+
= =
{ } { }
1 1 0
/ /
t t
P X j X i P X j X i
+
= = = = =
Cadeias de Markov
Ento as probabilidades de transio ( uma etapa) so ditas
estacionrias. Portanto, ter probabilidades de transio
estacionrias implica que as probabilidades de transio no
mudam ao longo do tempo. A existncia de probabilidades de
transio estacionarias tambm implicam o mesmo para cada
i, j e n (n = 0,1,2,....).
Para todo t = 0,1,2,.....Essas probabilidades condicionais so
denominadas probabilidades de transio em n etapas.
FERNANDO MORI - USJT 2014 7
{ } { }
0
/ /
t n t n
P X j X i P X j X i
+
= = = = =
Cadeias de Markov
Para simplificar a notao com probabilidades de transio
estacionarias usamos:
Assim a probabilidade de transio em n etapas
simplesmente a probabilidade condicional de que o sistema
estar no estado j aps exatamente n etapas (unidades de
tempo), dado que ele inicia no estado i a qualquer instante j.
Como so probabilidades condicionais, elas tm de ser no
negativas e j que o processo deve realizar uma transio para
algum estado elas devem satisfazer as seguintes
propriedades:
FERNANDO MORI - USJT 2014 8
{ }
{ }
1
( )
/
/
ij t t
n
ij t n t
p P X j X i
p P X j X i
+
+
= = =
= = =
( ) n
ij
p
( ) n
ij
p
Cadeias de Markov
Uma maneira conveniente de mostrar as probabilidades de
transio usar o formato de matriz:
FERNANDO MORI - USJT 2014 9
( )
( )
0
0, para todo i,j;n=0,1,2,......
1 para todo i;n=0,1,2,......
n
ij
M
n
ij
j
p
p
=
>
=

Cadeias de Markov
FERNANDO MORI - USJT 2014 10
( ) ( ) ( ) ( )
00 01 02 0
( ) ( ) ( ) ( )
10 11 12 1
( ) ( ) ( ) ( ) ( )
20 21 22 2
( ) ( ) ( ) ( )
0 1 2
estado 0 1 2 . . .
0 . . .
1 . . .
2 . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . .
n n n n
M
n n n n
M
n n n n n
M
n n n n
M M M MM
M
p p p p
p p p p
P p p p p
M p p p p
=
Cadeias de Markov
FERNANDO MORI - USJT 2014 11
00 01 02
10 11 12
( )
20 21 22
30 31 32
A matriz de transio ser ento dada por:
. .
. .
. . .
. ..
. . . . .
n
p p p
p p p
P p p p
p p p
(
(
(
( =
(
(
(

Cadeias de Markov
Note que a probabilidade de transio em determinada linha e
coluna para a transio do estado da linha para o estado da
coluna. Quando n = 1 eliminamos n e simplesmente nos
referimos a matriz como matriz de transio.
As cadeias de Markov que iremos estudar possuem as seguintes
propriedades :
1) Um nmero finito de estados.
2) Probabilidades de transio estacionrias.
3) Partimos da hiptese de que conhecemos as probabilidades
iniciais para todo i.
FERNANDO MORI - USJT 2014 12
FERNANDO MORI - USJT 2014 13
PROCESSO DE MARKOV
Propriedade dos sistemas sem memria:
Dado o estado atual , o prximo estado s
depende deste estado e de nenhum outro estado em
que o sistema tenha estado no passado (ausncia de
memria espacial).
O tempo em que o sistema se encontra no estado
atual no relevante para se determinar o prximo
estado (ausncia de memria temporal).
k
x
FERNANDO MORI - USJT 2014 14
Cadeia de Markov
J foi visto que para especificar uma cadeia de
Markov deve-se:
Identificar um espao de estados.
Conhecer a probabilidade inicial de estado
para cada estado pertencente ao espao de
estados.
Conhecer a probabilidade de transio.
FERNANDO MORI - USJT 2014 15
Sistema de Tempo Discreto
Considerando o espao de estado como um conjunto
contvel, ele pode ser representado pelo conjunto
dos nmeros inteiros no negativos: (1,2,3,.......).
As letras i e j so usadas para representar o estado
atual e o prximo estado;
No caso de sistemas com tempo discreto representa-
se os instantes pelo conjunto de nmeros inteiros,
sendo k a varivel utilizada para representar estes
instantes discretos.
FERNANDO MORI - USJT 2014 16
Probabilidade de transio de Estado
Probabilidade de Transio:
| |
1
( ) /
onde i,j pertencem aos estados de tempo discreto.
As seguintes prpriedades so vlidas:
0 ( ) 1;
e para todo estado i e instante de tempo k:
( ) 1, para todo j.
ij k K
ij
ij
p k P X j X i
p k
p k
+
= = =
s s
=

FERNANDO MORI - USJT 2014 17

Probabilidade de transio de n passos
| |
| |
( , ) /
Vamos condicionar esta transio de n passos a passagem por um estado
intermedirio r num determinado instante u, entre k e k+n, ou seja:
( , ) / , .
ij k n k
ij K n u k u
todor
p k k n P X j X i
p k k n P X j X r X i P X r
+
+
+ = = =
+ = = = = =
| |
| | | |
| |
/
Pela propriedade da ausnci de memria temos:
/ , / ( , )
onde:
( , ) /
k
k n u k k n u rj
ir u k
X i
P X j X r X i P X j X r p u k n
p k u P X r X i
+ +
=
= = = = = = = +
= = =
FERNANDO MORI - USJT 2014 18
Equao de Chapman-Kolmogorov
( , ) ( , ). ( , ),
Esta a equao de Chapman-Kolmogorov, que determina a evoluo,
trajetria dos estados da cadeia de Markov.
Esta relao vlida para cadeias de Markov com tem
ij ir rj
r
p k k n p k u p u k n k u k n + = + s s +

po discreto.
Ela pode ser escrita na forma matricial.
FERNANDO MORI - USJT 2014 19
Equao na forma de Matriz
Portanto podemos reescrever a equao de
Chapman-Kolmogorov:
Define-se a matriz H como sendo:
( , ) ( , ) , , 0,1, 2,....
Esta a matriz das probabilidades de transio
de estados em n passos.
ij
H k k n p k k n i j
(

+ = + =
( , ) ( , ). ( , )
ou escolhendo-se 1, tem-se:
( , ) ( , 1). ( 1, )
esta a relao de evoluo direta de Kolmogorov.
H k k n H k u H u k n
u k n
H k k n H k k n H k n k n
+ = +
= +
+ = + + +
FERNANDO MORI - USJT 2014 20
Cadeia de Markov Homognea
Quando as probabilidades de transio forem
independentes do tempo k, para todo i,j, tem-se uma
cadeia de markov homognea.
Neste caso escreve-se:
Onde o elemento da matriz de transio independente de k.
Ou seja, a transio de i para j sempre ocorre com a mesma
probabilidade p , independente do instante de tempo que
ela venha a ocorrer.
| |
1
/
ij k k i
p P X j X
+ =
= =
FERNANDO MORI - USJT 2014 21
Exemplo
Considere uma mquina que pode estar em um dos
dois estados: up e down.
Considere o conjunto de estados (0,1) para
representar os estados dessa mquina.
O estado dessa mquina observado (verificado) a
cada hora. Estes instantes de observao so
representados pela seqncia k=0,1,2,3,...... .
Desta forma temos uma cadeia estocstica, onde
temos o estado da mquina na k-sima hora de
observao.
FERNANDO MORI - USJT 2014 22
Exemplo: Continuao
Considere ainda que:
- se a mquina estiver no estado up a probabilidade
dela falhar na prxima hora dada por .
- se a mquina estiver no estado down a probabilidade
dela ser consertada na prxima hora
o
10 11 01 00
.
Com estas definies obtemos uma cadeia de Markov
homognea.
A matriz de transio de probabilidades possui os
seguintes elementos:
p 1 1
onde 0 1 e 0 1.
p p p
|
o o | |
o |
= = = =
s s s s
FERNANDO MORI - USJT 2014 23
Exemplo: Diagrama de transio
Uma maneira conveniente de se representar uma
cadeia de markov atravs de um diagrama de
transio de estados:
|
1
0
1 o
1 |
o
FERNANDO MORI - USJT 2014 24
Exemplo:Cadeia no homognea
Considere agora a situao onde, com o
passar do tempo, a probabilidade da mquina
falhar na prxima hora aumenta devido ao seu
envelhecimento;
Neste caso as probabilidades de transio
poderiam ser escritas na forma:
FERNANDO MORI - USJT 2014 25
Cadeia no Homognea
10
11
1
1
para 0 1 e 0,1, 2,.....
Neste caso a probabilidade de falha aumenta e tende
a 1 quando k tende a infinito. Esta nova cadeia de
Markov no mais homogenea.
k
k
p
p
k
o
o

= =
= =
< < =
FERNANDO MORI - USJT 2014 26
Transio de estados em n-passos
Numa cadeia homognea a matriz de transio de
estado tambm independente do tempo k. Neste
caso pode-se escrever:
Se fizermos u=k+m e escolhendo m=n-1, na equao
de Chapman-Kolmogorov, tem-se:
| |
/ , 1, 2,...
n
ij k n k
p P X j X i n
+
= = = =
( ) ( 1). (1),
onde ( )
n
ij
H n H n H
H n p
=
(
=

FERNANDO MORI - USJT 2014 27
Exemplo: Chamadas telefnicas
Considere os intervalos de tempo discretos, k=0,1,2,....,
chamados de time-slots;
O processo de chamada telefnica opera da seguinte maneira:
No mximo uma chamada telefnica pode ocorrer no time-slot
com probabilidade
Se o telefone estiver ocupado a chamada perdida(no h
transio de estado) se no, a chamada processada;
Uma chamada sendo processada pode ser encerrada dentro de
um time-slot com probabilidade
o
|
FERNANDO MORI - USJT 2014 28
Exemplo: Continuao
Se ocorrer a chegada de uma nova chamada e o
trmino de uma outra dentro de um mesmo time-slot,
a nova chamada ser aceita e o seu processamento
iniciado.
Assume-se que a chegada ou o trmino das chamadas
so independentes entre si;
Seja a representao do estado deste processo
estocstico no k-simo time-slot, o qual pode assumir
valor 0 (telefone livre) ou 1(telefone ocupado);
k
X
FERNANDO MORI - USJT 2014 29
Exemplo: Continuao
As probabilidades de transio de estado so:
00
01
10
1 : O telefone permanece livre se nenhuma
chamada chega no time-slot;
: O telefone fica ocupado se uma nova chamada
chega no time-slot.
.(1 ): O telefone fica livre se uma chamada
comp
p
p
p
o
o
| o
=
=
=
11
letada e no chega nenhuma nova chamad no
time-slot;
(1 ).(1 ) O telefone permanece ocupado
se a chamada no completa ou a chamada completa,
porm chega uma nova chamada no time-slot.
p | o =
FERNANDO MORI - USJT 2014 30
Exemplo: Continuao
A matriz de transio P dada por:
1
.(1 ) (1 ) .
P
o o
| o | o |

(
=
(
+

FERNANDO MORI - USJT 2014 31
Exemplo: Continuao
o
.(1 ) | o
(1 ) | o|
1 o
FERNANDO MORI - USJT 2014 32
Cadeias de Markov
Resumo
Um processo de Markov (processo
Estocstico) consiste em um conjunto de
estados tais que:
1. A qualquer instante cada objeto deve
estar em um nico estado.
2. A probabilidade de que um objeto passe
de um estado para outro em um perodo
de tempo depende apenas desses dois
estados.
FERNANDO MORI - USJT 2014 33
Classificao de Estados em uma
Cadeia de Markov
Dados dois estados i e j, uma trajetria de i para
j uma sequncia de transies que iniciam em
i e terminam em j, de tal maneira que cada
transio na sequncia tem uma probabilidade
positiva de ocorrncia.
Um estado j acessvel do estado i se existir
uma trajetria que leva de i para j.
Dois estados i e j so chamados comunicantes
se j acessvel de i e i acessvel de j.
FERNANDO MORI - USJT 2014 34
Um estado i chamado absorvente se
Um estado i chamado estado transiente se
existe um estado j acessvel a partir de i, mas o
estado i no acessvel a partir de j.
Um estado peridico com perodo k, se k for
um nmero inteiro positivo tal que a trajetria do
estado i que volta para esse mesmo estado i
tem comprimento que um mltiplo de k.
1
ii
p =
FERNANDO MORI - USJT 2014 35
Estado Estacionrio ou Longo
Prazo
Seja P a matriz de transio que d origem a
uma cadeia de Markov. Se os estados no
forem peridicos, todos comunicarem-se entre
si e no houver nenhum estado absorvente,
ento existe um estado
tal que a seguinte igualdade matricial
verificada:
| |
1 2 3
... H = H H H
FERNANDO MORI - USJT 2014 36
| |
1 2 3
1 2 3 4
.
onde:
....
a matriz de transio
e
....... 1
P
P
H = H
H = H H H
H + H + H + H + =
FERNANDO MORI - USJT 2014 37
Tal estado chamado de estado
estacionrio do processo.
Isto significa que aps um tempo longo, o
processo de Markov estaciona, para de
ocorrer mudanas nos estados e atinge-se
um estado estacionrio (ou de equilbrio)
independente do estado inicial.
A condio de que a soma dos elementos
de uma linha na matriz estado de ter soma
1 deve ser usada na resoluo do sistema
linear.
FERNANDO MORI - USJT 2014 38
Cadeias de Markov
Resumo
Os processos de Markov ocorrem sempre em
uma base de tempo a qual depende do
problema analisado.
O nmero inteiro de perodos de tempo
decorridos desde o incio do processo
representa o nmero de estgios do processo,
que pode ser finito ou infinito.
Se o nmero de estados finito o processo de
Markov recebe o nome de uma cadeia de
Markov.
FERNANDO MORI - USJT 2014 39
Cadeias de Markov
Resumo
Denotamos a probabilidade de transio do estado i para
o estado j em um perodo de tempo por .
Para uma cadeia de Markov com n estados (n um
nmero inteiro), a matriz n x n formada pelas
probabilidades de transio a matriz estocstica
associada ao processo.
Necessariamente a soma dos elementos de cada linha
da matriz de transio P igual a 1.
O valor representa a probabilidade de que o
processo quando no estado i faa uma transio para o
estado j.
ij
p
ij
p
FERNANDO MORI - USJT 2014 40
Cadeias de Markov
Resumo
00 01 02
10 11 12
20 21 22
30 31 32
. .
. .
. . .
. ..
. . . . .
p p p
p p p
P p p p
p p p
(
(
(
(
=
(
(
(

FERNANDO MORI - USJT 2014 41
Cadeias de Markov
Resumo
Os estados de um processo de Markov
so armazenados em uma matriz linha
que possui tantas colunas quantos forem
os estados do processo de Markov.
A evoluo do processo se faz atravs da
multiplicao da matriz de estados pela
matriz de transio.
A matriz de estados ser:
FERNANDO MORI - USJT 2014 42
Cadeias de Markov
Resumo
| |
( )
1 2 3
1 2,...
..
Onde , so as probabilidades estarmos
no estado 1, 2, ...
n
X p p p
p p
=
FERNANDO MORI - USJT 2014 43
Cadeias de Markov
Resumo
Teorema: Se P a matriz de transio de um
processo de Markov ento a matriz linha de
estados no periodo (n+1) da
observao pode ser determinado a partir da
matriz linha de estados no perodo n da
observao a partir da relao:

( 1) n
X
+
( ) n
X
( 1) ( )
.
n n
X X P
+
=
FERNANDO MORI - USJT 2014 44
Exerccios
FERNANDO MORI - USJT 2014 45
1) Os dados de uma pesquisa dividem as famlias
em economicamente estveis e
economicamente instveis. Num perodo de 10
anos, a probabilidade de uma famlia estvel
permanecer estvel 0,92 enquanto a
probabilidade de ficar economicamente instvel
0,08. A probabilidade de que uma famlia
instvel se torne estvel de 0,03, enquanto a
probabilidade de que ela assim permanea
0,97. Qual a probabilidade de que daqui a 20
anos uma famlia hoje economicamente estvel
torne-se economicamente instvel ?
Soluo:
Diagrama de estados
FERNANDO MORI - USJT 2014 46
estvel
instvel
0,92
0,08
0,03
0,97
FERNANDO MORI - USJT 2014 47
| |
| |
| |
| |
( )
(0)
(1) (0)
(1)
(1)
(2) (1)
(2)
2
0, 92 0, 08
0, 03 0, 97
estado inicial
1 0
primeiro perodo = 10 anos
.
0, 92 0, 08
1 0 .
0, 03 0, 97
0, 92 0, 08
segundo perodo = 20 anos
.
0, 92 0, 08
0, 92 0, 08 .
0, 03 0, 97
P
X
X X P
X
X
X X P
X
X
(
=
(

=
=
(
=
(

=
=
(
=
(

=
| |
0, 8488 0,1512
probabilidade de se tornar instvel 0,1512 ou 15,12%
FERNANDO MORI - USJT 2014 48
2) O fabricante de um produto controla atualmente
60% do mercado de uma determinada cidade.
Dados do ano anterior mostram que 88% dos
seus clientes permanecem leais a sua marca
enquanto 12% mudam para outras marcas.
Alm disso 85% dos usurios de marcas da
concorrncia permaneceram leais a marca da
concorrncia enquanto os outros 15% mudaram
para o produto do fabricante. Assumindo que
essa tendncia se mantm, determine a parcela
de mercado do fabricante daqui a 3 anos.
FERNANDO MORI - USJT 2014 49
clientes no clientes
0,88
0,85
0,12
0,15
FERNANDO MORI - USJT 2014 50
( )
| |
( ) ( )
( )
| |
( )
| |
0
1 0
1
1
Matriz de transio:
0, 88 0,12
0,15 0, 85
Estado inicial:
0, 6 0, 4
primeiro perodo = 1 ano
.
0, 88 0,12
0, 6 0, 4 .
0,15 0, 85
0, 5880 0, 4120
P
X
X X P
X
X
(
=
(

=
=
(
=
(

=
FERNANDO MORI - USJT 2014 51
( ) ( )
( )
| |
( )
| |
( ) ( )
( )
| |
( )
| |
2 1
2
2
3 2
3
3
segundo perodo = 2 anos
.
0, 88 0,12
0, 5880 0, 4120 .
0,15 0, 85
0, 5792 0, 4208
Terceiro perodo = 3 anos
.
0, 88 0,12
0, 5792 0, 4208 .
0,15 0, 85
0, 5728 0, 4272
parcela de mercado = 57,28%.
X X P
X
X
X X P
X
X
=
(
=
(

=
=
(
=
(

=
FERNANDO MORI - USJT 2014 52
3) Em um certo dia qualquer, Joo pode estar de bom
humor (BH), mais ou menos(MM) ou de mal
humor(MH). Se ele estiver de bom humor hoje ento
ele estar BH, MM ou MH amanh com
probabilidades 0.5, 0.4, 0.1. Se ele estiver mais ou
menos hoje ento ele estar BH, MM ou MH amanh
com probabilidades 0.3, 0.4, 0.3. Se ele estiver MH
hoje ento as probabilidades de estar amanh BH,
MM ou MH sero 0.2, 0.3 e 0.5.
Sabendo que hoje ele est de bom humor, qual a
probabilidade de Joo estar de mau humor daqui a
dois dias?
M
V
MH
MM
C
0.5
0.1
0.2
0.3
0.3
0.3
0.4
0.4
0.5
BH
BH MM MH
BH 0.5 0.4 0.1
MM 0.3 0.4 0.3
MH 0.2 0.3 0.5
53 FERNANDO MORI - USJT 2014
FERNANDO MORI - USJT 2014 54
( )
| |
( ) ( )
( )
| |
( )
| |
( ) ( )
( )
| |
0
1 0
1
1
2 1
2
matriz de transio
0, 5 0, 4 0,1
0, 3 0, 4 0, 3
0, 2 0, 3 0, 5
estado inicial
1 0 0
.
0, 5 0, 4 0,1
1 0 0 . 0, 3 0, 4 0, 3
0, 2 0, 3 0, 5
0, 5 0, 4 0,1
segundo dia
.
0, 5 0, 4 0,1
0, 5 0, 4 0,1 . 0, 3 0, 4 0, 3
0, 2 0, 3 0, 5
P
X
X X P
X
X
X X P
X
(
(
=
(
(

=
=
(
(
=
(
(

=
=

=
( )
| |
2
0, 39 0, 39 0, 22
A probabilidade de estar de mau humor
daqui a 2 dias 22%
X
(
(
(
(

=
FERNANDO MORI - USJT 2014 55
4) Suponha que uma indstria produza dois tipos de
produtos: tipo 1 e tipo 2. Sabendo que se uma pessoa
comprou o tipo 1, existe 90% de chance que sua
prxima compra seja tipo 1.
Sabendo que se uma pessoa comprou o tipo 2 existe
80% de chance que na prxima compra seja do tipo 2.
a) Se uma pessoa comprou o tipo 2, qual a probabilidade
dela comprar tipo 1 num intervalo de 2 compras?
b) Se uma pessoa comprou o tipo 1, qual a probabilidade
dela comprar tipo 1 num intervalo de 3 compras?
Tipo 1 Tipo 2
0.2
0.1
0.9
0.8
Tipo 1 Tipo 2
Tipo 1 0.9 0.1
Tipo 2 0.2 0.8
P =
56 FERNANDO MORI - USJT 2014
FERNANDO MORI - USJT 2014 57
( )
| |
( ) ( )
( )
| |
( )
| |
( ) ( )
( )
| |
( )
| |
0
1 0
1
1
2 1
2
2
0, 9 0,1
0, 2 0, 8
a) incio:
0 1
primeira compra
.
0, 9 0,1
0 1 .
0, 2 0, 8
0, 2 0, 8
segunda compra
.
0, 9 0,1
0, 2 0, 8 .
0, 2 0, 8
0, 34 0, 66
A probabilidade de comprar tipo 1
aps 2 compras
P
X
X X P
X
X
X X P
X
X
(
=
(

=
=
(
=
(

=
=
(
=
(

=
34%.
FERNANDO MORI - USJT 2014 58
( )
| |
( ) ( )
( )
| |
( )
| |
( ) ( )
( )
| |
( )
| |
0
1 0
1
1
2 1
2
2
b) incio:
1 0
primeira compra
.
0, 9 0,1
1 0 .
0, 2 0, 8
0, 9 0,1
segunda compra
.
0, 9 0,1
0, 9 0,1 .
0, 2 0, 8
0, 83 0,17
X
X X P
X
X
X X P
X
X
=
=
(
=
(

=
=
(
=
(

=
FERNANDO MORI - USJT 2014 59
( ) ( )
( )
| |
( )
| |
3 2
3
3
terceira compra
.
0, 9 0,1
0, 83 0,17 .
0, 2 0, 8
0, 781 0, 219
A probabilidade fe comprar o tipo 1 na
terceira compra 78,1%.
X X P
X
X
=
(
=
(

=
FERNANDO MORI - USJT 2014 60
5) Em uma cidade sabemos que 90% de
todos os dias ensolarados so seguidos
por outro dia ensolarado, e 75% de todos
os dias nublados so seguidos por outro
dia nublado. Construa a matriz de
transio e calcule a probabilidade de
daqui a 3 dias termos um dia nublado
sendo que hoje est um dia ensolarado.
FERNANDO MORI - USJT 2014 61
ensolarado nublado
0,9
0,75
0,1
0,25
FERNANDO MORI - USJT 2014 62
( )
| |
( )
| |
( )
| |
( )
| |
( )
| |
( )
| |
( )
0
1
1
2
2
3
3
0, 9 0,1
0, 25 0, 75
estado inicial:
1 0
primeiro dia
0, 9 0,1
1 0 .
0, 25 0, 75
0, 9 0,1
segundo dia
0, 9 0,1
0, 9 0,1 .
0, 25 0, 75
0, 8350 0,1650
terceiro dia
0, 9 0,1
0, 8350 0,1650 .
0, 25 0, 75
0, 79
P
X
X
X
X
X
X
X
(
=
(

=
(
=
(

=
(
=
(

=
(
=
(

=
| |
28 0, 2073
A probabilidade de termos dia ensolarado
20,73%.
FERNANDO MORI - USJT 2014 63
6) Um vendedor tem as cidades A, B, C e D em seu
territrio. Ele nunca fica numa cidade mais do que
uma semana. Se ele est na cidade A ele tem a mesma
probabilidade de ir para qualquer uma das trs na
prxima semana. Se ele est na B, ento na prxima
semana ele pode estar nas cidades A, C ou D com
probabilidades respectivamente iguais a , e . Se
ele est em C ento na prxima semana ele no ir a
B porm pode ir com a mesma probabilidade a A ou D.
Se ele est na cidade D ento na prxima semana ele
no estar em A, porm tem probabilidade 2/3 e 1/3 de
estar respectivamente em B ou C.
a) Represente esse processo por uma cadeia de Markov.
b) Se o vendedor est em A esta semana, qual a
probabilidade de estar em C daqui a duas semanas?
A
B C
D
0
1/ 3
1/ 2
1/
3
1/
2
1/ 3
1/ 4
0
1/
4
2/ 3
1/ 2
1/
5
A B C D
A 0 1/ 3 1/ 3 1/ 3
B 1/ 2 0 1/ 4 1/ 4
C 1/ 2 0 0 1/ 2
D 0 4/ 5 1/ 5 0
64 FERNANDO MORI - USJT 2014
FERNANDO MORI - USJT 2014 65
7) A ala geritrica de um hospital classifica os seus pacientes
como acamados ou ambulatrios. Dados histricos
indicam que durante o perodo de uma semana, 30% de
todos os pacientes ambulatrios tem alta, 40%
permanecem em regime ambulatrio e 30% tem de ser
acamados para repouso completo. Durante o mesmo
perodo, 50% dos pacientes acamados tornam-se
ambulatrios, 20% permanecem acamados e 30%
morrem. Presentemente o hospital tem 100 pacientes na
sua ala geritrica, com 30% de acamados e 70% de
ambulatrios.
Determine o estado desses pacientes:
a) Aps 2 semanas
b) A longo prazo
(o estado de um paciente com alta no muda se o
paciente morrer).
M
2 AMB ALTA
0, 3
0,
3
0, 3
0,
2
0, 4
0, 5
AC
Matriz de
transio:
AC AMB M ALTA
AC 0, 2 0, 5 0, 3 0
AMB 0, 3 0, 4 0 0, 3
M 0 0 1 0
ALTA 0 0 0 1
66 FERNANDO MORI - USJT 2014
FERNANDO MORI - USJT 2014 67
8)Uma companhia area com um vo s 7:15 da
manh entre SP e RJ no quer que o vo se
atrase na partida em dois dias seguidos. Se o vo
sair atrasado num dia, a companhia faz um
esforo adicional no dia seguinte para que o vo
cumpra o horrio e bem sucedida em 90% das
vezes. Se o vo no sair atrasado num dia a
companhia no toma providncias especiais para
o dia seguinte e o vo cumprir o horrio em
60% das vezes. Qual a porcentagem de vezes que
o vo parte atrasado?
FERNANDO MORI - USJT 2014 68
atrasado no horrio
0,1
0,6
0,9
0,4
69
| | | |
1 2 1 2
matriz de transio:
0,1 0, 9
0, 4 0, 6
No longo prazo o comportamento do
sistema ser obtido resolvendo-se o sistema
linear:
.
0,1 0, 9
.
0, 4 0, 6
Esta uma equao matricial que se resolve
P
X X P
x x x x
(
=
(

=
(
=
(

1 1 2
2 1 2
1 2
1 1 2
1 2
igualando-se
os termos:
0,1 0, 4
0, 9 0, 6
A condio fundamental que
1
Usando esta condio e descartando uma das equaes
ficamos com o sistema linear:
0,1 0, 4
1
Resolvendo e
x x x
x x x
x x
x x x
x x
= +
= +
+ =
= +
+ =
1 2
ste sistema linear pelo mtodo da substituio
obtemos o seguinte resultado:
0, 6923 e 0, 3074
Os voos sairo atrasados 30,7% das vezes.
x x = =
FERNANDO MORI - USJT 2014
FERNANDO MORI - USJT 2014 70
9) Os proprietrios de um grande edifcio de apartamentos
para alugar pretendem entregar a sua gesto a uma
companhia imobiliria com excelente reputao. Com base
nas classificaes de boa, mdia e fraca condio dos
edifcios geridos por essa imobiliria foi documentado que
50% de todas as construes que comearam um ano em
boas condies assim permaneceram at o fim do ano,
enquanto que as 50% restantes deterioraram para uma
condio mdia. De todas as construes que comearam o
ano com condio mdia 30% assim permaneceram at o
fim do ano, enquanto que 70% foram melhoradas para uma
boa condio. De todas as construes que comearam o
ano com uma condio fraca, 90% assim permaneceram
at o fim do ano, enquanto que as outras 10% foram
melhoradas para uma boa condio. Considerando que
essa tendncia se mantm se a empresa for contratada,
determine a condio dos apartamentos sob a
administrao dessa firma esperada a longo prazo.
B M
0.
7
0. 5
0. 5
0. 3
Matriz de
transio:
0, 9 0 0, 1 F
0 0, 3 0, 7 M
0 0, 5 0, 5 B
F M B
0. 9
0. 1
F
71 FERNANDO MORI - USJT 2014
FERNANDO MORI - USJT 2014 72
10) Um banco resolveu investir em uma estratgia de
marketing.
A estratgia 1 tem um custo de $58,00 por cliente
conseguido. Consegue-se avaliar que 12% dos que no
eram clientes e foram submetidos a estratgia 1
tornam-se clientes.
A estratgia 2 tem um custo de $37,00 por cliente novo.
Com o uso desta estratgia, 21% dos no clientes
tornam-se clientes. Para as duas estratgias, 88% dos
que eram clientes, continuam clientes.
Sabendo que a receita do banco $98,00 por novo
cliente, decida qual estratgia dever ser adotada.
FERNANDO MORI - USJT 2014 73
cliente no cliente
0,88
0,88
0,12
0,12
Primeira estratgia:
0, 88 0,12
0,12 0, 88
P
(
=
(

FERNANDO MORI - USJT 2014 74
cliente No cliente
0,1
0,6
0,9
0,4
0, 88 0,12
0, 21 0, 79
P
(
=
(

FERNANDO MORI - USJT 2014 75
11) Uma pesquisa realizada recentemente com os assinantes
de uma revista de viagens mostrou que 65% deles tm
pelo menos um carto de crdito associado a uma
companhia area. Quando comparou-se com uma
pesquisa semelhante realizada 5 anos atrs, os dados
indicaram que 40% das pessoas que no tinham carto de
crdito associado a uma empresa area obtiveram um
posteriormente, enquanto 10% dos que ento tinham
carto j no os tm mais. Assumindo que essas
tendncias se mantero no futuro, determine a proporo
de assinantes que tero carto de crdito associado a uma
empresa area:
a) daqui a 10 anos.
b) a longo prazo.
FERNANDO MORI - USJT 2014 76
12) Um banco resolveu investir emuma estratgia de marketing.
A estratgia 1 tem um custo de $58,00 por cliente conseguido.
Consegue-se avaliar que 12% dos que no eram clientes e foram
submetidos a estratgia 1 tornam-se clientes.
A estratgia 2 tem um custo de $37,00 por cliente novo. Com o uso
desta estratgia, 21% dos no clientes tornam-se clientes. Para as
duas estratgias, 88% dos que eram clientes, continuamclientes.
Sabendo que a receita do banco $98,00 por novo cliente, decida
qual estratgia dever ser adotada.
Comrcio Eletrnico
Considere uma loja on-line que vende computadores,
software e produtos eletrnicos pela internet. O site
possui uma interface simples para o consumidor e o
processo de compras executado em 3 etapas:
a) Procure um produto;
b) Cadastramento;
c) Colocao do pedido.
Uma outra maneira de se selecionar um produto atravs
das ofertas existentes na home page.
FERNANDO MORI - USJT 2014 77
Comrcio Eletrnico
Baseado nos logs do site o administrador do sistema pode
determinar as freqncias ou probabilidade com que os
usurios navegam pelas diversas alternativas da loja;
Essas probabilidade definem uma cadeia de Markov que
descreve o comportamento dos usurios que navegam
na loja;
Usando-se os mtodos tradicionais de resoluo de
cadeias de Markov pode-se ter uma viso quantitativa
do comportamento dos usurios dentro da loja.
FERNANDO MORI - USJT 2014 78
FERNANDO MORI - USJT 2014 79
Bem Vindo
entrada
Busca
Browse
Registre-se
Ofertas
Especiais
Check Out
Adicionar ao
carrinho
selecionar
0,7
0,3
0,1
0,15
0,15
0,3
0,3
0,3
0,2
0,35
0,25
0,1
1
0,3
0,1
0,9
0,1
0,1
0,1
0,6
0,2
0,3
0,05
0,1
0,1
0,3
0,2
0,35
0,25
0,06
0,06
0,15
0,1
0,1
0,2
0,1
No sistema de comrcio eletrnico descrito acima, as setas
indicam transies e os nmeros associados so as
probabilidades de transio.
A matriz de transio ser dada por:
FERNANDO MORI - USJT 2014 80
FERNANDO MORI - USJT 2014 81
ent bv bus br re of.es ch.out ad.car sel sai
ent 0 0, 7 0,15 0,15 0 0 0 0 0 0
bv 0 0 0, 3 0, 3 0,1 0, 2 0 0 0 0,1
bus 0 0,1 0, 3 0, 3 0 0 0 0 0, 2 0,1
br 0 0,1 0, 3 0, 3 0 0 0 0 0, 2 0,1
re 0 0, 9 0 0 0 0 0 0 0 0,1
of.es 0 0, 6 0 0 0 0,1 0 0, 3 0 0
ch.out 0 0 0 0 0 0 0 0 0 1
ad.car 0 0 0, 25 0, 25 0, 05 0,
P =
15 0, 05 0, 05 0,1 0,1
sel 0 0 0, 35 0, 35 0 0 0 0, 2 0 0,1
sai 0 0 0 0 0 0 0 0 0 0
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(

FERNANDO MORI - USJT 2014 82
Biografia Markov
Andrei Andreyevich Markov nasceu no dia 14
de junho de 1856 em Ryazan, na Rssia.
Morreu no dia 20 de julho de 1922 em Petrograd
(agora St Petersburg), Rssia. Se formou na
universidade de St Petersburg (1878), onde se
tornou professor em 1886. Os primeiros
trabalhos de Markov foram principalmente em
teoria dos nmeros e anlise, fraes contnuas,
limites de integrais, teoria da aproximao e a
convergncia de sries.
FERNANDO MORI - USJT 2014 83
Aps 1900 Markov aplicou o mtodo das fraes
contnuas, inicialmente desenvolvido por Pafnuty
Chebyshev, na teoria da probabilidade. Ele tambm
estudou sequncias de variveis mutuamente
independentes, esperando estabelecer as leis da
probabilidade de forma mais geral. Ele tambm provou o
teorema do limite central.
Markov particularmente lembrado pelo seu estudo
de cadeias de Markov. Cadeias de Markov so um
formalismo de modelagem de sistemas que descrevem
o sistema como um processo estocstico. Deste ponto
de vista o sistema modelado caracterizado pelos seus
estados e a forma pela qual eles se alternam..
Em 1923 Norbert Winter se tornou o primeiro a tratar
rigorosamente um processo contnuo de Markov. A
fundao da teoria geral ocorreu em 1930 por Andrei
Kolmogorov.