Chaines de Markov Execrices Corrigée

Les chaines de Markov
RAPPELLE DU COUS + EXERCICES CORRIGES.
Rappelle du cours :
Dfinition dun processus stocastique : un processus stocastique est une chaine de variables
alatoires.
La chaine de Markov (ou encore chaine Markovienne) est un cas particulier de processus
stocastique.
Chaine de Markov temps discret : cest une chaine fini et dnombrable (c'est--dire que
lensemble des tats not en gnrale E est fini et dnombrable).
On dit quune chaine de variable alatoire est une chaine de Markov si elle vrifie deux
conditions :
1. P[ Xn+1= xn+1 , Xn = xn , Xn-1= xn-1 ,., X1= x1 ,X0= x0 ] = P[ Xn+1= xn+1 / Xn = xn ]
quelque soit x0, x1, xn, xn+1 E (ensemble des tats).
Ce qui veut dire que ltat future de la chaine (ltat de la chaine linstant n+1) ne
dpend que dun prsent proche (ltat de la chaine linstant n) en dautre terme il
ya absence de mmoire. Cette premire condition est propre aux chaines
Markovienne.
2. Si
n,n+1
P i,j
= Pi,j= P(Xn+1= j / Xn= i)
Ce qui veut dire que la probabilit de passer ltat j linstant n+1 en 1 seul
transition sachant qu linstant n on t ltat i est indpendant de n. En dautre
terme quelque soit la valeur de n cette probabilit de passage en une seule tape de
ltat i ltat j est la mme. On dit que les probabilits de transitions sont
stationnaires et que la chaine est homogne.
Matrice des probabilits de transition en une seule tape not P (ou not encore (Pi,j)i,j E ) :
Pour chaque chaine de Markov est associ une matrice des probabilits de transition not P (et
vis-ver-a). Cette matrice est Carre et est stocastique (on dit quelle est stocastique car la
somme des lments dune ligne de la matrice P =1).
Matrice des probabilits de transition en n tape not P(n) (ou not encore (Pi,j (n)) i,j E ) :
Il existe pour une chaine de Markov une matrice de probabilit de transition en n tapes not
P(n), les lments dune telle matrice nous donne la probabilit de passage dun tat i linstant
m ltat j linstant m+n en n transitions (ou n tapes). La aussi nous avons une matrice
stocastique. Attention a ne pas confondre la matrice des probabilits de transition en n tape
(P(n)) et la matrice des probabilits de transition en une seul tape puissance n ( (P)n ).
La probabilit de passer ltat j linstant n partant de ltat i linstant 0 en n tapes est
not comme suite :
(n)
P i,j = P[Xn=j / X0=i] = P[Xn+m=j / Xm=i]= la probabilit de transition en n
tapes.
Lquation de Chapman et Kolmogorov : lide retenir pour cette quations est que le
passage dun tat i un tat j en n tapes ou en n transitions tq n >1 ne se fait que par le
passage obligatoire par un ou plusieurs tats intermdiaires. Lquation de Chapman et
Kolmogorov est la suivante :
(n)
(L)
(m)
P i,j = P i,k * P k,j

K E
tq L+m = n.
Exemple :
(2)
P i,j
= la probabilit de passer de ltat i ltat j en deux transition.

(1)
(1)
P (2)
i,j = P i,k* P k,j = P i,k* P
k,jtq k est le seul tat transitoire entre les tats i et j.
La probabilit dtat not (n) : cest la probabilit que le systme ce trouve un tat donn
un instant n donn ( diffrencier avec la probabilit de passage dun tat un autre).
(n)
= cest la probabilit que le systme se trouve ltat j linstant n = P (Xn = j).
j
i j : on dit que ltat i accde ltat j si on arrive trouver un chemin direct ou indirect
(indirect si on passe par des tats intermdiaires) qui nous permet de passer de ltat i ltat j
en dautre terme :
(n)
n tq P > 0.
i,j
ij : on dit que ltat i communique avec ltat j si on arrive trouver un chemin direct ou
indirect de ltat i vers ltat j et de ltat j vers ltat i. En dautre terme :
(n)
(m)
n tq P > 0 (on peut accder ltat j en partant de ltat i en n tapes) et m tq P
i,j
j,i
> 0 (on peut accder ltat i en partant de ltat j en m transitions).
La relation communique est une relation dquivalence car si i j alors forcement j i.
Les tats qui communiquent forment une seule classe.
La classification des tats :
- On dit quun tat est rcurrent si et seulement sil ne contient que des arcs entrants (cet
tat ne nous permet pas de passer dautres tats).
- Si Pii = 1 (la probabilit certaine) on dira que ltat i est un tat absorbant, car une fois
arriv cet tat on ne peut plus sortir de celui-ci (une lampe une fois quelle passe ltat
de panne elle ne peut plus revenir ltat de marche donc ltat de panne est un tat
absorbant).
- On dit quun tat est transitoire si et seulement sil ne contient que des arcs sortants (cet
tat nous permet de faire des transitions vers dautre tats).
- Deux tats qui communiquent sont de mme nature.
Classification des classes : une classe est un ensemble dtats qui communiquent entre eux
- Une classe est dite rcurrente si une fois rentrer dans cette classe on ne peut plus sortir de
celle-ci (on peut dire aussi quelle est absorbante car elle absorbe le systme).
- Une classe est dite transitoire si elle nous fait passer vers une autre classe (une fois sortie
dune classe transitoire on ne peut plus revenir celle-ci).
La probabilit du premier passage en n tapes (n transitions):
La probabilit de passer pour la premire fois de ltat i ltat j en n transitions (ou en n
tapes) scrit :
(n)
f i,j
= P [Xn = j, Xn-1 j, Xn-2 j,, X1 j / X0 = i]
et on lit quelle est la

probabilit de passage ltat j pour la premire fois et aprs n transition sachant que
initialement on t ltat i. Pour trouver cette probabilit il faut chercher ou se trouvait le
systme linstant 1, linstant 2,.,linstant n-1 car ces instants la chaine ntait pas ltat j.
Probabilit du premier passage ( diffrencier avec la probabilit du premier passage aprs n
tapes qui donne le nombre exacte dtapes parcourir pour arriver ltat final) :
(n)
f i,j = f i,j
n>=1
le n > =1 car pour passer de ltat i ltat j pour la premire fois il faut au
moins faire une seule transition. Lorsque i=j on parle de la probabilit de retour un tat.
Si fii =1 on dira que ltat i est un tat absorbant car la probabilit de retour cette tat est
certaine.
Si fii < 1 on dira que ltat i est un tat transitoire (ou un tat de transition).
Soit
i,j (certain la note mi,j) la variable alatoire qui symbolise le temps moyen du premier
passage :
fi,i = 1 et i,i < , on dira que ltat i est rcurent positif.

Si fi,i = 1 et i,i =, on dira que ltat i est rcurent nulle.
si
Dfinition de la chaine irrductible : une chaine est irrductible si tous les tats communiquent
entre eux et forme une seule classe dite une classe dquivalence (bien videment dans une
chaine irrductible tous les tats sont de mme nature).
Dfinition de la priodicit dun tat i not d(i) : la priodicit dun tat i not d(i) est le plus
grand commun des diviseurs (PGCD) de lensemble B tq lensemble B est dfinie comme :
(n)
B={n / Pi,i > 0}.
- Si deux tats communiquent alors ils ont la mme priodicit (thorme de solidarit).
- Si d(i) =1 alors ltat i est apriodique.
La distribution stationnaire :
- Avant de prouver que cette distribution stationnaire existe ou pas il faut construire la
matrice des probabilits de transition, le graphe des tats, tudier la nature de chaque tat
(priodicit et nature : transitoire, rcurrent ), tudier la nature de la chaine (est ce
quelle est irrductible, dans le cas contraire quelles sont les diffrentes classes quelle
renferme : transitoires, rcurrentes ou absorbantes ,).
- Ensuite il faut prouver que cette distribution stationnaire existe, pour cela il suffit de
montrer que lensemble des tats E est fini.
- en montrant que E est fini nous avons prouv quil existe au moins une distribution
stationnaire mais cette distribution stationnaire est-elle unique ou il existe une infinit de
distribution stationnaire (cela dpend du nombre des classes rcurrentes dans la chaine).
- Sil existe une seule classe rcurrente alors il existe une seule et unique distribution
stationnaire dfini par le systme dquations :
P=
i = 1
i
tq = (1,2,., n) , 0 donn et n le nombre de lignes de

la matrice carr P (matrice des probabilits de transition).
Si nous avons le nombre de classes rcurrentes suprieurs 1 alors il existe une infinit de
distributions stationnaires calcules par la formule : (n+1) = (n) * P
- Sil existe une seul classe dquivalence on est certain quil existe une seule et unique
distribution stationnaire.
- Lexistence de plusieurs classes rcurrentes veut dire quil ya une infinit de
distributions stationnaires.
La distribution limite : une condition est ncessaire pour lexistence dune distribution limite.
Cette condition ce traduit par le faite que la distribution limite ne doit en aucun cas tre
dpendante de la distribution initiale not 0 (si elle dpend de la distribution initiale alors la
lim (n) dite distribution limite nexiste pas).
n
Si la chaine est ergodique alors :
- Il existe une seule et unique distribution stationnaire.
- Il existe une seule et unique distribution limite.
- La distribution stationnaire concide avec la distribution limite (donc il est plus facile de
calculer la distribution limite qui est en gnrale difficile calculer : il suffit de calcul la
distribution stationnaire).
Une chaine est dite ergodique ssi :
- Elle est irrductible (elle contient une seule classe dquivalence).
- Rcurrente positif (lensemble des tats not E est fini).
- Apriodique (quelque soit i un tat de lensemble E alors d(i) =1).
(n)
La probabilit du premier retour ltat i en n transition not Rii :
(n)
Rii = P [X11, X2 i, X3 i,, Xn-2 i, Xn-1 i, Xn= i/ X0=i].
La probabilit de se trouver tt ou tard dans un tat i note Fii ( fii qui reprsente la
probabilit du premier retour un tat) :
(n)
Fii = fii
n >= 1
Le nombre de retour un tat i = indicatrice de 1 {Xn = i / X0 = i}.
Le temps moyen de passage dun tat i un tat j = la dure moyenne de passage dun tat i
un tat j = la frquence moyenne de passage de ltat i ltat j = qui dit temps moyen de
Le temps de sjour dans un tat i not P{Si = n / X0 = i} :

P{Si = n / X0 = i} =P [X1= 1, X2 = i, X3 = i,, Xn-2 = i, Xn-1 = i, Xn i/ X0=i]
P{Si = n / X0 = i} =P [Xn i/ Xn-1=i]* P [Xn-1= i/ Xn-2=i]*...* P [X1= i/ X0=i]
=P [Xn i/ Xn-1=i]* (Pii)n = (1-la probabilit de pass de ltat i ltat i) *(Pii)n
P{Si = n / X0 = i}= (1-Pii)(Pii)n (cest la probabilit de rester dans 1 tat i de linstant initiale 0
jusqu' linstant n-1 puis quitter cet tat i linstant n).
Le temps moyen de sjour (attention faire la diffrence entre le temps moyen de sjour et le
temps de sjour : deux notion diffrentes lune de lautre).
Le temps moyen de sjour dans un tat i not E {Si / X0 = i} = 1/ (1- Pii).
passer de ltat i ltat j dit ij, qui dit la dure moyenne de passer de ltat i ltat j dit
qui dit la frquence moyenne de passer de ltat i ltat j dit aussi
ij :
ij,
ij = 1 + Pik kj.
kj et kE
Cette formule reste valable sauf dans un seul cas ou ltat i appartient une classe transitoire
et ltat j appartient une classe rcurrente. On parle dans ce cas de temps moyen
dabsorption (gnralement dans lnonc des exercices on nindique pas si cest un temps
moyen de passage dun tat i un tat j ou si cest un temps moyen dabsorption, on se
contente de dire calculer le temps moyen de passer de ltat i ltat j et cest vous de faire
attention la nature de tats). Dans ce cas la formule utiliser est la suivante :
ij = 1 + Pik (Aik/ AiC) kj

kT
telle que T est la classe transitoire la quelle ltat i appartient, C est la classe rcurrente la
quelle ltat j appartient et AiC cest la probabilit que le systme soit absorber par la classe
rcurrente C partant dun tat i appartenant une classe transitoire.
Attention si on vous demande de calculer la probabilit de passer dun tat i un tat j telle
que ltat i appartient une classe transitoire et ltat j appartient une classe rcurrente il faut
calculer la probabilit dabsorption(cest la probabilit que la chaine passe dun tat
appartenant une classe transitoire une classe rcurrente autrement dit cest la probabilit
que la chaine soit absorber par une classe rcurrente travers ltat j appartenant cette classe
partant dun tat i qui est transitoire (qui appartient une classe transitoire) on note cette
probabilit AiC : on remarque bien quon na pas crit Aij car ce nest pas ltat j qui absorbe la
chaine mais plus tt la classe la quelle il appartient (la classe C) malgr le fait que cest
travers le passage ltat j que la chaine sera absorber).
La probabilit de passer de ltat i ltat j (tq j C et i T) = AiC telle que :
AiC = Pij + Pik AkC telle que i T (classe transitoire).

jC
KT
On remarque que si T= {i, e, a} alors
AiC dpendra de AeC et AeC dpendra de AaC
Notons : ce rappelle du cours est loin dtre complet. Le plus important est dacqurir quelques
notions de bases pour la suite. Certaines notions (ou astuces) ont t volontairement enlev de ce
rsum car il nya que des applications directes qui peuvent illustrer ou claircir ces notions (si vous
navez pas compris ce quil ya dans ce rsum, pas grave car vous allez tout comprendre dans les
exercices qui suivent : ne vous dcouragez pas
).
Les exercices sont classifis en trois niveaux :
Niveau zro : application simple (le but de ce premier niveau est dapprendre tudier la nature
dune chaine Markovienne et de tirer le maximum dinformations possible pour tre la hauteur de
rpondre nimporte quelle question par la suite).
Niveau un (cest le niveau le plus important) : exercices dexamens (le but est dapprendre pleins
dastuces pour tre en mesure de rpondre nimporte quelle question).
Niveau deux : exemples rels (le but et dapprendre lire entre les lignes dun texte exprimant un cas
concrets et de pouvoir a partir dun texte tirer la matrice de probabilit de transition, le graphe des
tats.)
Remarque : ce document est ralis par un tudiant (jai essay dtre le plus sur possible sur des
ides qui figurent dans ce document.ceci dit lerreur est humaine, donc sil ya des ambigits il faut
consulter lavis dun enseignant dans le module : madame SAGOU ou madame TALEB serons la
hauteur de rpondre nimporte quelle question et denlever nimporte quelle ambigit).
Niveau zro
li
J.
rl
l:
j
i i
l,
1i
t1 :,
t ,
, l
j :
r)
;n.
t*t
A
l t t t ^
'
\
I 1\ );,
1aL
,-7
li
ir
i'
i'
{i i
il
i:
:;
il
t!
J
:l
;**
i,
lt
t;
i:
i
Lo
d"*
'ele?^
,4/e :
,
,l
rj
!r
**i
ir
--#
e'**" c*lc0,r,r* ry\&aqr6.,.r

&l ,!n*losJLsth rh /;^" dn-,--:
-.li' cu*Vn:*.^^rre
clask ha,u.G.. ,,.-lUr= 14qgl . eW
A)
,
-o.l/r!^+ J,b (nua6re,a^,*,r'-{o'
.d,
,
C"tr"
evrno;rarf & aW._o .
sp
;;.n
.'w
*
.{f
r-r^n_e,9<,l":tAr"""rrt.oC={A,,r-f - eft.cb+-*_
, !r* * c,.ren6z
, *,"]^*/*ifou at:"Lqi^t)
*c*
.s
vu^kcy
clntt" ,.ôp
n$n1etL"
tF(v,u'";
dr &Wn_u.
"*d$
":r
**
"-sf'
'
**h
.{|i
-*l.*
:.git'
*&
'{,
\:!|'5Y^Lla^?. *'u 4a^!od- tn^'g^.
,t/urr*fr
"b.u,
fy il * ^^,.,;y* 4",^h;t",b;
(,ce&- dh.k*h l6s"*a.,t .r-yrtG ax
,it*Y.Ye
1 e"',r-("c" _iXal-j ad+
frr\ "
4r. .Jit* b*tr- 8d,""";i
*iit
o* et+,,r,)e.te.e._ui
,yr.!o Ufr1".*^*
xu,t
-**fi'
xf
l"^
e^Hh.?r;,yA.Aur,*;re /*,g5
LD
y"
t';r7
"A
Xe
|n.4["&
it . P rJTk)
i:- 1
.-.
.w
,**di*
#
:J*
.."
-r*
pr
*"tjr-
Vu
t--lL, {,3,r,i}.
,4
k;
:
I*l
rlr
#*
'
11
E5-rn.u
&
1; q dkt #* d*
& cfir"^^"E"t nru,l"aa
,fu*u crtni*''iil"
*A Pliu(t,t* G)*'*
'
O0jni^,
lro-maa*ryq;
i,.i
ii i ' i ' i i---l--t4r
ij
j
"
i-i.'
)
-i I T*,1I, , lt1
,ltt) / - ,
, - ' * * ; ' ' - .' L ' *
r,W,.*-[o
\14.
l/
'
.I
i:'t
'
L1-L+-il*tlr
"-
"-'
F-
ffiq*
"*';"'
*-
-'i--"*@--*e--.:--*.,
ryf,*"*
l-i"* **
.i;ir
i
i ;
t...-
:""-"'
ffn f*tu,''ttnr.Wffi,^
,/:4q*,&A,
/,ti-'5 t'nuonn*-{.
Srl.tn aa+o
at
y" #^?,Ta 1'- r,'lL3,Wq '_j[+

"l ' \
*M-;d.l*?rrb;a,lin
,,Uhlicrn,*crnr
-tf .""i- * ;
;
t,
!
!
I
Wi,fu'-h"ffih
h* *fttnhm,^dj
-uvt*t* *t w'-Agnd*\Mtd
,W
,vwb drt.k
W-lg'
,*[V)*.qb_rS
|i i
"'
Qa*ilffi Crnnr (l
- .^r.
L;' i L'ud+"(,ppd*""l,
+:* "f in46i* U,
{ora*_t
ftb
rl
r
b:
ir
ir
r,f,uL"hl*l=
i;
4 "*t*$ b'
qt
.
F-*"., '
*
a
F
*tr
:
t
i
i
$J{c,:
en**i
d
ttr
'-l
I
Aa- ff.t.JdelH
-l
4* \n\pJE^Lc4I
;
I
,.
J*'
Y\P-b.rn,
,
i
i
pc'U*loUlds<(* t -,*re.i4:*$-u9ft---_:::l
**.
"r"
tl-...'.'.:.-.-i---.,."'-.'.'.*'';..--*.,...*..'*"'.'-ffi--.--.--]-...:--_i..i,'
?= T*e::
IoooaoI
^ o". l.
Ioo ql
qt
"xs
, l qo o
&.
-*ti*
,rNF
-:ii
'"={4'-a.\*r+
t, r-,
|
.
.{f
-a
,#
"-o,{
{
J
.-:*-:--i
-- -1_i.,.
,-i*--*r- ' i
*--i-;-
,^-l--;-J--'.---:
I 1".
;
l
-;
-r---r--'-:
^t; o*.n-4l-/q. ;tn"* L' fe-8"['CdoaiF"Ji'

-'
44:- : ' ;---+.--['^-ntnFt, p^J.,*tn^
"*
,',8
cftoxfts*",
**&-*fec,&;fu..
t${.tq+&--X
^,i) .*u?e.xtu,pp{,"$W
ff
5g;-'.
"";8"
"*s
h*xl"el,*f{1cmt
lg 1'{i
pc,J;q"\\f d-* .{''efi}i

\
**#
r
t t -l'*
I
.4 ft e[.r>-,13a5
-l
r
t\
;u)
-"#
n ,
'
AS,nnel W 4ro-r*r'
,\
***
ar V&
*-*
*
*
' #
_" \ 1
**X
.r{
*oil*#
lrl
s,"s
'q*;.
""tr
d
,r*tr
-*m
t{
ft
yt F 9'dl
ilr'L# ffit 'A ho,^r.
:*
ir#
:rit
'W arWfe* Q;re

atr
,foFtufeu
.:n
:"fln
"f
**&
qffit& tX 4o'^* Qae-
{S
nt
'AE Swnrn e C ea' or-c
-**fr
'#
/hn$cr,.h 6k c"&ory*-
***
dr$'
- '. r -Jr\ c4*) .
""**.ffi
t#
*"*ffi
#
**.ffi
.{S
Cst b r) x tl , .". - 4 Uq
tbtn':
L
:r "*q,* q C,; rr'\: 'L /
*t
*r , *g:--r
&
.#
"*i
-."*'*
-vX
;
,*-Jffi
*",,ffi
"ll
*.,tffi
'{1
*.*
*,s
1*
*;ffi',ry
--.Jffi
**ffi
**ffi
,",.ffi
q i &Y'?. ah Pu*'la
"uQQ-rre Ce,
n* tgf;e^t
,S" ^! *.un atn b hr*f. Fnne- Gfr
{}c{ t\{1)kx ( ar^Cy\tt^c* n',/{A+el,-r{rD$b l'ffif*d
l*nf) i!x,tc* .-'dol- Y L c{Tnrnl.tnLq^gtf,Qle-c*(J^r.c-r'r-n
*s\**
"",ffidS
f;f'v-a&
ffit ?o
'i{*: La^#". ,?^ q Pnf';t

*,,-?.?'
'$r'
arJe *L'tt
p.
"4* l,\q--lntrrrru-^-nerQ*uerun P4!
i v\{ [xvn(tutnLcs,ttt..
/:c:a
*"0'o '( gUf

*;
Pi(hl*y
clrJe;c*
olrfi P" l.'utrl- / q^ v\-si{* '(hhb*)

"4 t
rur ,r/ec l'&*
{-.,rryyr*io?*"{"
" t.i'.i4+v.rt"I&
ry
û.n*dn'W'
top"t. Aw lh,c!:sq*i k].1 4.1leak lrfê'-!rnen-t
,,,,
.,tl=1a
{t iJo*,j.r,.f \.. , "8| g),*b + a.-k"
**' td;[..
-{La**s*
(-r-^4q"{ vter^{rerJ-'d
*''Y
.. t,(. a<x.8tlq&rr.-qs
A^q dH.l*r^hT"
-i{ f r 1'4i^*
*qt
#qe"cntna+re.
i
;'
u'r,
aal-fi'd''."q^s
y=Aq 61.hrb'*tr* 1mli*rro.il,r.,e
'A
**ffi
-*-=::v
I
:
Jt
pt,r1A
d'.^r"ru*
-dh'l|+ -LztmshfiL-M
Y^(u
.i
I
^l
r
r
j *."
rirt-
nd
d*#ar pc{ A-a-;
;fl#
fll
;;
**.#
*dfll
#
r{
;
.il
*
-K
3 il f"^*
v Jt.r-t- L
*#
;#'
.rcl*ln
rilC
.*'
-* c,0*ornol
Q(")*c*f p*eJ;qu*; -ft*i." r*-# W",
*"$f
r
')6" tr-)rn
*"#
s|r
".)
p@)
'd'?'
x;.*i*b
*ri$
r&!dda*(
-'x$
,.:r!.
-*{.dX
. "str.
*"*ff
f
*d*
--dfr
,s
irffii
*dfl
if
*dffic
"a*
-s
.*
trtf
o@ = -
f^^
"**
,d
*f,- *''
:nr
.fu
a,o rnsrn
ci'- 8l
I,
{'g'"dgdi'dd
'g'"dgqdi'd"H
D t t,
l . i ; , - ' ,|
f)t
?n Ajr*'ed-ir*'e-fuf
ALem
h4{',
ii:
it u
O
I,
ir,
".k
e.(e
rf
,#
-f
P'i.qt
*dt{
'tJ
#ll
rN*l#t
,d#
"dif
\.:
riffi.
,l;
".dt
w
i1
**ffi!'-'
.t|}
#
' _ : i - ! * r '
i ! i
e.ffi!,
-**y#
*;
*"fl
-'
. *riF
*rll|ft;
*n
!f,f
**f$r
-"*t
r)f,)
rLr) Y x y
. i
.",ifr*?t:
'a
*ff
ftf
#4.{4n
-;e#
*-*
*{tfl
"t
,e*1&
"lil
r,
-**
r.it
q*$*
*d
: a'l$
s.aLt.
*
-"r.,t
"4#
rqi6**br
.-c*
.d
&i*at{
"-d*
**.*
ilrr.t
*d*
*ct#
*#$,
Pv)
kY =*
,r { r
,rr*
kfltr
FX'
*!it*fs
'"*d
{r
.#
'{,t*t
rs.
**# .
rdit
i*i*dr-;
,{*
,x
Fr*6{
-*
i*:
,.nt
.#r
/^r\
(4* 1
\*-/
.{n*
l*t
'-*tr
{sj.
ri{{*fe
_#
ih*d&.
$tr
;
-fi.rf
-s
cfs
tl,
t-*t*
-#
"r#1'
iqF
,rGl
*"{t{i:
"tr
.
:1p-
,4'
".ru
r!6aiit.t
.tr
!r-
F{cdi""
tr
'il||tl
r*#.
JN
*
"fi\rq
*,!e.
t4
'-"1K
w
d{4
,"dr{it
"itry
;...
-...,,.
..
;'t;;iiii
::illiii:
'J
[\rrr. Uor, \,{.!

lt-,-
,t)
Cga/KndiII
s*
"i*ld
;il-tr
,"dr
,Jn
,"lf
C66(r1{y\rqre$X-
atl
/\J
*ei!4.,
S-f\^c-
t\
;
,#
*d#'
"*
raf'
*-.ru
* -e&r^lI-
.*flr
x l \= fr^' &cvrr-ii-AKikn*'
'h-,-t
rt.;-X6rnrru0r"sq-.(
{6..*'l,&
*-#
s
*df**
*Tfi= -lr p
J
'J
\ zo,*L.
-*l
.rf
t rt|*.
*",ff,
i;,a$r
-cffi
ry4f*r.
..
"ffi
:if.
s*tst
ffi
*#'
h.*ndt,
r$*s,
-*fl#
sds#l
*{
{;r
${ & c"0'-r\0,
0^-
ir:rs-tdUHe""j-ln",LJzu*$xj
ht
{trf
;îii
-\-
,J
*a*.
-.df
, O.g naa 4^nal

:
iI
l
* \ \ = d',,i 4-n',c e4 e,air\- -^cucrenlrS+Sue

"S
..*
-#
w{&.
n
..
lr -,1
A^.^
/,
{,^ ' .J, ,
Q.= {,\
dl*le d eqi+tva-Un
?
;*d*r,
-.ln
AS'l'|
L
"
"L.Q'
I
ir:
lr
11:
i****-*.*.ii
1.."
1
:-1"
|*r*
*ffi
".+o'
,{*o \ \
fri
s/
*4
,"f:
? Itts o o\ls|
l*trko0l
,t4{
Io
"**
*"d
alt o I
Lo'o ^t(Wl
Th
'.**
lrt, .
,-**
As di"K\",-d* rr{nxo^,*$ir,{"
M'*,#x*"t
: JT:7f-P *:1r ih,# _=

= 4*
tzE;
, {
t(
*f
bf(" f*r-
vr,nlg"&
s..* -{g c
*,
f
t,
T
I
*c'
"'.
I r*l
lcl: q
i
r2o,t fw*lnt
(l
i
v"
-x
,*
tr,ff
dfr
4t
.r#
{s
ffi
ffi
s
ti4
ffi
ffi
ffi
*fuot o ffi*,*"n,$-&*--o4l*
q{,vtc",O&+a;,f,"
w
*qrflh
"n
{
*t"{&.
-f**
{#
*#ilib,
**
.#
-s#
*{d*.
-t.
*n*
.f
4
lfl
r"w
: . - ., ,
0i o i*,:!lgt i i -jg*J 4*r.'*y'SF, j

: *f ,* 4",
I'o',
-;--*1ri' , - - i
,t/,1
s--;
,-l*}--i
il
t
*--j
, W,{,
t)
I
i
o Ty ?, TY:!;, i i i I I i : i
'*ff
*tidTt!
r#
:o;
l :/
l l a i Q , Y " i . . , * . - * * * ; ii*-l !"-t-l-*i ' t
* - - J" - i-.*-lr - - - - { " - * - J - - - : . - . i
i i l i i ir, : i
, i
*tr{
ii'iti iiiiiiri
':;li;il
ldid&-
*ffi
#
*ru
r#
*ffi
*{}
4p
.d&
-^*ffi
1:;l
il;\:ti
Lh-T'
iiii:rl
j;
\/\,:I.\4:;-i--u-;--j-|].-;*i
-"-r *i -T*-
1
I
tr#*.;
i ir i l ; ti: i i ii: iir l , i i ii; i

o, 0
o , ei -p--l--*-r**-1"*'r-*-r**:-*---i--}**i--.i
4 , e:
i
"i ',"d I i I i
, . ; : i"*-"1
i r i i i I l
F.dfih".
i e\
:
I
)
/
j
'
I i, l),,,*''*[*+j
f a/*\',yry /i
i
ii
*- l
i
s.*i....*@
;i.ii*
r I --i*i
^d.*..-*--<
ttii
iili
it i i l i
iill
-...-'-*.
..-?'","..."a.
i'
| |
't
'
rtlt
f^,av u',aWfu- d&

i',1
-^'
at
:.
'
l'{=
'
drrrX
Al"bhî^le,
U
lr*'i",i*Î nI ",*o' ",[t+Li:^%;il'

"'2
f * q"n,n"a"X-.e'ft3
y ybd:ia.u*"!q*th4"
,--i
**
t
,{,
"0t
* rna'd
i---a^rru
&.m.t*+.rLml,4
,- .-lr.
Y,44-
r -, - i^-r-- -,
'
r-,li11
t'
::
!,ff#:'*ifuffi
l';il;l;;;r;,ffirc,Jl'W
.tF
L!"&h attM,w{-r^r dh
; !|.#^*iS 6t-r"c
s fu#. d,jbtkq* dlffir*oni&&',a*uff*-cq
& d*,Wfi"t*(ftv'h(,
;
|
.s'
f
''
!F.
ffi
e
r e*ft'&
pabn
1êo
ff.
ffi.1r\ ,f"-î
#ql
utF
**sq
-'F
\.,'
T1.
{ro,
,igJ
h'4d-:M*l
tea*o*e'AU)
(^l' oht-4
par
;;
,*e*
.n
,*#
.#.t
TP
***
{r
*dflr*
qr
-,*W
,rl*,'
*w
_dr
**dBr
**d&&
*# *
kd*hdqtr
*-a*$
S
*-*
{f
" "ffif,
#
-"c*#
*d**
#'
*is..S$e**.
****g}
{rfr
*rlnr{*
c5?
*.f;$tl
#
*fl*
i:f
rl
ir
*ur&is.
"-$f,t
if
x**&{tr
"-#n*
r#
T^
P
E
H
f
H
E
f
r--{
u
f
u
u
u
u
u
u
aL--a
H
rxQ,
I
'i
4&f*ba)6ltG.
r--f---
fr--f
r--e
lL.-e
ljr--r
l_
r---
lr.-.rr
ll_
l-r--r
lf-.-
f-.-
A* hor^t-,b.r;
--
1 -t t - ,
^
A
I
^, l4/z o o o 4/zl
V.lA
r=
O ol
ODP o
ot
Iq ?
ol
,lo1oP
P
'o)I
looqo
: L1 o o o
r---
r---
fu- rnq,fu.Qq
t" ./, //
c1
/,t/a
gI
f=4,
(fnW.tLg rwltrve d" 0* c0a...s

8)^
-ut; (A*Fcan;,
4a c-Qn,wra)-,."
Peri-{tfs
-"-,t.e
/' "xigto',co
' /1,.^^r
. dl
/\tL^tr; -(ta.lc,
ek h ilL -LyLeG
^ '" '
ttlfl
QM'{Ae.^
:t
A+ -rt"ofe
d,ufi.,
n"abt,
11prenre-m.^tnâ.yno-"t
, ,^-lurt ,s E
-l' d"s,*U"*- ebr. 6, ={4,J,3,q, (1"

I
'f
4/a 0 0 o {t, 2u %^*f.J-.bh*

= /L
Q- 4b o %o tJ- it nah {" h tb* = 4
'd/ner^t,
o {t o% 0 Z4C" i4 !'il= 4,
o 0 /s0 1t f .J%-&'^rr"t4" "|t"'/n* =t-4 0 o 0 0- t !* &!^r+ l" -/4tni,*=4-
,1,-#*^?*,
fr?r,1
IE
h n.e.
/no,Mma,ts4'or*
-h,4
"ffifu;nw3
#y
9't&alapreyau,u
q ftu*i,tG? e^F
,S-(t h 4
6 q^PnL 4" ^0^r,..o

^& ffifnt,
/
,{uM7;
l_)__J
l--
/ a . - -
4/z
ol
././t 5 )
\'
)__.J
l_
l_
ll_
l_
4/s
'rllo
]-a
41,
- ...
fu,pg^rr
tqot ,a'c,;6"*
&egt"qp.
..f'
e/z' .1+rtrceito'qQ,
,/' '4""* q-. 0n" ,

&" pd"Jd
V'
tr"''rn.'
-r
a'-J
&e. e+cj,6lF* h-t' t
f-.J
trftorrr't"gnh l-
cntAd * fltr'^" fs*

* lacaoi,{ K
f--a
f---a
L
l+-J
l_
l_
]J=
Ql,r-,'r0 KL \-*-4 e*-L0 rct,K"rrt= 4q
e {<+B
l-l
g? 7o t
ca^ -\-a<v,kt N= 4 rj-.t dikt" fti=/ q
3++q
qf' rc ak R-?) c
l.+J
l_
f-J
L
l_
l--a
tr d Lomnunlq*e
.-J
L
L
L--a
l-.4
3 com,or, nr-Q-rre Ol<-c t\ &.a-t
ok ,n=Q.tb fu?2"** P-i'>o).

(*bq ico'),..=.1
l-' n4<+(
Q.rJe-cS i
W, fuÛtrul .(.' rifoF a canru'que-t a)e-L l'it"l- q.
f-J
f-.J
PS,'7c
S n--4e**,=4 h lP z. f'r.
, 4 .Lui * 'J-exn*t'-b^ arc Jh-* 4, T'IoF-t

$ t'nhf
+ 'r1'4.,n^x"
,'i^rk t-0u{.ex.lto fta ttn c&emrnJire-"t g. inJirec
A" -!:e+tl'td !.'lhr< tJ o: 4, #r 4
r
!,V
1,y,
tg,z-)
l_ u h')/"* L'mtuunieuet4'*o,eLQ'mL furr" l'nbfoarn<!/q toh 3, .

t\L 6n,n^^<lreh{'kbne^t
l_^ . h' L'/lzh a'^^ &*[a,-"
Fa +tJ<L !.'o-t^rt "-nl
l_ 4.r*ê* 4' bbt- a-*'6*L^1-*" F1 <L<.p'/,6h:
r-J
f-J
l_r
=-<
C4^ L|;4f1i.ary\auaqr6rr & ,-b*l;=;sdLKtin ch- /;r-
1_
l_
l-l_U
l_
4"
e :*).,\e c!@Se
hn* Crrtt'.lU T= {a,e,SY , Qh
ca^ -U,'^.4A ,.n"6.4u

n.lL!'I+ Jk **6re
Crh &ntk cnv\oPut Pe,- 4e-Pernin
,t.r^nr ,Ln*p -LCqrrznb C={'t l- - Qft, ob*a
L-J
f---a
!r*
,L ^rnX.â-( orl a-br".k^J;)
,r^t')& /""^
vrrrFcu- 4-o^'^@tr" Cln.tt 6rr,,ra

Peut #
L--a
fu\E;
d-r eUe-u
L.J
lj
Ll a?.
D.,.iao+r'
L--
)""- t&Ja -el t" 'q,"l. Jo-U" tarrrrr.rE
t;h^b;,
ryrfr," 4^.t n* xu!-* o,-7.*--t-.eG
l_
"!oni,.0o
ta^
*o",*ir"
ceh' dh;t*b. b**"i,y
d- )ar. o/+fr;),
l-- -!)-t^"-&
!-- JilK L*" 86'sn"ni.z {x;"t t ez+-r,.'.iq.... cog-*;
l_
lL,rk, Jir- Vt Ie Ui|,*[*^V;^ yt".A*,r*;t-t- e/+4;'";t
tL b"{"(,
l-.
f^
l-- J r=;-Ti-.
-, F =-Jrc*)
l-. I J
L---
L.-L.-
f---a
L-r
t--
\?-
U
r--rl
l-.
u
u
u
u
u
u
f-_-
f--f
D__--l
f--.rl
c-I
D--
I.q
T;=
J' ;no* n 2' ebor-D = .ls eroUta{;,t& *
tm*a -|.'rtol;(wT
oiy-. e ^).
. cohur(tAu pu=s'riGt .
A@l -_{$ = Lt4,nLr,"d.N;ln;v;
AQ) -- 4 cn) !'bb?"t'ct,li",*
L@)=J() =4-
.r"n gt,.c-G
Jtri=4e)=/(q)= fcl{-t,1,L,---1.=*
i_
> {G)
)-44
l-
e.
9 AW + o J,uc Ia .Q^, a,ge..,eJ\.,
lel, K,.,.d{u,,..A &-;* tot .c,.ffenhp"+,c/ {rl

l_
cA,a\*6). z* p<-oJup"-k,
9j tq dk) #+ ".,. .!a'trrd+ct'
'Q
6.,t eKrK"4 /fr"{
l_
/* ,!)t>,* E.)., v,.'o-deo^
rl^-t Lwrlrnunr?/e PI - [3J
l_- ilq^ q'Ce)
* G)*'".
i^ J;n
Ib7*!; 4"-6
,'"*t
"t"r
A('^n;r\r- '
l_
4^ ryfurn-{ê.L';v^
4'q'^n4;l-7-, ?--T
l_
( Z tn;=-!-Y, ;e
i
4h o o o 4h
l_ (nrr T\"o,T.,rLx,us) =
4/t 0 a/s o ;
wa,T.
,Tr,T
/
)
W"t
\
). o 41 o 2/ o
l_ 1'
;
t
3
/L
o o !, 3 e/
TL+tL"Lri-T[3rlt{+Ef=
l_ I
4 a o c c
o
)--a
cr
.-r-1
l---a
----
.-1,
----
L---
f---
f-..--
l_
l_
r--r
l_
l_
L=.-
y''
/wrt
29û
94:
fy*-
{ | 6-Wry
4:/-'
tarc'û
S in(r.'n^-.a s.,,<J,wJ
iû,hq p.
/
*
u,.4?,To,;Ta,,1..,-t ,Jr" (!" ci..-'
kr,,pe&.;trt
-{n- drlhbJirn'f6.8<u"a;"c).
I---
r_
L--
f----
l_
L-.-
l_
u
ru
u
]--ir
L---
L.r
L-rt
f-.I
.A
/l
),
Pg ' *r^'h,4+"1"k*,nttbka,ru;*,-êtut-t zt a'fuhta ttd-q*e.-!^<

tl!l)-,
| ...^.,
-VA^&k'b-t
-o
" Ala.Esu^,ê-
afr* P.b {or,,*e.

2l;û^b
^-
' Tr=T@-4).
y
U't't--n1\'-').P
A^
(ZY,-rc?,..
t:zc
aDeLTu',=
11,'-'=tr\,T,?
,
4y. *, 'lnnnle(f y,al lo'J;h*l*h," ,nh"| I

rcP . L'e,tn yd*l.rt Ut qn !, Uie}." At.Pa- l'nmf
.r - -0,nr-a"â*),
4*p/"r, e'\,te,tte :
Q*U'
l_
,,ohuL; /,^ lt^l= 1

v'l+
bo
)--a
l_
)-a
ra!^Q*n L^ P*)= ?
l_
l_
l_
l_
l_
l_
l_
l_
,, p.rnt '. ns{ôîo^y'-a-a"ÛlU" /?oks""t-r< q^^

'
-Zxnrt e* ettU.,,,q-r,ecl*c cn .gr.t Ji.e +., 2'
|-,-ra
|--l
id.rhf"r.
:n-
^ra&6i"e- Ae*t$x" g-Q-i s',;wlS

/\t-
-#)--T:
a-,-,-l---if
t
i
î /'n
\
I' r ,
l---f
H-/
-f):
n+
ff-.-
l_
l_
l_
l-.
r-4
h"
lr"
}L;- K3 T'y
TCa f,3 lI.Y
W" Tf3
7q2, T:
lT,,
pa. T.v lI3
JLO
</
r'r-l
-lL1
[t
Tt ',t
W,Y TtL JT3 JY
I--r
L-'--
r-.
H
I---
l_
U.
L
H
E--r
r--f
f--f
G-r
frft
'
I V OJ{g,u'.l- 6\'o' n
i
.--t-.-
u
L.
u
nJ
)-t
ffl
rrf I
cn ^r ptiltpo
4Ptq.'ce[t"
1-rr;
bt ag c.0*r*
roXl rry .qguq-\^
?s i0o:..* db' .C"t q
FJ a!",(CeryL
$nÂ d;,'",f
V"Ir,nCa")
T
v
u
u
u
u
u
L
u
u
u
L
u
u
u
u
u
u
u
u
u
Xo-
>{
c-f\^,i,J.o^l 9-.
[";nojnuca-
----
r--
E--l
F*t*6QrLt
-,//
i
IJ
. - t a
--..
I--I
r--rt
r--r
r--I
f.--I
J.a
t{D- \fN,,ohi(a-
<. f''--^r..tl* 4w A'^r ;e1q:
of Qr-o o o
q,tf o.{fo o o
e ={ 4re,},H,_f
I
?r*eW{t- I-"r1*ofir.
l\
/\)
_/
At e,tnFs,pM
r--r
r---
Aq {c.t.Jd,ei,H
o
0Do4
oo 7- o o
q^ 0 qtqL ofr
I--r
c-I
$.-q.rk=.1 S eoh r ,b
c0..qr-n-n-{e
(tl"n{;^.t^rn
4r AE cenrr.Q
4!".r.,K.s-.-i
ij,) '*\qQe,. %,prto JlM psqr e-rre-A4.MnL

-t ebt -:{,
^t-'eot-\?u
{*
rl*-trsule
iporJur,
n
:
& e6-,pp^
il)îl1rfuq
,
4\
'
At'&'u
'oQ"Q.
n-9b
V{'L-LFffiu
fr--I
f--f
f--l
f---I
r--t
f--.f
f---I
IJ
ntl.\t
14 mh..-'t*4exptut*kr
-ffi-ctukV\ru- or-trx,uq
10
P
''-'
'%'*'
"(t cA- 7L"
k ,r*h"C-aA/,Pa 4
04{--'
'rnouh
Ltrofe" {eq tb-F,,
--{.
l-
u
u
u
u
u
u
u
u
u
u
u
u
u
u
u
u
u
u
u
Ai oztt-ue*"
ILFofu %rCoCrPrf.
d &^* e-rê
-1
Pe{
'n
E-I
Er
orl
zt*+o4 d" c0na^

rh? s6"1-SaL
-
r--I
f-.rt
r--I
f-.I
I-.rl
r--rt
r--rt
L.rt
f--I
I--I
r--rt
---tl
r-.rt
r--I
I-.I
r--I
f--I
orQ
lgSe,*rrne 4u
r'16
Cl)
n=4, *= d R. ff '>. nt efi

)4<.i"a co.,'
7" .
)r 3+t g c.o-,..
't= 4, *= { k BT'>. -e* Pu!)
7.
lt
S gaf -*, ab.t int+-,bn.e car 1.,{-^ Cmlueht grre_ Jea

crrcs S-ot{o*r.tss( a^Cwt Ct*c nt{q1Ien*rot';.
-Q'phf
d-rn. !'olbl- Y o- c4b,rtutîq-uet6)sec-cl.,,LtLîrnt) -
* +#z
.o,,.On ,?nnQ Pn?,i.*.P*9) >-
r -.,",4y\{- cv'1pr.!ruq-rrery *
Ayl
GmttvnLgttc- pc.i ^^ pq
(- .&
4'}
a-, o2po,/lnt
c!^)er-Qionf y
eaf voCoe"it-a+i ft"} .(.'obt- c/tnz
Ltnw^nuq-^êvtt-ctttec'I'eb+
4 , ;+ ^trr_ -tinf<)
* tet ,Q-alh*:
q--; Gnrru.,;a,.rre,ni .-hr^. ),Aâ-claar.
'i-ta*z
* =.f
a,
r!
L'd)ot
+
Lt
:
Qk
Jorrnent )).r1Q_
'
LA-o:k lCucrznfu co,t ,trr.t {6;1 Xe^ker-, J^,.^
egk
&o'Vz s\t r1q-pA^ ,J2^r,2^.
cr-=,f ,, \
?,
,fo,E
3 nt -(,'ebt -("^,zrrt
| J L'
tl,o,w.^ u^r ru,^'tr_
* T={ I ! , -L'lln* s /ol-e !^, +^(- r)rw ,/--r.

ezt fo",4,h,.
q*-t*' fu*,6(,. o, 4*t _q-''fun
Jh cfu
nz
'Ce.[&
)
p,lr^
-l-u .
Lusr^r^
U r rt
o, ,
I
,n .
t;..
rrb,lac 6yt
"4r\+
^d.toire,^W:h,,ru-'.
s,)n
feut
T
u
u
L
u
-.--
---q
* Is\'{iî
t
r tt
&^
tl
fn-srA5 rr^.L ddFLl6r^fo,r
| |'
)/W,t7enr\o-\f,8
x Qa iArltiL,"ba. ffihc"A^xz n'a,alpo'a"uniq^^zco-'tu0 ax-G

clnU. -ta.rr-entr(n-ra qrrr,^
J'.^r.,.,d&{
w(\r{""
'
c[P.l4tsots-c't-"rz C4 fu)x l^,a-U;trfi
e-OJc
2tJron,.!-* n'r4'olpc,,r,niryrr
4,"4,J dq ", . cpk, d;k b"f.o,.'jft-,tt*i.'erf
dqj?a*p"r !n- !^.*1" '.^ [q):
an,-I
L
L
Et-l- D /ru''.*
p"iaf+"u,r"^{ dotll p"t -8o Jt*U^m ir.i+46 ')

ir+r_ryrr-po.rrftur'eltllF
r. &a Cola'h pe" 6-e,u/0,
I
-nG)-
f-^rl
u
u
u x {o .oiao-E")^ oat-pa;eJiry.e
Lo-^ i ee
'
, d0)4t_
u
L
'!'dera;dd /".(,
Aien
4-rn
urr
u * rypfu
u ";) tY=z
u r8= cn"/r"= +f* ,*kff
,
u
*
f
,
-*rq{-^=W:
u
1 for. tro*+(e)" = o/ 6d7.
;
u
u
u
-t--uLê* fut.r. u,h'prut-.-L'Le (clttat*e^ru
I--I
I--I
I-.rt
* J Al = JQ) : r h^ {' bo*o tntie"rt -r,..elos.^c-&

-, AG) - J (rl = a ca^ Wr Wt 4" -!.'ubl-e {'eb
JL- k",*la;^
s U /o^* o-^'nrusrn
{.^*-'
G ) = Z- (p-
Pt
'nt
f co4i-.?^ ./,^r\e- lotc!" .
I-I
L--I
* -(o c0,."*6^),., ,n'aafpa ;ftJ^&.L4 cc,t deo

:,7httt
I--rl
r.-I
t-t>.m,;,g,v.entps.erA-
u-"Y-.
, -tr.rl-.
I -I
rr-rr
r-.rl
r-.rl
crl
G-rl
G..IT
rr-.rr
- tt .
'
npu^ cLuv<-b
,r**,,aiu
A+ "r")t.,^ en 4e*x6p<
'*..
<\' A+ a'x,-r^. L,^-.
c.0.rnu
fQ
gob-b'&,E'
,'.h^\ pe,^v/^nâ
la Auie^.
,_
u
----,
u
u
u
u
u
u
u
u
u
u
u
u
u
u
u
u
u
u
u
Tn
Krhl;
4. Wc(r- ['drok
I lo pGb.b L PYI= 0-- r'\/\'QQ)r'
\r*t*,b,-lH
rYI
^ I'd*
?rt
l:;;t
ff, 1
"r4*
l+ (ry)
--f
'(bFi
ptebab'r'!fu'4r P+kr L
t -en 1n{, w/n
@t
= e,
r-rl
nJ-
r--I
^'
{c rn.nla".Jea
pre,toU
'L-4 Alt*cd" harrl.,k ^ 4^n obg
^de l'-' =
r--rr
4.n I )c*{" 2n1L

IJ
f---ft
r--I
I-.I
r,nolr|gA?,N-.yLl""{-tr-t,
ttz) e
o
-r-=fxJ-=
/oc(e;
'êPceSe,a&r.e.z
r--I
r-,-I
r--rt
f,--fl
r-.I
r--rl
r-rt
r--rt
I--r
I--r
f--f
r--r
,/*
. \
)
'/o
/
'04
r'--c
C,ort {,'g,bF
q- c^pPor.\e^
cQnw JCs*to-^k cr
r,t
ttaj'
q o4qontr-e^t
r^\ .%+t **r^t-^,Gca

q , cr*
qQ-,(Ja,,.rtlLIid<
-,\eCr-rcrenhsd{rtnn cfza ) .
?" =-TCy @r,tr'o* z 4'Y-t'ahl-"q

4po-rfrer.rne^t
'Cl-",W.
e yhe-rne
l[cttryrenb
q*
u
L
u
-.-'fa
(dr,n"+coh
r p*,.todla
$c preb-laCIr-*
drn,..t ,p^ Q^ rnq.l,.."cq
Pr,Q,l
d*i.6o*)
I_I
u
u
u
u
u
u
u
u
u
f
u
u
u
u
u
u
u
q 'yr-ofrtce-Jg .Aoi*a
ib.arer
r-rf
I--
rl
/fu;Vcntr-s, . *\c^rte,,. Jo^ caq-^re co{ -[ o**tn-c.

i
;.*
I--tr
:
I
L.
I_-
dr\A \jqL^-$n
rrl_n.
-l(t-ojLhnD^q
I-IT
-f
I-rr
orl 94 p(
i,4
L-I
o 'or4q3
I--rr
L-I
dr= o, {
Co.,.-&r*1nl
,S h**e J*
C&o** E- ftr.kw
ikê^fr -* -{^X.,.art +'t"'o--1

L= or 6
E = 14,{,3?
qL
ott
r--rr
WW
r-.rr
u"*:ffi*
r-,-
(-"
f.--I
PL't",ldr',;1-= I
ol L
r-l
o-l'c.! /y6rfo&f
r--Il
r--rt
rr--rl
f--I
r--rl
r-l
or"t
*
)k
4E;{ c.^5 n=4(b-^=Jt"-\ V"'7t

V? ek #)o
q) )o
'.
c
z q4l.
'-9
^')
\S
a,
tl
4_
2tl'
M z\oXt c-omgur1.-r-enJiSo"-
^.eLu o-d cw^^r\e-4p
T
L
u
u + J Gl = A1+;- J[.) (.. L8.sr..."a. ,a4d-,,rb:)= -u
u
L
u
- .+irJe
u
u * l=l= fid {*iffiPsbl'J.
rrn
o-rrrrusrnr.
u
u Cq; orf iar"pgv.t.- agt"J" at .^..îq{,t Jn-taau
u
-E=(-tr.",
-If -T
u
elJ
{ = ? B
u (n,,:ru*,T= q) a,7,o,r]
fto ,\
. [r,
u JI
u | -^"+-r.&+-r 3--4orL o 3J
[ o
u
u
u
o,L-K-x+ o,6L" + o,l-Er - \&
1
u
-F-++
o,t
o, J -r,r**fo..B-LrjZ:
u I
brl
"
={r,+,3t.
dilr dCI,i{cJ e!*.v-ZB.nco
C%/Kz
--f,
---f,
x \e\ =t',i
4.r, c & .gd,r.' o.* -,tc,rc.e,.r^

F+Vue '
-0g ce,.-*
a*f icre&ct{o Co b. !ea,.e!t3 cocnrnurJ

OJ-rQn.
t
I--rl
I-rt
r--rl
A*.. -L'ahobt, *tae"L ^^n!-k"*.4")

x & ;ce.oi* ea\-oprie{:,R$a-ro-,Lrc E JQt-* -Qp-pRornnea{ erg.a;T" C.u nflo t.l,
'r
r--rr
Cedqctit&
-{
.0*
I--I
{h,"6,f r&tn-bsrno^ry. c&, J-rrf,-Wt
r--rt
0 {ubn^t-h* a,Lo,ksnM1p ,".o,*u) .

^
+ Qo- {h',b^b; 2G/rarnn;rt aa+{p'ar p<'
.|
----
LU-i = 7-
r--I
r-l
---l
fr--It
I--rt
-7
-ut-a
--1
+
*
=
otLEe_ o.
I0,8+t
r-.rt
r--
l-
rcr\fe
'=)
r-rt
I--rr
't6-bsr't^ r-\,l t
,1ft ,"r.iq.-ore- b^ Ll, l k- 4 kt"(t -Ia !'eo,ruotlen Q
r-.-
r-r
"
---
IAr+-7tr"r]Ta=1
l_
T
u
u
u
u
u
f
u
u
u
u
u
u
f
u
u
u
u
u
u
u
)ls
z)
o tls]
e"l{ k o 0l
a I4( 44[$c I
--4
---l
4 'tl
a-t
e'- 14,&,1tt f
,/i
r--rl
'll4S
I---
n'tt/,tS
L-rl
I--rf
G-rl
L--fl
I-rr
r--rl
f--.fl
I-rl
I---l
I-.Il
4+& co.-3
of m=LCgfnl'>. * f'r"=3
to^ 3 n= g {t 3 m.)- Q,
**,3
l >. t[-r>o
(rT,>
3e lg cor3 n:3 e -=4b,
W >.
"
p^!ru-,qt-v,ia" <r L 4-3 ;a+. y
l{A
d<nC,tUâ
I-..rr
I--lr
f--q
r--I
I-
W.U-
-trnil^ r cl".W,turre"tol:n AuX" J'*tr(z*cz.

[e[= ,".r. dr"c Ut .ett" or, rnsrn,^* S.^b*t"k; f.di*,.o
d*""i4i\h^1.^.bi^ lnl"."^Dr.c. o.d -s.g"re c-o^-'t <xigt nn
:(^^ r,k ,.^*gue- ,-!-pe,.o*cce,,,h .'
pa Lf;''*p^ & *4,

& 4Kb,bi- ts"^ô.re
, ] T-= 7u. P .=. J',W-_ . t
,
r--rl
L.It
tan c'synaerni.q-,rê
r^X e^c no(r{ q^rrh -,\ ({
(&"f*JLstrrl=4
lz-c=4-
J JJ6.-t lS r D*{"*r Lo-rr'J* ravb,ta&ks d" [aq' G"

I
(
+ bel=f'..
vt ,1,y^(,
Ll_a-qro
\ ,
Au^- ,-s .dl*-(X^\^ e'\+r\cs,renG

p-,e{<.
+ V L d \ = L
(n^ln4^rdroare J*.a
Co,tfr,^^ Qeu
pa-{.id<"G,e.
LA.,b"mt d" !,"Qu
ry^,r,re
dt e"kif
ep
p tx.#p4 fruc o-rr.rc
ttj^-t;GrJd" J'hhk L '/.ht,
p{r^rdt -luo or^lira

(/
T
u
u
u
r 0tt .Ad^".(X").
t4 llq..Q..r".a- 0\
I-rl
u
u
u
u
u
u
u
u
f
u
u
u
u
u
u
iicc.'tr"ctge ak lc^rre^h,pe'hbve.
ri\
,Y
+3
\
?\
J
I
.-/
qf c o,(l
ot\
0 o,f cl
I
I
i
I
lel=q d6,L.= {l;
f--f
orf
I-.rl
c.(
o,S
/=
o,
OtS
r--rr
r--rl
r--rl
r--rt
r--rl
f--I
r-.rl
f:-
/< \.? Col.3 n - L,?r,.=L
?8 )o o( P;?)s
c-+ 3 Lo-.,. n - )-, e rn--!
h g?)." 4r "")o
,( 36-r(
r-^rl
r--I
E_-)1,{,u,*f
'r*. %*= 4-.

o o,( o o-f'l Z J* U-n^,e^Tj
o,( o o\*ro.|
L--fl
r--rl
co,.6".u Q^t"ts
^pnr\^
(mt e\[n-ert-
x 0" c0** !r+ <,q#-q*-
I---r
r-r
cor,"i c AVt-
,, CJfmfnrLo.rrgrF.
I-rl
f
L
'ror"JAcL.\(q
',r-4
a]--
.n*|-o\e
q ($)>,' et PrY')o
pa^,hor^l".l:v,(
(|
(,o^ 3'r-t-,3wt=4*
4<>3
e* AuV ) {*r?.
, h,t, kU'e-boh G>nrutntqrle^t <ne AIL-(.e* 1-*n
v^[ dn.vt*7t{r^rryd( J Llo.te,

J'q--;v*&â)
cLc^..Q c?.o'".E^r* u+ irft J^&- .
* {c t 2 O =* 'V"t=JgJ= dG)= JQ) p
l$ror"e-4, A-4'
$ib
J(D = PGrJ]e,q,3, ---, " 4.

co, Ji e . 6 JQ,t+z
x P4 LL". ttt+ p-'ta"
x 2q 6C.oin Zal ecur.ei,b. N,Eve tnt [l= /i=.

.* s'r lu a&,k nen A)n hi l"e.apJic;t /"'!p;0,"j^.
h^ i"- d u k*s C-rvql.*Jn{.cwo;n-fn*.4--.
Que A+ c-L-n- ^tr "#i3q
VruLl*-
i n-# e'
u
f
u
---
{i" &t (lot=#^\ a} QzF

-0e J;[t.^h- ^.(r",k rna^,-r
tp.t Ll" {X,{b ru\^LruQ ctr"rtp.4'ng*VxQuG,
;,rvr.'rr.re
0e Jiv;b"k*
i)T=T,e
'<
:t Zrj=L
I-tI
--a
fr
u
f
u
u
u
u
u
I o r\*t,(q.+ o&+ ",(q=fi-y

o,itr3+o\'=
,) o,(nrt o K"s,+
ry,
,l o rrt#o5T-+ cTr+o,Sq=T,
--f
c E*o,f5j-iL3 ci= T.'

ll q(Tat
=
T' y+Tc- +1-t +
--a
I--r
r-rr
:L
tl ^*Wib<. n*^"elt ht6'^.

J'e-6Jt*.
o o o 4/a
o z//o
o
--!-
ly o ly o
oly oYy
u
r--l
r-rl
oooo
L
r-It
r--rl
f--f
tt^k- yek'c"âl'<-
,K
?lL X,.=
'" al = 4 WbLola'Lth*,a Ast'rvLe
Mk 'l" oborl i -(!;uEJ- \^ i
r--
I--rr
f"tu-r 6n"vu <'(k;
T"'- lryr,'To,.,r.-:,Tv)
= f)
L
f
r.-rr
r-.rt
u
u
u
u
),';
---
--a
4hw*,,nicepaf /"' {^,* p2^;
4lJ'
/)-
u=) i-.?r3, q
,tf
74
4ro* ,**
l---.
u
u
u
u
u
u
u
u
u
u
u
u
u
u
u
*e
r-rl
I--rl
i,kJ.',&. ln .&o^ ,
f.--fl
r--I
--.-
r--f-.fl
fl-ft
f.--fl
f-.I
ra
g
u
u
u
u
r-.rt
G-rt
G.I
r--rt
--rl
-u'r
ct^4ki. k edrte c =\4,r|' orui {rf r-b-q.rrer.,-ufo'L.*[o'. co.r.

na-f fh"
^r^. 4"" +r,l* scLeJ"'6'c&"
6v1
"/n,W
)t^flflcl Qk l.*' cXo.Lk:r=]{, a, tl q--. e-+ tr";h""
/\
/L^,Lo^
4" lh^hL A- Uh" cl-/4; o4,.-r-pe,tb p4"t
r/a-sL^^
,,tu"*c i'n., r\Au
tF4^ne* 4" *âi6r
d4e. af nt.a"t).
--l
r-.rt
d4
thano t'^}".*4a
(" ),ê,p) ( o\ Peut k^^^

(U c--o-u"*
,1, $^r. ea c-o-Ld\"
||J
,t,-'sl on n=L 12y=,4 P^"?:"Lni:){+.3,Lc.r3n= 4 ,3'n=a &i'7o ctf,>-.
'8T,>a* Pn!>.|o.
c"^
3 n= 4, .=r Q
(LZ u yl
9 po* l;q.'e';trvitl -2*-V
'q(2"--il a* =e6,'ff"'zo4t P,t?>
,L 42 i^ #,n,a ' =t
9?>l*t 6'};- :
!.'Jbl-4 ruq-m,.Qlu.
al {, r*-clnnm-^r."q-*eu.tp:s aiac-*'.
"Lnn
-Io-lu6r
,t'ihlr s e,t -?.'lo*v,
@+ oW oate-c-'
g 3,v"4u"lrbr
t';";U;ir^.-*^
;.
Snc (*,nn*^'r"ê 14^ lrn /t"
au^ cdt^&nn- lro x' c.lurltur',
Qnec l^
6h/g Qr3, ? .
c=1L,5if : -uru,-ln,u.oLSqL*,r" &^v d||ru

T.
\q,3,
u(ll : ,u^4 cta*t<to'*foi..

i'
h"ir nU{^*
lzl"{^--,( 6t*c U 4b aonî-s r,r"u Juhht*
rltnla*-...,
C"f. drf^<a Ais-nave 2 *^t ?-r.et-^'r! ?xl6 ).,.t"a,/c'
tlnU. ,lr.rrer,n C .
X6ka-.u1'.a| A"'fr'at p^
/r" l\V4^,t
---Ee
\tu
( ,tE\,=L
\
vt
14,a,r,T,l1
.,^*U^)
b *V\=#+,{4
"O,
::*tm,
+e * A(t))a\ti,rpo' fêv'
+=
" l"rt , ) 4- =Ak) c,^lt,hl'4 cmf*,'k**h,c
h.,",./
E :#U^8:ilYi
rT,,=T^!:nqUa
=I
<x;rt J? b-tr
qt e,tpo:
,o'n*:'n'n*
7,:
-*,*^
Asv',cLg .l,oi,-.n'eolpas ir,'ak*k,
r-/-;,n
* -nvy pe'* *Le,a!)"". h" /4,rr,#
"U4
u'-
'+.""4
tr*e*
+a G"*N*'iv,S,{nyy
..5ace>,^'.'Unv\'c-4f(od ?frdzdL?*.)
tr,+"
f
ur
II
u
u
u
u
u
u
ui
u
u
ui
u
u
r-.rt
r-.-t
r-rt
E--
E--t
rr-
-.-
--rf
E-I)
r-.rt
--d
r-
..lr\=f'
l:
'/ A-Vl
4
I-
E
r.I-
f-
rr -
l:
l=
r--l
l:vl
r-l
r-
l=
l:r.{
r-
r=
r-
l:r.l:rl-:
rl=
r.{|
E
I.I
l=
L.fl
E_
r{r
rrr-f
Iv
t( -lt)
h,,4
ft(
Niveau un 1
Niveau un :
Exo 1 :
Soit (Xn)nN une chaine de Markov espace dtats E = {1, 2, 3, 4, 5, 6} et de matrice des probabilits
de transition (P) donne par :
1
2
3
4
5
6
1
0
0.3
0
0
0
0
2
0.8
0
0
0
0
0
3
0.2
0
0
1
0
0
4
0
0
1
0
0
0
5
0
0.2
0
0
1
0
6
0
0.5
0
0
0
1
1. Etudier la chaine (graphe, nature des tats, priodicit).

2. Calculer les probabilits dabsorption.
(n)
3. Dterminer Lim Pi,j ; i et j E.

(n)
4. Supposons que les tats 3, 4, 5, 6 ne forment quun seul tat que lon notera e.
- Donner la matrice des probabilits de transition associe E = {1, 2, e}.
- Dterminer le temps moyen jusqu' absorption.
Solution :
1/ tude de la chaine :
La premire information quon peut tirer est que la matrice des probabilits de transition (not P) est le
fait que la matrice P est stocastique car la somme des lments dune ligne est gale 1.
1
2
3
4
5
6
1
0
0.3
0
0
0
0
2
0.8
0
0
0
0
0
3
0.2
0
0
1
0
0
4
0
0
1
0
0
0
Le graphe des tats :
des lments de la ligne =1

0.3
0.2
2
5
0.5
0.2
1
3
6
0
0.5
0
0
0
1
0.8
1
5
0
0.2
0
0
1
0
Rmq : pour sassurer que votre

graphe est correct il faut que la
somme des probabilits de
lensemble des arcs sortants
dun tat i soit gale 1.
1 2 car
(m)
n=1, m=1 tq : P(n)
12 > 0 et P21 > 0. (1 et 2 appartiennent la mme classe)
3 4 car
(m)
n=1, m=1 tq : P(n)
3 1car il existe un arc orient de 1 3 et il nexiste pas darc orient de 3 1.

3 2 car il existe un arc orient de 2 1 et de 1 3 (chemin indirect entre 2 et 3) et il nexiste pas
darc orient de 3 2 (on ne peut pas accder ltat 2 partant de ltat 3).
4 2 car il existe un arc orient de 2 1, de 1 3, et de 3 4 (chemin indirect entre 2 et 4) et il
nexiste pas darc orient de 4 2 (on ne peut pas accder ltat 2 partant de ltat 4).
4 1 car il existe un arc orient de 1 3 et de 3 4 (chemin indirect entre 1 et 4) et il nexiste pas
darc orient de 4 1 (on ne peut pas accder ltat 1 partant de ltat 4).
Les tats 5 et 6 ne communiquent avec aucun tat car il nexiste pas darc sortant de ltat 5 ou de
ltat 6 (sauf pour les boucles).
En conclusion nous avons 4 classes distinctes les unes des autres :
-
La classe transitoire T est forme des deux tats 1 et 2. On dit que T= {1, 2} est transitoire
car une fois sortie de la classe T on ne peut plus revenir (elle nous permet de transiter
dautres classes).
La classe rcurrente C1 est forme des deux tats 3 et 4. On dit que C1= {3, 4} est
rcurrente car une fois rentrer dans la classe C1 on ne peut plus sortir (elle absorbe le
systme).
Ltat 5 forme lui seule une classe car il ne communique avec aucun tat. La classe quil
forme est not C2 = {5}. Cette classe est absorbante (elle absorbe le systme car une fois
rentrer dans cette classe on ne peut plus sortir de celle ci).
Ltat 6 forme lui seule une classe car il ne communique avec aucun tat. La classe quil
forme est not C3 = {6}. Cette classe est absorbante (elle absorbe le systme car une fois
Lensemble des tats est fini car E = fini ce qui veut dire quil existe au moins une
distribution stationnaire, mais puisque nous avons plus dune classe rcurrente (3 classes
rcurrentes : C1, C2, C3) alors cette distribution stationnaire nest pas unique :
(n)
(n-1)
On applique donc la formule =
P.
(n)
(n)
(n)
(n)
(n)
Notons que (est ltat du systme linstant n) = , ,.., , ) et que
1
5
6
2
(n)
i est la probabilit que le systme soit ltat i a linstant n = P[ Xn = i].
La chaine nest pas irrductible car il existe des tats qui ne communiquent pas entre eux
(donc pas de classe dquivalence)..
La priodicit des tats :
- d (1) = d(2) [par thorme de solidarit] = PGCD{2,4,6,..} =2.
- d(5) = 1 car ltat 5 boucle sur lui mme.
- Donc la chaine Xn est priodique.
La chaine est rcurrente positive car lensemble des tats est fini.
Si la chaine est rcurrente positive, apriodique et irrductible elle est forcement ergodique
mais ci lune des conditions nest pas remplit (dans notre cas la chaine est priodique, et elle
nest irrductible) on ne peut rien dire sur lergodicit (on ne peut ni nier, ni affirmer cette
ergodicit).
2/ Calculer les probabilits dabsorption :
On dit que la chaine (Xn)n est absorber par le systme si la chaine passe dun tat transitoire une
classe absorbante (on a pas dit passe dun tat transitoire un tat absorbant car ce nest pas
ltat darriv qui absorbe mais plutt la classe laquelle cet tat appartient malgr que laccs
cette classe absorbante se fait travers ce mme tat darriv).
Dans notre systme nous avons 3 classes absorbante (C1, C2, C3) et une seul classe transitoire
not T.
Nous avons donc calculer :
-
La probabilit que la chaine soit absorbe par la classe C1 partant de ltat transitoire 1
quon notera A1,C1.
quon notera A2,C1.
quon notera A1,C2.
quon notera A2,C2.
quon notera A1,C3.
quon notera A2,C3.
Mais avant de commencer faire des calcule donnant la formule de la probabilit dabsorption par une
classe absorbante C partant dun tat transitoire i :
Ai,C = Pi,j + Pi,k Ak,C

jC
classe absorbante).
KT
/ tq k T (T tant la classe transitoire) et j C (C tant la
La probabilit que le systme soit absorb par la classe C1= {3, 4} :
A1,C1 = P1,j + P1,k Ak,C1= (P1,3+ P1,4)+( P1,1 A1,C1+ P1,2 A2,C1) .
j C1
KT
A1,C1 = P1,3+ P1,2 A2,C1
A1,C1 = 0.2+ 0.8 A2,C1
...(1)
A2,C1 = P2,j + P2,k Ak,C1= (P2,3+ P2,4)+( P2,1 A1,C1+ P2,2 A2,C1) .
j C1
KT
A2,C1 = 0.3 A1,C1
...(2)
Avec (1) et (2) on obtient un systme dquation 2 inconnus, simple rsoudre. Ainsi on trouve :
A1,C1
: cest la probabilit dtre absorb par la classe C1 partant de ltat transitoire 1 et cette
probabilit est de 0.26.
A2,C1
Et la probabilit que le systme soit absorb par la classe C1 est le couple (0.26 , 0.078).
La probabilit que le systme soit absorb par la classe C2= {5} :
A1,C2 = P1,j + P1,k Ak,C2= (P1,5)+( P1,1 A1,C2+ P1,2 A2,C2) .

j C2
KT
A1,C2 = P1,2 A2,C2
A1,C2 = 0.8 A2,C2
...(1)

j C2
KT
A2,C2 = P2,5+ P2,1 A1,C2
A2,C2 = 0.2+ 0.3 A1,C2
....(2)
A1,C2
A2,C2

Et la probabilit que le systme soit absorb par la classe C2 est le couple (0.26 , 0.26).
La probabilit que le systme soit absorb par la classe C3= {6} :

j C3
KT
A1,C2 = P1,2 A2,C3
A1,C2 = 0.8 A2,C3
...(1)
A2,C3= P2,j + P2,k Ak,C3= (P2,6)+( P2,1 A1,C3+ P2,2 A2,C3) .

j C3
KT
A2,C3 = P2,6+ P2,1 A1,C3
A2,C3 = 0.5+ 0.3 A1,C3
.....(2)
A1,C2 : cest la probabilit dtre absorb par la classe C3 partant de ltat transitoire 1.
A2,C2 : cest la probabilit dtre absorb par la classe C2 partant de ltat transitoire 2.
3/ Calcule de limites :
Avant de calculer ces limites il est important de connaitre les rgles suivantes :
(n)
- Lim Pi,j = 0 si ltat j appartient une classe transitoire T .

n
(n)
- Lim Pi,j = 0
si ltat j appartient une classe rcurrente C1 et ltat i appartient une

autre classe rcurrente C2.
n
(n)
- Lim
P = j Ai,C si ltat j appartient une classe rcurrente C et ltat i appartient
n i,j
une autre classe transitoire T
(n)
- Lim Pi,j = j si ltat j appartient une classe rcurrente C et ltat i appartient cette
n
mme classe C.
Pour les deux dernier cas on pourra pas calculer la limite car la distribution stationnaire
nest pas unique ce qui veut dire que dpend fortement de n (n tant linstant) et a
chaque fois que le n change on aura une nouvelle distribution stationnaire (n) = (1, 2,
,6).
Connaissant ces lois on peut facilement avoir ces limites. Pour les limites qui ne peuvent
pas tre calculs a cause de la raison cit prcdemment on ce contente dcrire la
formule.
4/ on suppose maintenant que les tats 3, 4, 5, 6 ne forme quun seule tat :

Comment peut-on avoir P la matrice des probabilits de transition ? La rponse est simple :
1
2
e
1
0
0.3
0
2
0.8
0
0
e
?
?
?
La matrice P dans une

chaine markovienne est
stocastique ce qui veut dire
que la somme des lments
dune ligne =1.
1
2
e
1
0
0.3
0
2
0.8
0
0
e
0.2
0.7
1

0.8
1
0.3
2
0.7
0.2
e
1
Rmq : pour sassurer que votre

graphe est correct il faut que la
somme des probabilits de
lensemble des arcs sortants
dun tat i soit gale 1.
1 2 car
(m)
n=1, m=1 tq : P(n)
e 2 car il existe un arc orient de 2 e, mais il nexiste pas darc orient de e vers 2 (on ne peut pas
accder ltat 2 partant de ltat e).
e 1 car il existe un arc orient de 1 vers e mais il nexiste pas darc orient de e vers 1 (on ne peut
pas accder ltat 1 partant de ltat e).
Ltat e ne communique avec aucun tat car il nexiste pas darc sortant de ltat e vers ces tats.
Nous avons donc 2 classes distinctes lune de lautre :
La classe transitoire T est forme des deux tats 1 et 2. On dit que T= {1, 2} est transitoire
car une fois sortie de la classe T on ne peut plus revenir (elle nous permet de transiter
dautres classes).
- Ltat e forme lui seule une classe car il ne communique avec aucun tat. La classe quil
forme est not C = {e}. Cette classe est absorbante (elle absorbe le systme car une fois
distribution stationnaire, cette distribution stationnaire est unique car il nexiste quune seul
classe rcurrente not C ={e}. dans ce cas on applique la formule :
= (n) = P
i =1 avec i {1, 2, e} (la matrice carr P ne contient que trois lments).Notons que
-
(n)(est ltat du systme linstant n) = (1 , 2, e)= car la distribution stationnaire
est unique quelque soit linstant n.

(donc pas de classe dquivalence).
- d(e) = 1 car ltat e contient une boucle.
- Donc la chaine Xn est priodique (car il existe un d(i) diffrent de 1).
ergodicit).
Quand on parle du temps moyen ou dun dlai moyen dun passage dun tat un autre on pence
directement ij. La formule du change selon le temps moyen quon veut calculer :
Si on nous demande le temps moyen (la dure moyenne ou mme la frquence moyenne)
quil faut pour passer dun tat transitoire (appartenant une classe transitoire) un tat
rcurrent (qui appartient une classe rcurrente ou absorbante), on sous entend le temps
moyen quil faut pour passer dun tat rcurent une classe absorbante ou plus clairement le
temps moyen dabsorption. A ce moment la aura comme formule
ic = 1+ Pik [Akc / Aic]. kc tq k reprsente lensemble des lments de la classe

KT
transitoire T et C la classe absorbante qui absorbera la chaine X n (il ne faut pas oublier que
cest la classe qui absorbe la chaine donc mme si on vous demande de calculer le temps
moyen pour passer dun tat transitoire i un tat rcurrent j il faut comprendre quil nous
demande de calculer le temps moyen du passage de ltat transitoire i la classe absorbante C
qui contient ltat j).
Si maintenant on nous demande de calculer le temps moyen quil faut pour passer dun tat i
un tat j sans que i appartient une classe transitoire au mme moment que ltat j appartient
une classe rcurrente alors on applique la formule suivante :
ij = 1+ Pik kj tq K sont lensemble des tats appartenant E-{i}.
Dans lnonc de cette exercice on a clairement spcifi quelle type de temps moyen faut-il calcul :
Il sagit de calculer
1C
et
2C car on nous a pas spcifier ltat de dpart. Mais avant cela il faut
calculer les probabilits dabsorption par la classe C partant de ltat 1 ou de ltat 2.
A1,C = P1,j + P1,k Ak,C= (P1,e)+( P1,1 A1,C+ P1,2 A2,C) .

jC
KT
A1,C = P1,e + P1,2 A2,C
A1,C =0.2+ 0.8 A2,C
...(1)
A2,C = P2,j + P2,k Ak,C = (P2,e)+( P2,1 A1,C+ P2,2 A2,C) .

jC
KT
A2,C = P2,e+ P2,1 A1,C
A2,C = 0.7+ 0.3 A1,C2
....(2)
A1,C
: cest la probabilit dtre absorb par la classe C partant de ltat transitoire 1 et cette
A2,C
: cest la probabilit dtre absorb par la classe C partant de ltat transitoire 2 et cette

Il devient trs facile de trouver
classe C.
1C
et
2C aprs avoir trouver les probabilits dabsorption par la
1c = 1+ P1k [Akc / A1c]. kc

KT
1c = 1+ P11 [A1C / A1C]. 1C + P12 [A2C / A1C]. 2C

1c = 1+ 0.8 (1.71/156) 2C....(1)
2c = 1+ P2k [Akc / A2c]. kc
KT
2c = 1+ P21 [A1C / A2C]. 1C + P22 [A2C / A2C]. 2C

2c = 1+ 0.3 (156/1.71) 1C....(2)
il suffit de rsoudre le systme dquation (1) + (2) pour avoir :
1c : cest le temps moyen quil faut pour tre
absorber par la classe C partant de ltat 1.
2c : cest le temps moyen quil faut pour tre
absorber par la classe C partant de ltat 2.
Question supplmentaire :
Calculer le temps moyen de sjour dans ltat 1 et le temps moyen de sjour dans ltat 2.
Premirement il faut faire la diffrence entre le temps moyen pour passer dun tat un autre et le
temps moyen de sjour (deux notions totalement diffrentes). Revenons maintenant notre question :
Temps moyen de sjour dans ltat i = 1 / Pii de ce fait :
-
temps moyen de sjour dans ltat 1 = 1 / (1-P11) = 1 / (1-0) =1

temps moyen de sjour dans ltat 2 = 1 / (1-P22) = 1 / (1-0) =1
Exo 2 :
Soit (Xn)nN une chaine de Markov espace dtats E ={1, 2} et de matrice des probabilits de
transition P donne par :
1
0.5
0.3
1
2
P=
2
0.5
0.7
Sachant que la distribution initiale de la chaine ((0) : la distribution de la chaine linstant zro) =
(1/3, 2/3) :
1/ calculer P (X1=2, X2=1, X3=1 / X0=1).
2/ calculer P (X1=2, X3=1 / X0=1).
(n)
(n)
3/ calculer Lim P11 et Lim P21
n
n
4/ calculer les probabilits de premier retour ltat 1 en n transitions.
5/ calculer le temps moyen de premier retour ltat 1 de deux manire diffrentes.
6/ calculer le temps de sjour ltat2.
Solution :
i=2, j=1
i=1, j=1
1/ Question 1
i=1, j=2
P (X1=2, X2=1, X3=1 / X0=1) = P (X3=1 / X2=1) P (X2=1 / X1=2) P (X1=2 / X0=1).
(21)
(32)
(3 2)
P (X1=2, X2=1, X3=1 / X0=1) = P11
Pij = P11
(1)
(2 1)
. P21
Pij = P21
(1)
. P21
(1 0)
. P12
Pij = P12
(1)
P (X1=2, X2=1, X3=1 / X0=1) =
P11
. P12
P (X1=2, X2=1, X3=1 / X0=1) =
P11 . P21 . P12 = (0.5) . (0.3) . (0.5)
(10)
2/ Question 2
i=2, j=1
i=1, j=2
P (X1=2, X3=1 / X0=1) = P (X3=1 / X1=2) P (X1=2 / X0=1) P.

(31)
(3 1)
P (X1=2, X3=1 / X0=1) = P21
Pij = P21
P (X1=2, X3=1 / X0=1) =
(2)
P21
(10)
(1 0)
. P12
Pij = P12
(1)
. P21
(2)
2
2
A ne pas confondre entre P21 = (0.3) et P21 = qui est la probabilit de passer de ltat 2 ltat 1
en deux tape. Pour trouver cette probabilit il suffit dappliquer la formule suivante :
(2)
P21 = P2k . Pk1 = P21 . P11 + P22 . P21 = (0.3).(0.5) + (0.7) (0.3)
KE
P (X1=2, X3=1 / X0=1) = [(0.3) . (0.5) + (0.7) (0.3)] . (0.3)
3/ calcule des limites :

(n)
Lim P = 1
n 11
(n)
Lim
P = 1
n 21
Ltat 1 et ltat 2 communiquent entre eux et forme une seul et unique classe
dquivalence cette mme classe dquivalence est vu comme tant une classe
rcurrente unique or comme dj vu dans lexercice 1 si ltat de dpart i et ltat
darriv j appartiennent une mme classe rcurrente alors la limite est gale
j.
4/ calculer les probabilits de premier retour ltat 1 en n transitions.

Cette probabilit peut tre facilement dduite car si la chaine ne se trouve pas dans ltat 1 elle se
trouve forcement dans ltat 2.
Rappelons que la probabilit du premier retour ltat i aprs n transitions ou n tapes scrit comme
suite :
R(n)
ii = P [X1 i, X2 i, X3 i,...., Xn-1 i, Xn= i / X0= i] = cette criture exprime les
informations suivante :
-
Si on parle dun retour un tat cela veut dire quinitialement ( linstant 0) on se trouvait
cet tat.
Aux instants 1,2,3,.n-1 on se trouvait dans dautres tats que ltat i sinon on ne peut pas
parler de premier retour linstant n si on se trouvait un instant TIME (un instant prcdant
linstant n) dans ltat i.
A linstant n on se trouve forcement ltat i pour exprimer le premier retour cet tat.
(1)
R11 = la probabilit du premier retour ltat 1 en 1 tape = P11 = la probabilit de passer de ltat
1 ltat 1 en 1 tape = 0.5
(2)
R11 = la probabilit du premier retour ltat 1 en 2 tape = (P12)(P21) = (0.5)(0.3)

)
2
(3)
R11 = la probabilit du premier retour ltat 1 en 3 tapes = (P12)(P22)(P21) = (0.5)(0.7) (0.3)
2
(4)
R11 = la probabilit du premier retour ltat 1 en 4 tapes = (P12)(P22)2(P21) = (0.5)(0.7) (0.3)
3
3
R(5)
11 = la probabilit du premier retour ltat 1 en 5 tapes = (P12)(P22) (P21) = (0.5)(0.7) (0.3)
(n)
R11 = la probabilit du premier retour ltat 1 en n tapes = (P12)(P22)(n-2)(P21) = (0.5)(0.7)(n-2)(0.3)

5/ calculer le temps moyen de premier retour ltat 1 de deux manire diffrentes :
Premire mthode :
Calculer le temps moyen du premier retour ltat 1 revient calculer le temps moyen de sjour
dans ltat 2 ( ne pas confondre le temps moyen de sjour dans un tat et le temps de sjour dans un
tat).
Le temps moyen de sjour dans ltat 2 = E{S2 / X0 = 2} = 1 / (1 P22).
Deuxime mthode :
Pour pouvoir utilis cette deuxime mthode il faut que la distribution stationnaire existe et quelle soit
unique.
Lensemble des tats not E est fini ce que veut dire quil existe au moins une distribution stationnaire,
et puisquil existe une seule et unique classe dite classe dquivalence (et qui est forcement
rcurrentes) la distribution stationnaire est unique et est dfinit par le couple :
= (n) = P
i =1 avec i {1, 2}
(n)
Notons que (est ltat du systme linstant n) =
est unique quelque soit linstant n.
(1, 2 )= car la distribution stationnaire
Si la distribution stationnaire nest pas unique elle sera non pas dfinie par le couple
(n)
mais par la formule
(n-1)
P.
= (n) = P
i =1 avec i {1, 2}
Puisque la distribution stationnaire existe et est unique on peut calculer le temps moyen de premier
retour ltat 1 par la formule 11 = 1 / 1
Calculons maintenant la distribution stationnaire = (1, 2) :

(1, 2) = (1, 2)
0.5 0.5
0.3 0.7
1 + 2 = 1
0.5 1 + 0.3 2 = 1
0.5 1 + 0.7 2 = 2
1 + 2 = 1
On ce retrouve avec trois quation et deux inconnu. Un systme dquations

classique et simple rsoudre (1, 2) = (0.38, 0.62)
Exo 3 :
Soit (Xn)nN une chaine de Markov despace dtats E = {1, 2, 3} et de matrice de transition
1
2
3
1
p
0
q
2
q
p
p
3
0
q
0
p, q [0,1] et p+q =1
On donne la loi initiale (0) = (1, 0, 0).

A. Calculer la probabilit que la chaine quitte ltat 1 aprs n transition.
B. Donner la nature des tats suivant la valeur de p et q et donner les classes de communication.
C. Etudier suivant les valeurs de p lergodicit de la chaine et donner les probabilits stationnaire
dans le cas ou elle existe et est unique.
D. En supposons que p = 3/5 calculer P* = Lim Pn
n
Solution :
A. Calculer la probabilit que la chaine quitte ltat 1 aprs n transition :
Premire mthode :
On calcule la probabilit suivante :
P[ X1 = 1, X2 = 1, X3 = 1,, Xn-1 = 1, Xn 1 / X0 = 1] =
P [Xn 1 / Xn-1 = 1].P [Xn-1 = 1 / Xn-2 = 1].P [Xn-2 = 1 / Xn-3 = 1] P[X2 = 1 / X1 = 1].P[X1 = 1 / X0 = 1]
= (P [Xn = 2 / Xn-1 = 1] + P [Xn = 3 / Xn-1 = 1]).(P [Xn-1 = 1 / Xn-2 = 1])(n-1)
= (P12+P13).(P11)(n-1) = [q+0].(p)(n-1) = q p(n-1)
Deuxime mthode :
Il suffit de calculer le temps de sjour ( diffrencier avec le temps moyen de sjour, et nous, on ne
cherche pas une moyenne) dans ltat 1 :
P {S1 = n / X0=1} = [1-P11]. (P11)(n-1) (la formule gnrale P {Si = n / X0 = i} = [1-Pii]. (Pii)(n-1)
Car linstant n on quitte ltat 1 pour aller un autre tat.
P {S1 = n / X0=1} = [1-p]. (p)(n-1) = q p(n-1)
B. Donner la nature des tats suivant la valeur de p et q et donner les classes de
communication.
Si p=1 et 1-p = q = 0 :
1
2
3
1
1
0
0
2
0
1
1
3
0
0
0
Aucun tat ne communique avec les autres tats. Donc

chaque tat forme lui seule une classe.
1 2 car
(m)
n, m tq : P(n)
12 > 0 et P21 > 0.
2 3 car
(m)
n, m=1 tq : P(n)
23 > 0 et P32 > 0.
1 3 car
(m)
n, m tq : P(n)
13 > 0 et P31 > 0.
Ltat 1 est rcurrent car une ne contient pas darc

sortant.
Ltat 2 est rcurrent car une ne contient pas darc
sortant.
Ltat 3 est transitoire car il nous permet de faire des
transitions vers dautres tats.
Lensemble des tats E est fini donc nous avons au moins une distribution stationnaire (nous
concluons aussi que la chaine est rcurrente positive).
La chaine nest pas irrductible car il existe des tats qui ne communiquent pas.
La chaine est priodique car : d(1) = 1 (ltat 1 contient une boucle) ; d(2) = 1 (ltat 2 contient
(n)
une boucle) ; d(3) = 0 (P33 = 0 quelque soit n N).
On ne peut rien dire sur lergodicit de la chaine.
La distribution stationnaire nest pas unique et est dfinie par : (n) = (n-1) P = (0) P(n).
Si p=0 et 1-p = q = 1 :
1
2
3
1
0
0
1
2
1
0
0
3
0
1
0
1
1
2
1
1
3
1 2 car
(m)
n=1, m=2 tq : P(n)
2 3 car
(m)
n=1, m=2 tq : P(n)
23 > 0 et P32 > 0. (3 et 2appartiennent la mme classe)
Par transitivit nous avons ltat 1 qui communique avec ltat 3.

Les trois tats communiquent et forme une seule et unique classe dquivalence (la chaine est
irrductible)
Lensemble des tats E est fini ce qui veut dire quil existe au moins une distribution
stationnaire.
La distribution stationnaire est unique car il existe une seule et unique classe dquivalence
(une classe en elle-mme rcurrente) ce qui veut dire que la distribution stationnaire est
dfinie par le couple :
= (n) = P
i =1 avec i {1, 2, 3} et = (n) =( 1 , 2 , 3 ) (la distribution stationnaire est
indpendante de n).
d(1) = d(2) = d(3) par le thorme de solidarit
d(1) = PGCD {3,6,.} = 3
quelque soit i E alors d(i) = 3 ce qui veut dire que la chaine est priodique et quon ne peut
rien dire sur lergodicit.
Aprs avoir rsolu le systme dquation dfinissant la distribution stationnaire on trouve =
(1, 2, 3) = (1/3,1/3,1/3)
Lim (n) = = (1, 2, 3) = (1/3,1/3,1/3) car la distribution stationnaire est unique (ne
n
change pas au changement de n) et concide avec la distribution limite.
Si 0 < p < 1 et 0 < q < 1 (on prend titre dexemple p=3/5, q=2/5):
1
2
3
1
3/5
0
2/5
2
2/5
3/5
3/5
3
0
2/5
0
3/5
3/5
2/5
2
2/5
2/5
3
3/5
1 2 car
(m)
n=1, m=2 tq : P(n)
2 3 car
(m)
n=1, m=1 tq : P(n)
23 > 0 et P32 > 0. (3 et 2appartiennent la mme classe)
Par transitivit nous avons ltat 1 qui communique avec ltat 3.

Les trois tats communiquent et forme une seule et unique classe dquivalence (la chaine est
irrductible)
Lensemble des tats E est fini ce qui veut dire quil existe au moins une distribution
stationnaire.
La distribution stationnaire est unique car il existe une seule et unique classe dquivalence
(une classe en elle-mme rcurrente) ce qui veut dire que la distribution stationnaire est
dfinie par le couple :
= (n) = P
i =1 avec i {1, 2, 3} et = (n) =( 1 , 2 , 3 ) (la distribution stationnaire est
indpendante de n).
d(1) = d(2) = d(3) par le thorme de solidarit
quelque soit i E alors d(i) =1 ce qui veut dire que la chaine est apriodique et puisque la
chaine est irrductible, rcurrente positive, et apriodique elle est forcement ergodique.
Aprs avoir rsolu le systme dquation dfinissant la distribution stationnaire on trouve =
(1, 2, 3) = (2/9,5/9,2/9)
Lim (n) = = (1, 2, 3) = (q/(2q+1), 1/(2q+1), q/(2q+1)) = (2/9,5/9,2/9) car la distribution

n
stationnaire est unique (ne change pas au changement de n) et concide avec la distribution
limite.
Dans ce cas :
Lim P(n) =
n
(n)
Attention : ne pas confondre Lim P

(n)
Lim P
tape).
i,j
2/9
2/9
2/9
5/9
5/9
5/9
2/9
2/9
2/9
quand n (qui dsigne la limite de la matrice P) et
quand n (qui dsigne la limite de la probabilit de passage de ltat i ltat j en une
Exo 5 :
Un dispositif technique comprend deux lments monts en parallle et fonctionne indpendamment
lun de lautre. Chaque lment une probabilit p de ne pas tomber en panne (et une probabilit de 1p pour tomber en panne, cette probabilit sera not q) au cours dune journe et il nya pas de
possibilit de rparation si jamais une panne survient. On sintresse au nombre dlments en panne
au dbut de chaque journe.
1/ modliser le systme par une chaine de Markov dont on prcisera la matrice de transition.
2/ donner la nature des tats et dduire le comportement asymptotique.
Solution :
Le dispositif contient deux lments et on sintresse au nombre dlments en panne au dbut de
chaque journe.
Au dbut de chaque journe je peux avoir :
les deux lments du dispositif qui fonctionnent (0 lments tombs en panne).

Un des deux lments du dispositif qui tombe en panne (1 lment tomb en panne)
Les deux lments du dispositif qui tombent les deux en panne (2 lments en panne)
Conclusion : lensemble des tats contient trois tats = {0, 1, 2}.
P00 = P [Xn+1 = 0 / Xn = 0]
= cest la probabilit quaucun lment du dispositif ne tombe en

panne linstant n+1 sachant quinitialement aucun lment ntait en panne = p * p = p2.
P01 = P [Xn+1 = 1 / Xn = 0] = cest la probabilit quun lment du dispositif tombe en panne
linstant n+1 sachant quinitialement aucun lment ntait en panne = p*q + q*p (car soit cest le
premier lment du dispositif qui tombe en panne soit cest le second lment du dispositif qui tombe
en panne) = 2*(p*q).
P02 = P [Xn+1 = 2 / Xn = 0] = cest la probabilit que les deux lments du dispositif tombent en
panne linstant n+1 sachant quinitialement aucun lment ntait en panne = q *q (car cest le
premier lment du dispositif qui tombe en panne et le second lment du dispositif qui tombe en
panne) = q2.
P10= P [Xn+1 = 0 / Xn = 1]

panne linstant n+1 sachant quinitialement il ya un seul lment du dispositif qui t en panne = 0
(car un lment qui tombe en panne ne peut pas tre rpar).
P11 = P [Xn+1 = 1 / Xn = 1] = cest la probabilit quun seul lment du dispositif tombe en panne
linstant n+1 sachant quinitialement il nya quun seul lment qui tait en panne (cest forcement le
mme lment qui est en panne) = cest la probabilit quun lment en marche reste en marche = p.
P12 = P [Xn+1 = 2 / Xn = 1]
= cest la probabilit que deux lments du dispositif tombent en

panne linstant n+1 sachant quinitialement il nya quun seule lment qui tait en panne = q (cest
la probabilit de passer de ltat de marche ltat de panne).
P20= P [Xn+1 = 0 / Xn = 2]

panne linstant n+1 sachant quinitialement deux lments taient en panne = 0 (car un lment qui
tombe en panne nest pas rparable).
P21= P [Xn+1 = 1 / Xn = 2] = cest la probabilit quun seul lment du dispositif tombe en panne
linstant n+1 sachant quinitialement deux lments taient en panne = 0 (car un lment qui tombe
en panne nest pas rparable).
P22= P [Xn+1 = 0 / Xn = 2] = cest la probabilit que les deux lments du dispositif tombent en
panne linstant n+1 sachant quinitialement les deux lments taient en panne = 1 cest la
probabilit certaine car si les deux lments tombent en panne ils le resteront pour toujours (pas de
possibilit de rparation)
La matrice des probabilits de transition est donc la suivante :
0
1
2
P=
0
P2
0
0
1
2*p*q
p
0
2
q2
q
1
Il faut sassurer que la matrice P est stocastique :

Premire ligne : p2 + 2pq + q2 = (p+q)2 = (1)2 = 1.
Deuxime ligne : 0 + p + q = 1.
Troisime ligne : 0 + 0 + 1 = 1.
P2
P
2*p*q
0
q2
q
2
1
De cette manire nous somme sur davoir mis les

bonnes probabilits dans les bons endroits de la
matrice (en vrifiant la proprit : dans une chaine de
Markov la matrice P est stocastique).
Ltat 0 ne communique avec aucun tat car il ne contient aucun arc entrant
donc cest un tat transitoire qui forme lui seul une classe transitoire.
Ltat 2 ne communique avec aucun tat car il ne contient aucun arc sortant
vers dautres tats. Il forme lui seule une classe rcurrente.
Ltat 1 forme une classe transitoire qui permet de passer la classe
absorbante {2}.
Lensemble E est fini donc il existe au moins une distribution stationnaire.
Cette distribution stationnaire est unique car il nya quune seule et unique
classe rcurrente.
La chaine Xn est rcurrente positif car E est fini.
La chaine nest pas irrductible car il existe des tats qui ne communiquent
pas.
d(0) =1 car ltat 0 contient une boucle.
La chaine Xn est apriodique car quelque soit i E ={0, 1, 2} d(i) = 1.
On ne peut rien dire sur lergodicit de la chaine.
Exo 4 :
On donne la matrice de transition P dune chaine de Markov espace dtats E = {1, 2, 3, 4, 5, 6} par :
1
1/2
1/3
0
1/4
0
0
1
2
3
4
5
6
2
1/2
2/3
0
1/4
0
1/5
3
0
0
1/8
0
3/4
0
4
0
0
0
0
0
1/5
5
0
0
7/8
1/4
1/4
1/5
6
0
0
0
1/4
0
2/5
1/ donner la nature de chacun des tats.

2/ on donne la loi initiale (0) = (1/2, 1/2, 0, 0, 0, 0), calculer Lim (n). Mme question pour
n
(0) = (0, 0, 1, 0, 0, 0).
3/ calculer les probabilits dabsorption (sil ya lieu) dans les classes rcurrentes.
4/ calculer
Lim P(n)
pour tous couple (i,j) dans E*E.
ij
5/ donner la ou les probabilits stationnaires. Justifier vos rponses.

6/ donner une modification pour P pour avoir une chaine ergodique.
Solution :
1/ donner la nature de chacun des tats.
1/2
2/3
1/2
1/3
1/4
1/4
1/4
1/5
1/8
7/8
3
1/4
5
3/4
(m)
(n)
46 car n=1, m=1 tq P46 > 0 et P64> 0.
(m)
(n)
35 car n=1, m=1 tq P35 > 0 et P53> 0.
1/5
1/4
2/5
1/5
Remarque : pour sassurer que le graphe est correct

il faut que la somme des probabilits des arcs
sortants de chaque tat soit gale 1.
(m)
(n)
12 car n=1, m=1 tq P12 > 0 et P21 > 0.
Ltat 1 ne communique pas avec les tats 4,6,3,5 (se

qui veut dire que ltat 2 ne communique pas non plus
avec les tats 4,6,3,5).
Nous avons E = (C1) union (C2) union (T).

Tel que :
C1 = {1,2} est une classe rcurrente car une fois accd a cette classe on ne peut plus sortir de celle-ci.
C2 = {3,5} est une classe rcurrente car une fois accd a cette classe on ne peut plus sortir de celle-ci.
T = {4,6} est une classe transitoire car une fois sortie de cette classe on ne peut plus revenir cette
mme classe.
Lensemble des tats E est fini ce qui veut dire quil existe au moins une distribution stationnaire
cependant cette distribution stationnaire nest pas unique puisquil existe 2 classes rcurrentes C1 et
C2.
2/ le calcule de la Lim (n) si la distribution initiale (0) = (1/2, 1/2, 0, 0, 0, 0) (elle reprsente la
n
distribution stationnaire de la chaine linstant t = 0).
Initialement la chaine est dans la classe C1 ={1, 2} (qui est une classe rcurrente et absorbante) or on
sait bien que si la chaine ce trouve un instant dans une classe absorbante, elle ne peut plus sortir de
celle- ci (elle y reste). Donc si comme si que la chaine de Markov cest restreinte la classe C1. Dans
ce cas la nous avons une seule classe qui rcurrente ce qui nous permet de conclure que la distribution
stationnaire cette instant existe et est unique (elle est confondue avec la distribution limite). La
distribution stationnaire est calculer cet instant par :
(1, 2) 1
1
2
1/2 1/2
1/3 2/3
= (1, 2)
1 + 2 = 1
Aprs avoir rsolut le systme dquations on

obtient 1 = 2/5, 2 = 3/5.
Ce qui veut dire que la distribution limite =
Lim (n) = (2/5, 3/5, 0, 0, 0, 0).
n
Le calcule de la Lim (n) si la distribution initiale (0) = (0, 0, 1, 0, 0, 0) (elle reprsente la distribution
n
stationnaire de la chaine linstant t = 0).
Initialement la chaine se trouve dans ltat 3 qui sont tour appartient une classe rcurrente C2 ={3,
5} donc obligatoirement la chaine se trouve dans la classe absorbante C2 or on sait bien que si la
chaine ce trouve un instant dans une classe absorbante, elle ne peut plus sortir de celle- ci (elle y
reste). Donc si comme si que la chaine de Markov cest restreinte la classe C2. Dans ce cas la nous
avons aussi une seule classe qui rcurrente ce qui nous permet de conclure que la distribution
stationnaire cette instant existe et est unique (elle est confondue avec la distribution limite). La
distribution stationnaire est calculer cet instant par :
(3, 5)
3
5
3 + 5 = 1
3
1/8
3/4
5
7/8 = (3, 5)
1/4
Aprs avoir rsolut le systme dquations on

obtient 3 = 6/13, 5 = 7/13.
Ce qui veut dire que la distribution limite =
Lim (n) = (0, 0, 6/13, 0, 7/13, 0).
n
3/ calculer les probabilits dabsorption (sil ya lieu) dans les classes rcurrentes.
Nous avons deux classes rcurrentes donc il faut calculer les probabilits suivantes :
La probabilit que le systme soit absorb par la classe C1 partant dun tat transitoire
appartenant T.
La probabilit que le systme soit absorb par la classe C2 partant dun tat transitoire
appartenant T.
Rappelle :
La probabilit que le systme soit absorber par la classe C partant dun tat transitoire appartenant
une classe transitoire =
Aic = Pij + = Pik AkC .

jC
kT
La probabilit que le systme soit absorb par la classe C1={1,2} partant dun tat transitoire
appartenant T={4, 6} :
A4,C1 = P4,j + = P4,k Ak,C1 .

j C1
kT
A4,C1 = (P4,1+ P4,2 ) + (P4,4 A4,C1+ P4,6 A6,C1).

A4,C1 = (1/4 +1/4) + (1/4 A6,C1) = 1/8 +(1/4 A6,C1)...(1)
A6,C1 = P6,j + = P6,k Ak,C1 .
j C1
kT
A6,C1 = (P6,1+ P6,2 ) + (P6,4 A4,C1+ P6,6 A6,C1).
De (1) et (2) on trouve :
A4,C1 :
la probabilit dtre
absorber par la classe C1 partant

de ltat transitoire 4 = 7/11.
A6,C1 :
la probabilit dtre

A6,C1 = (1/5) + (1/5 A4,C1+ 2/5 A6,C1)...(2)

La probabilit que le systme soit absorb par la classe C2={3,5} partant dun tat transitoire
A4,C2 = P4,j + = P4,k Ak,C2 .

j C2
kT
A4,C2 = (P4,3+ P4,5 ) + (P4,4 A4,C2+ P4,6 A6,C2).

A4,C2 = (1/4) + (1/4 A6,C2)...(1)
A6,C2 = P6,j + = P6,k Ak,C2 .
j C2
kT
A6,C1 = (P6,3+ P6,5 ) + (P6,4 A4,C2+ P6,6 A6,C2).

A6,C2 = (1/5) + (1/5 A4,C2+ 2/5 A6,C2)...(2)
A4,C2 :
la probabilit dtre

A6,C2 :
la probabilit dtre

4/ calculer
Lim P(n)
pour tous couple (i,j) dans E*E.
ij
(n)
Lim Pi4 = 0 car ltat 4 est un tat transitoire.

n
Lim P(n)
= 0 car ltat 6 est un tat transitoire.
i6
Lim P(n) = Lim P(n) = 2/5 = 1

n
11
n 21
Lim P(n) = Lim P(n) = 3/5 = 2

n
12
Lim P
n
(n)
33
n 22
= Lim P(n) = 6/13 = 3

n 53
Lim P(n) = Lim P(n) = 7/13 = 5

n
35
n 55
(n)
Lim P42
= A4,C1 2 = 7/11 * 3/5
(n)
Lim P62
= A6,C1 2= 6/11 * 3/5
(n)
Lim P41
= A4,C1 1 = 7/11 * 2/5
(n)
Lim P61
= A6,C1 1= 6/11 * 2/5
(n)
Lim P43
= A4,C2 3 = 4/11 * 6/13
(n)
Lim P63
= A6,C2 3= 5/11 * 6/13
(n)
Lim P45
= A4,C2 5 = 4/11 * 7/13
(n)
Lim P65
= A6,C2 5= 5/11 * 7/13
Car les tats 1 et 2 appartiennent une mme classe

rcurrente C1. (2/5, 3/5) est lunique distribution
stationnaire qui existe sur C1.
Car les tats 3 et 5 appartiennent une mme classe
rcurrente C2. (6/13, 7/13) est lunique distribution
stationnaire qui existe sur C2.
Car ltat 2 est un tat appartenant une classe absorbante
C1 et les tats 4 et 6 sont des tats transitoires appartenant
la classe transitoire T.
Car ltat 3est un tat appartenant une classe absorbante
(n)
Lim P15
= Lim P(n) = 0 car ltat 5 C2 et les tats 1, 2 C1 et C1C2
(n)
n 25
Lim P13 = Lim P(n) = 0 car ltat 3 C2 et les tats 1, 2 C1 et C1C2

n
(n)
n 23

n
(n)
n 31

n
n 32
5/ donner la ou les probabilits stationnaires. Justifier vos rponses.

Si on se situe au niveau de toute la chaine il existe une infinit de distribution stationnaire car nous
avons C1et C2 comme classes rcurrentes.
6/ donner une modification pour P pour avoir une chaine ergodique.
Il suffit de modifier P pour avoir une chaine de Markov irrductible, apriodique, et rcurrente positive
du coup une chaine ergodique.
Exo 5 :
Soit la chaine de Markov trois tats 1, 2, 3 et de matrice des probabilits de transition en une tape P
telle que :
1
0.25
0.5
1
2
3
P=
0.25
0.25
3
0.25
0.5
0.25
1/ pour quelle valeur de et , cette matrice P peut-elle servir de matrice des probabilits de transition
dune chaine de Markov ?
2/ dterminer la nature de la chaine (classification, existence dune distribution stationnaire) dans les
cas : (a)- = 0, (b)- = 0 (calculer dans chaque cas la distribution stationnaire si elle existe).
Solution :
1/ Pour que la matrice P puisse servir de matrice des probabilits de transition dune chaine de
Markov il faut que la somme des probabilits dune ligne soit gale 1 (car, on le sait bien, une
matrice des probabilits de transition dune chaine de Markov est stocastique ce qui veut dire que la
somme des probabilits dune ligne est gale 1). Autrement dit Pi,j =
j {1,2,3}
et Pi,j > =0, on dduit alors :
quelque soit i {1,2,3}
Pour que la matrice P soit une Matrice des probabilits de transition dune chaine Markovienne il faut
que + = 0.75 et que , >=0.
2/ cas (a) : = 0 (ce qui veut dire que = 0.75) :
1
0
0.25
0.5
1
2
3
P=
0.25
0.75
0.25
0.25
0.5 0.25
0. 5
-
0.25
2
0.75
0.25
0.25
3
0.25
0.5
0.25
Tout les tats communique entre eux donc la

chaine est irrductible.
Quelque soit i {1,2,3} alors d(i) =1 car
d(1)=d(2)=d(3) par le thorme de solidarit et
d(2) =1 (car ltat 2 contient une boucle). La
chaine est apriodique.
La chaine est rcurrente positive car lensemble
des tats E est fini.
La chaine est irrductible, apriodique, et
rcurrente positive donc elle est ergodique.
Lensemble E est fini donc il existe au moins une
distribution stationnaire. Cette distribution
stationnaire est unique puisquil existe une unique
classe dite dquivalence.
La distribution stationnaire est calcule par le systme dquations : = P et 1 + 2 + 3 =1.

On obtient alors :
0 1 + 0.25 2 + 0. 5 3 = 1.
Il suffit de rsoudre ce systme dquations (4

quations et 3 inconnus : un systme simple
rsoudre) pour avoir la valeur de lunique
distribution stationnaire = (1, 2, 3).
0.75 1 + 0.25 2 + 0.25 3 = 2.

0.25 1 + 0. 5 2 + 0.25 3 = 3.
1 + 2 + 3 =1.
2/ cas (b) : = 0 (ce qui veut dire que = 0.75) :
P=
0.75
1
0.25
1
0.75
0.25
0.5
1
2
3
0.25
0.25
0.5 0.25
0. 5
-
0.25
2
0
0.25
0.25
3
0.25
0.5
0.25
Tout les tats communique entre eux donc la

chaine est irrductible.
Quelque soit i {1,2,3} alors d(i) =1 car
d(1)=d(2)=d(3) par le thorme de solidarit et
d(2) =1 (car ltat 2 contient une boucle). La
chaine est apriodique.
La chaine est rcurrente positive car lensemble
des tats E est fini.
La chaine est irrductible, apriodique, et
rcurrente positive donc elle est ergodique.
Lensemble E est fini donc il existe au moins une
distribution stationnaire. Cette distribution
stationnaire est unique puisquil existe une unique
classe dite dquivalence.
La distribution stationnaire est calcule par le systme dquations : = P et 1 + 2 + 3 =1.

On obtient alors :
0.75 1 + 0.25 2 + 0. 5 3 = 1.
0 1 + 0.25 2 + 0.25 3 = 2.
0.25 1 + 0. 5 2 + 0.25 3 = 3.
1 + 2 + 3 =1.

rsoudre) pour avoir la valeur de lunique
distribution stationnaire = (1, 2, 3).
Exo 6 :
Soit la chaine de Markov telle que E = {0, 1, 2, 3} et la matrice des probabilits de transition
0
1
2
3
P=
0
1/3
1/2
0
0
1
2/3
0
0
0
2
0
1/2
1/4
1
3
0
0
3/4
0
On note Ai,B la probabilit que la chaine soit absorbe par la classe C partant de ltat i.
Calculer les probabilits suivantes : A1,B1,
A1,B2, A2,B2 telle que B1 ={0, 1} , B2 = {2, 3}.
Solution :
1/3
1/4
2/3
0
1/2
3/4
2
3
1
1/2
(n)
(m)
01 car n=1, m=1 tq P01 > 0 et P10 > 0.

(m)
(n)
23 car n=1, m=1 tq P23 > 0 et P32> 0.
(m)
(n)
12car n=1, m tq P12 > 0 et P21> 0.
Ltat 1 ne communique pas avec 2, par transitivit

ltat 1 ne communique pas non plus avec ltat 3.
ltat 2 ne communique pas non plus avec ltat 0.
ltat 0 ne communique pas non plus avec ltat 3
Ltat 0 et ltat 1 forme une classe transitoire T = {0, 1} = B1: on dit quelle est transitoire car elle
nous permet de passer vers une classe rcurrente de plus une fois sortie de la classe T on ne peut plus
revenir celle-ci.
Ltat 2 et ltat 3 forme une classe rcurrente (absorbante) C = {2, 3}= B2 car une fois accd cette
classe on ne peut plus sortir de celle-ci.
A1,B1 = la probabilit dtre absorber par la classe T partant de ltat 1 = 0 car une classe transitoire
ne peut jamais absorber le systme (cest une classe transitoire ce qui veut dire que je peut la quitter et
que je ne pourrais jamais tre prisonnier de cette classe).
A2,B2
= la probabilit dtre absorber par la classe C partant de ltat 2 = 1 cest la probabilit

certaine car si on se trouve dans ltat 2 qui appartient la classe C on est forcement absorber par la
classe C la preuve mettez vous dans le graphe ltat 2 et essayez de passer a ltat 0 ou ltat 1.
Rappelle : La probabilit que le systme soit absorber par la classe C partant dun tat transitoire
appartenant une classe transitoire =
Aic = Pij + = Pik AkC .

jC
kT
La probabilit que le systme soit absorb par la classe C={2,3} partant dun tat transitoire
A0,C= P0,j + = P0,k Ak,C .

jC
kT
A0,C = (P0,2+ P0,3 ) + (P0,0 A0,C+ P0,1 A1,C).

A0,C = (1/3 A0,C + 2/3 A1,C)...(1)
A1,C = P1,j + = P1,k Ak,C.
jC
kT
A1,C = (P1,2+ P1,3 ) + (P1,0 A0,C+ P1,1 A1,C).
A0,C :
la
probabilit
absorber par la classe C partant de

ltat transitoire 0 = 1.
A1,C :
la
probabilit
dtre
absorber par la classe C partant de

ltat transitoire 1 = 1.
A1,C= (1/2) + (1/2 A0,C)...(2)

On conclu que A1,B2
dtre
= A1,C = 1.
La probabilit dtre absorb par la classe C compos des deux tats 2 et 3 partant de ltat 0 ou ltat
1 est certaine. Ce fait est justifi par la prsence dune seule et unique classe rcurrente (absorbante) ce
qui rend cette probabilit dabsorption = 1 (si il yavait plusieurs classes rcurrentes alors cette
probabilit sera < 1).
Exo 7 :
Deux joueurs A et B jouent pile ou face . Au dbut du jeu le joueur A procde a dinars et le
joueur B possde b dinars. On suppose que lapparition de pile donne un gain de 1 dinars au joueur
contrairement lapparition de face qui fait perdre au joueur 1 dinars (- 1 dinars).
Soit Xn lavoir du joueur A au nime lanc de la pice (ce que possde le joueur A comme montant
linstant n).
Sachant que X0 = a (le jour A possde initialement a dinars), P (pile) = p, P (face) = 1-p = q :
1/ montrer que la chaine (Xn)nN est une chaine de Markov.
2/ donner lespace des tats ainsi que la matrice des probabilits de transition.
Solution :
1/ Pour montrer quune chaine est Markovienne il faut prouver que Xn+1 ne scrit que en fonction de
Xn (ce qui veut dire que le future ne dpend que dun prsent proche ou encore le prsent ne dpend
que dun pass proche).
Soit Xn+1 ltat de la chaine linstant n+1, Xn ltat de la chaine linstant n :
Xn + n+1 si 0 <= Xn <= a+b

Xn+1 =
Xn si Xn= a+b ou Xn= 0
Avec
n+1 = (+1) dinars si il ya un gain ou
(-1) dinars sil ya perte.
Car si le joueur a de largent son tat linstant n+1 sera gale son tat linstant n avec un gain ou
une perte de 1 dinars. Si le joueur est fauch ou si le jour a gagn tous largent de son concurrent alors
le jeu sarrte et son tat linstant n+1 sera le mme qua linstant n.
Del on peut dire que ltat du joueur A linstant n+1 ne dpend que de son tat linstant n : on dira
alors que (Xn)nN est une chaine de Markov.
2/ lensemble des tats du joueur A est son solde au cour du jeu (au pire des cas il est fauch et au
mieux il gagne tous largent de son concurrent) : E = {0, ., a+b}.
P00 = quelle est la probabilit que le joueur A soit faucher linstant n+1 sachant quil est
fauch linstant n = 1 (cest la probabilit certaine car une fois le joueur fauch il ne peut
plus jouer).
Pa+b,a+b = quelle est la probabilit que le joueur A soit vainqueur linstant n+1 sachant quil
est dj vainqueur linstant n = 1 (cest la probabilit certaine car une fois vainqueur on ne
peut plus jouer).
Pour les autre cas nous avons les probabilits de transition suivantes :
Pi,j = p (la probabilit de russite) si j = i + 1 (si le joueur A augmente sa fortune de 1 dinars)
Pi,j = 1- p = q (la probabilit dchec) si j = i - 1 (si le joueur A diminue sa fortune de 1 dinars)
Il est facile aprs avoir trouv les probabilits de transition de construire la matrice P.
Exo 8 :
Soit (Xn)nN une chaine de Markov despace dtats E = {1,2,3} et de matrice de transition P donne
par :
P=
1
2
3
3
0
, [0,1]
et + = 1
On prend comme distribution initiale (0) = (1, 0,0) :

1/ calculer la probabilit que la chaine quitte ltat 1 pour la premire fois aprs n transitions.
2/ donner la nature des tats suivant les valeurs de et donner les classes de communications.
3/ tudier suivant les valeurs de lergodicit de la chaine et donner la distribution stationnaire
lorsquelle existe.
4/ on pose =3/5, dterminer la distribution stationnaire si elle existe.
5/ en dduire la Lim P(n) quand n.
Solution :
1/ calculer la probabilit que la chaine quitte ltat 1 pour la premire fois aprs n transitions revient
calculer le temps de sjour dans ltat 1 :
P (S1 = n / X0 =1) = sachant que linstant zro on est ltat 1, quel est la probabilit de quitter cette
tat linstant n = (1-P11) (P11)n-1 = (1-) ()n-1 = ()n-1.
Cette formule P (S1 = n / X0 =1) est tir de la probabilit P[ Xn 1, Xn-1 =1, Xn-2 =1, X1 =1/ X0 =1] et
qui veut dire : quelle est la probabilit de partir de ltat 1 linstant n sachant quinitialement on t
ltat 1 et on est rest dans cette tat jusqu' linstant n-1 cette probabilit est gale :
P[ Xn 1/ Xn-1 =1]*P[ Xn-1 =1/ Xn-2 =1]**P[ X3 =1/ X2 =1]*P[ X2 =1/ X1 =1]*P[ X1 =1/ X0=1] =
P[ Xn 1/ Xn-1 =1] * (P11)(n-1) = (la probabilit que je ne soit pas ltat 1) * (P11)(n-1)
= (1-P11) (P11)n-1.
(2+3+4) / Premier cas si =0 (donc est gale 1) :
P=
1
2
3
1
0
0
0
2
1
0
1
1
1
3
0
1
0
(m)
(n)
23 car il existe n= 1 et il existe m=1 telle que P23 >=0 et P32 >=0.
2 ne communique pas avec 1 car il existe un arc orient de ltat 1 vers ltat 2 et il nexiste
aucun chemin direct ou indirect qui peut relier ltat 2 a ltat 1 dans cet ordre.
Ltat 1 forme lui seule une classe transitoire T = {1} : cest une classe transitoire car une
fois quon quitte cette classe vers une autre classe on ne peut plus revenir celle-ci.
Les tats 2 et 3 forment classe rcurrente (absorbante) C = {2,3} : cest une classe rcurrente
car une fois arriver cette classe on ne peut plus sortir de celle-ci.
La chaine Xn net pas irrductible car il existe des tats qui ne communiquent pas.
La chaine est rcurrente positive car lensemble des tats E est fini.
d(2) = d(3) (par thorme de solidarit) = PGCD {2, 4, 6,8,..} = 2.
d(1) = 0 (car il contient quun arc sortant, aucun arc entrant et aucune boucle).
Il existe au moins un i E telle que d(i) 1 la chaine est priodique.
Si la chaine est priodique, nest pas irrductible, est rcurrente positive : on ne peut rien dire
sur lergodicit de la chaine.
La chaine admet au moins une distribution stationnaire car lensemble des tats E est fini, de
plus cette distribution stationnaire est unique car il existe une seule et unique classe rcurrente.
La distribution stationnaire est calcule partir du systme dquations : = P et 1 + 2 +
3 =1.
On obtient alors :
0 1 + 0 2 + 0 3 = 1.
1 1 + 0 2 + 1 3 = 2.
rsoudre) pour avoir la valeur de lunique distribution
0 1 + 1 2 + 0 3 = 3.
stationnaire = (1, 2, 3) = (0,1/2, 1/2).
1 + 2 + 3 =1.
Deuxime cas si =1 (donc est gale 0) :
P=
1
1
2
3
1
1
0
1
2
0
1
0
3
0
0
0
1
3 ne communique pas avec 1 car il existe un arc orient de ltat 3 vers ltat 1et il nexiste
aucun chemin direct ou indirect qui peut relier ltat 1 a ltat 3 dans cet ordre.
Ltat 2 ne communique avec aucun tat car il nya aucun arc orient de ltat 2 un autre tat
et vis-ver-a.
Ltat 3 forme lui seule une classe transitoire T = {3} : cest une classe transitoire car une
fois quon quitte cette classe vers une autre classe on ne peut plus revenir celle-ci.
Les tats 2 et 1 forment deux classes rcurrentes (absorbantes) C1 = {1} et C2={2} : cest des
classes rcurrentes car une fois arriver ces classes on ne peut plus les quitter.
La chaine Xn net pas irrductible car il existe des tats qui ne communiquent pas.
d(2) = 1 et d(1) = 1 car les tats 1 et 2 contiennent une boucle

d(3) = 0 (car il contient quun arc sortant, aucun arc entrant et aucune boucle).
Il existe au moins un i E telle que d(i) 1 la chaine est priodique.
Si la chaine est priodique, nest pas irrductible, est rcurrente positive : on ne peut rien dire
sur lergodicit de la chaine.
La chaine admet au moins une distribution stationnaire car lensemble des tats E est fini,
mais cette distribution stationnaire nest pas unique car il existe deux classes rcurrentes.
La distribution stationnaire est calcule partir de la formule : (n+1) = (n) P.
Troisime cas si 0 et 0 et + = 1(on prend titre dexemple = 3/5 et = 2/5) :
P=
3/5
1
2
3
1
3/5
0
3/5
2
2/5
3/5
2/5
3
0
2/5
0
3/5
2/5
3/5
2
2/5
2/5
3
(n)
(m)
(n)
(m)
Par transitivit ltat 1 communique avec ltat 3
Tout les tats communiquent et forme une seule classe dite dquivalence
La chaine Xn est irrductible car il nexiste pas dtats qui ne communiquent pas.
d(2) = d(3) = d(1) (par thorme de solidarit) = 1.
d(1) = 1 (car il contient une boucle).
Il nexiste aucun tat i E telle que d(i) 1 donc la chaine est apriodique.
Si la chaine est apriodique, irrductible, et est rcurrente positive : alors la chaine est
ergodique.
La chaine admet au moins une distribution stationnaire car lensemble des tats E est fini, de
plus cette distribution stationnaire est unique car il existe une seule et unique classe rcurrente
(qui est la classe dquivalence).
La distribution stationnaire est calcule partir du systme dquations : = P et 1 + 2 +
3 =1.
On obtient alors :
3/5 1 + 0 2 + 3/5 3 = 1.
2/5 1 + 3/5 2 + 2/5 3 = 2.
rsoudre) pour avoir la valeur de lunique distribution
0 1 + 2/5 2 + 0 3 = 3.
stationnaire = (1, 2, 3).
1 + 2 + 3 =1.
Dans ce cas et puisque la chaine est ergodique la distribution stationnaire est unique et concide avec la
distribution limite : Lim (n) quand n = .
5/ en dduire la Lim P(n) quand n.
Lim P
(n)
1 2 3
1 2 3
1 2 3
Cest une matrice ou chaque ligne

reprsente les composants de
Attention :
Lim P
n
(n)
Lim Pi,j(n)
n
Cest la matrice des probabilits

de transition en n tapes.
Cest la probabilit de passage de ltat

i ltat j de transition en n tapes.
Exo 9 :
Soit (Xn)nN une chaine de Markov despace dtat {1,2,3,4} et de matrice de transition P telle que :
P=
1
0
0
4/5
1/5
1
2
3
4
2
0
1/4
0
3/10
3
1
3/4
1/5
0
4
0
0
0
1/2
1/ calculer la probabilit P[X5=3, X6=1, X7=3, X8=3 / X4=2].

2/ quelle est la probabilit que partant de ltat 4, la chaine le quitte pour la premire fois aprs 5
transitions?
3/ soit la loi initiale (1/4, 1/4, 1/4,1/4) quelle est la probabilit quaprs 2 transitions la chaine soit
ltat 4 ?
4 / tudier le comportement asymptotique de cette chaine.
Solution :
1/ calculer la probabilit P[X3=3, X6=1, X7=3, X8=3 / X4=2]. Notons cette probabilit :
= P [X8=3 / X7=3]* P [X7=3 / X6=1]* P [X6=1 / X5=3]* P [X5=3 / X4=2]
(8-7)
= P33 *
(7-6)
(5-4)
(6-5)
P13 * P31 * P23
= P33 * P13 * P31 * P23
= (1/5)*(1)*(4/5)*(3/4) = 12/100 =0.12.

2/ quelle est la probabilit que partant de ltat 4, la chaine le quitte pour la premire fois aprs 5
transitions ?
On peut formuler cette probabilit par :
P[X54, X4=4, X3=4, X2=4, X1=4 / X0=4]. Notons cette probabilit par
= P [X54 / X4=4]* P [X4=4 / X3=4]* P [X3=4 / X2=4]* P [X2=4 / X1=4] *P [X1=4 / X0=4]
= P [X54 / X4=4] *
(P44)4 = (P [X5=1 / X4=4]+ P [X5=2 / X4=4]+ P [X5=3 / X4=4]) *(P44)4

Car si je ne suis pas ltat 4 linstant 5 je suis
forcement ltat 1 ou ltat 2 ou ltat 3
= (P41+ P42 + P43) * (P44) = (1- P44)

sjour dans ltat 4 = (S5 = 4 / X0 = 4) = (1/2)5.
* (P44)4
finalement nous avons calcul le temps de
3/ quelle est la probabilit quaprs 2 transitions la chaine soit ltat 4 ?

Lensemble des tats E={1,2,3,4} est fini ce qui veut dire quil existe au moins une distribution
stationnaire dfinit par la loi (n+1) = (n) P. Si cette distribution est unique alors quelque soit n nous
avons = (n) ce moment la formule devient = P cest pour cette raison la que dans le cas ou la
distribution stationnaire existe et est unique on la dfinit par : = P et la somme des i = 1 tq i E.
Dans notre cas on est sur quil existe au moins une distribution stationnaire (on ne sait pas si elle est
unique ou pas car on na pas fait ltude asymptotique de la chaine) donc on utilise la formule :
(n+1) = (n) P qui est quivalente la formule (n) = (0) P(n) avec P(n) qui dsigne le fait de
multiplier la matrice P par elle-mme n fois.
Nous on veut avoir la probabilit P{X2 = 4} =
(2) = (1/4, 1/4, 1/4,1/4) P(2)

Donc P{X2 = 4} =
(2)
(0) (2)
(2)
donc il suffit de trouver = P
4
= 1/4 * (166/100,23/80,1442/800,1/4)
(2)
= 1/4 *1/4 = 1/16.
4
4/ tudier le comportement asymptotique de cette chaine :

-
1/5
1
4/5
1/5
3/4
3/10
4
1/2
1/4
Ltat 1 communique avec ltat 3 car il existe un arc

direct orient de ltat 1 vers ltat 3 et un arc direct
orient de ltat 3 vers ltat 1 (donc les tats 1 et 3 forme
une classe rcurrente C= {1,3}). Cest une classe
rcurrente car une fois accd cette classe on ne peut
plus sortir de celle-ci.
Ltat 4 ne communique avec aucun tat car il nexiste
aucun arc entrant dans ltat 4 sauf la boucle que contient
cet tat. Donc il nya pas de chemin direct ou indirect
menant ltat 4 partant de un des tats 1, 2,3. On dit que
ltat 4 forme lui seul une classe transitoire car une foi
sortie de la classe transitoire T1= {4}, on ne peut plus
revenir celle-ci.
Ltat 2 ne communique pas avec ltat 4 et ne communique pas non plus avec ltat 3 (car il
existe un chemin reliant ltat 2 ltat 3 et il nexiste aucun chemin reliant ltat 3 ltat 2).
Si ltat 2 ne communique pas avec ltat 3 alors ltat 2 ne communique pas avec ltat 1.
Ltat 2 forme lui seule une classe dite transitoire et not T2 = {2}.
E = {1, 3} union {2} union {4} = C union T1 union T2.
Lensemble des tats est fini donc la chaine est rcurrente positive.
La chaine nest pas irrductible car il existe des tats qui ne communiquent pas.
d(1) = d(3) (par thorme de solidarit) = 1.
d(4) = 1 car ltat 4 contient une boucle.
d(2) = 1 car ltat 2contient une boucle.
La chaine est apriodique mais on ne peut rien dire sur lergodicit de la chaine.
Il existe au moins une distribution stationnaire. Cette distribution stationnaire est unique car il
existe une unique classe rcurrente C.
La distribution stationnaire = (1 2 3 4). Une petite astuce peut nous faire gagner du
temps dans nos calcule : nous avons les tats 2 et 4 qui appartiennent des classes transitoires
(chaque tats appartenant une classe transitoire aura un i = 0) donc 2 = 0 et 4 =0. Pour
le calcule de 1 et 3 on possde comme suite :
1
0
0
4/5
1/5
1
(1 , 3) * 2
3
4
2
0
1/4
0
3/10
3
1
3/4
1/5
0
4
0
0
0
1/2
= (1 , 3)
1+ 2+ 3+ 4 = 1 avec 2 = 0 et 4 = 0
(1 , 3) *
1
3
1
0
4/5
3
1
1/5
= (1 , 3)
1 + 3 = 1
0 1 + 4/5 3 = 1
(1 , 3) = (4/9 , 5/9)
1 1 + 1/5 3 = 3
= (1 2 3 4) = (4/9 , 0 , 5/9 , 0 ).
1 + 3 = 1
Exo 10 :
U magasin assure la vente dun certain type darticles (des micro-ordinateurs titre dexemple). Le
modle de micro peut tre command chaque semaine. On note Di la demande durant la ime semaine.
Soit ak = P (Di = k), k = 0,1, les variables Di sont supposes indpendantes, identiquement
distribues de loi {ak} connue. Le jeudi soir, on passe une commande qui est livre le samedi matin.
On utilise la politique de gestion de stock (S-s) : si le nombre de micros disponibles la fin de la
semaine est inferieur s, on passe une commande pour ramener le stock au niveau S. sinon, on ne
passe pas de commande. Soit Xn = nombre de micros en stock la fin de la semaine n. Pour fixer les
ides on posera s = 1, S = 3 et on supposera que la demande suit une loi de poisson de paramtre = 1.
1/ vrifier que la suite X(n) forme une chaine de Markov.
2/calculer P(2), P(4), P(8). Sachant quil y a un micro en stock a la fin de la semaine, quelle est la
probabilit pour quil ny ait plus de micros en stocks 4 semaines plus tard ? 8semaine plus tard ? que
remarque-t-on ?
3/ quel est le temps moyen jusqu' ce que le stock de micro spuise si X(0) = 0 ?
4/ reprsenter le graphe des tats. En dduire la nature de la chaine.
5/ discuter lexistence dune distribution stationnaire et calculer la ventuellement.
6 / utiliser le rsultat de (5) pour rpondre la question 3.
Solution :
1/ Nous avons Di la demande durant la ime semaine et ak = P (Di = k).
s = 1 cest le niveau minimum du stock et S = 3 cest le niveau maximum du stock.

Xn reprsente le niveau du stock la nme semaine.
Xn+1 =
Xn Dn+1 si Xn >= s (ltat du stock a la semaine n+1 = ltat du stock la

semaine n la commande faite la semaine n+1 et cela si le stock nest pas au
dessus du niveau minimum s)
(Xn +) Dn+1 (telle que Xn + = S) si Xn < s (ltat du stock a la semaine n+1 =
[ltat du stock la semaine n + une certaine quantit pour ramener le stock du
niveau minimum au niveau maximum] la commande faite la semaine n+1 et
cela si le stock est au dessus du niveau minimum s)
Cette formule est incomplte car si la commande la semaine n+1 not Dn+1 dpasse la quantit en
stock pour les deux cas, nous aurons Xn+1 en ngative ce qui est contradictoire aux proprits dune
variable alatoire. Si le stock de la semaine n (malgr le fait quil est ramener la quantit maximale
S) ne suffit pas rpondre a la demande, on se contente de livrer ce quil ya dans le stock sans ce
soucier de la diffrence qui reste livrer (le client procurera la quantit restante chez un autre
fournisseur). Ainsi on aura la formule suivante :
MAX (0, Xn Dn+1) si Xn >= s (ltat du stock a la semaine n+1 = ltat du stock
la semaine n la commande faite la semaine n+1 et cela si le stock nest pas
au dessus du niveau minimum s)
Xn+1 =
MAX (0, (Xn +) Dn+1) = MAX (0, S Dn+1) (telle que Xn + = S) si Xn < s
(ltat du stock a la semaine n+1 = [ltat du stock la semaine n + une certaine
quantit pour ramener le stock du niveau minimum au niveau maximum] la
commande faite la semaine n+1 et cela si le stock est au dessus du niveau
minimum s)
Xn+1 scrit en fonction de Xn (Xn+1 ne dpend que de Xn : le future ne dpend que dun prsent proche
ou encor le prsent ne dpend que dun pass proche) donc Xn est une chaine de Markov espace
dtat fini E = {0, 1, 2, 3} (car ltat du stock la semaine n est soit nulle si la commande dpasse la
quantit en stock, soit son tat minimum = s =1, soit au niveau 2, soit son tat maximale =S = 3).
2/ P(2) = P*P telle que P est la matrice des probabilits de transition.
P(4) = P(2) * P(2) et P(8) = P(4) * P(4)
La probabilit pour quil ny ait plus de micros en stocks 4 semaines plus tard sachant quil y a un
(4)
(4-0)
micro en stock = P [X4 =0 / X0 =1] = P10 = P10 il faut prendre de la matrice des probabilits de
transition en 4 tapes llment qui correspond a la deuxime ligne, premire colonne.
La probabilit pour quil ny ait plus de micros en stocks 8 semaines plus tard sachant quil y a un
(8-0)
(8)
micro en stock = P [X8 =0 / X0 =1] = P10 = P10 il faut prendre de la matrice des probabilits de
transition en 8 tapes llment qui correspond a la deuxime ligne, premire colonne.
Pour faire une remarque sur les rsultats il faut faire des calcule.
3/ quel est le temps moyen pour que le stock scoule = quel est le temps moyen quil faut pour que le
stock scoule (Xn = 0) sachant que quinitialement il ny a aucun micro-ordinateur dans le stock (X0 =
0) : qui dit temps moyen dit ij or quel est la valeur de i et j sachant que i,j {0,1,2,3}.
X0 = 0
Xn = 0
On cherche le temps moyen de passer de ltat 0 ltat 0 = 00
00 = 1/ 0 (pour pouvoir appliquer cette mthode il faut avoir la distribution stationnaire :

cest demand dans la question 5 donc cette mthode rpond la question 6)
Il existe une deuxime mthode qui consiste calculer le temps moyen de sjour dans ltat 0 qui est
gale = 1 / 1 P00 = E (S0 / X0= 0) = E (Si / X0= i) telle que i =0.
Exo 11 :
Considrons la chaine de Markov 5 tats, et de matrice des probabilits de transition en une tape P
de la forme :
1
2
3
4
5
P=
1
0.5
0.25
0
0
0.1
2
0.5
0.75
0
0
0
3
0
0
0
1
0.1
4
0
0
1
0
0.1
5
0
0
0
0
0.7
1/quel est la nature de la chaine (classifier les tats et indiquer en particulier la priode de chaque
tat)?
2/ calculer la probabilit pour que la chaine, partant de ltat 2, se trouve ltat 2 au bout de 2 tape.
(n)
(n)
3/donner sans faire de calculs, les valeurs des limites Lim P2,4, Lim P3,5 et cela quand n.
Solution :
0.5
0.75
0.5
1
0.25
2
0.1
0.1
5
0.1
0.7
Rmq :
pour
sassurer que votre
graphe est correct il
faut que la somme
des probabilits de
lensemble des arcs
sortants dun tat i
soit gale 1.
(n)
1 2 car
(m)
n=1, m=1 tq : P12 > 0 et P21
> 0. (1 et 2 appartiennent la mme classe)
3 4 car
(m)
n=1, m=1 tq : P(n)
3 1car il nexiste pas de chemin direct ou indirect reliant ltat 1 ltat 3.

3 2 car nexiste pas de chemin direct ou indirect reliant ltat 1 ltat 3.
4 2 car ltat 3 communique avec ltat 4 mais ne communique pas avec ltat 2.
4 1 car ltat 1 communique avec ltat 2 et ltat 2 ne communique pas avec ltat 4.
Ltat 5 ne communique avec aucun tat car il nexiste pas darc entrant vers ltat 5 en provenance
des autres tats.
En conclusion nous avons 3classes distinctes les unes des autres :
-
La classe transitoire T est forme dun seul tat qui est ltat 5. On dit que T= {5} est
transitoire car une fois sortie de la classe T on ne peut plus revenir (elle nous permet de
transiter dautres classes).
La classe rcurrente C1 est forme des deux tats 1 et 2. On dit que

rcurrente car une fois rentrer dans la classe C1 on ne peut plus sortir
systme).
La classe rcurrente C2 est forme des deux tats 3 et 4. On dit que
rcurrente car une fois rentrer dans la classe C2 on ne peut plus sortir
systme).
C1= {1, 2} est

(elle absorbe le
C2= {3, 4} est
(elle absorbe le
distribution stationnaire, mais puisque nous avons plus dune classe rcurrente (2 classes
rcurrentes : C1, C2) alors cette distribution stationnaire nest pas unique :
(n)
(n-1)
On applique donc la formule =
P.
Notons que
(n)
(n)(est ltat du systme linstant n) = ((n)
, (n)
,..,
)
1
5
2
et que
(n)
i
est la probabilit que le systme soit ltat i a linstant n = P[ Xn = i].

(donc pas de classe dquivalence)..
- d (1) = d(2) [par thorme de solidarit] = 1(ltat 2 contient une boucle)
- Il existe un i appartenant E telle que d(i) 1, la chaine Xn est donc priodique.
ergodicit).
2/
(2)
P22 = P2k * Pk2 = P21 * P12 + P22 * P22 + P23 * P32 + P24 * P42 + P25 * P52
KE
= (0.75).(0.75) + (0.25*0.5).
(n)
3/ Lim P2,4 quand n =0 car les tats 2 et 4 appartiennent deus classes rcurrentes, et diffrentes.
(n)
Lim P3,5 quand n =0 car ltat 5 appartient une classe transitoire.
Si vous voulez remercier quelquun alors commencez par

remercier le bon dieu.
Voila mon rle sarrte la vous de jouer

Chaines de Markov Execrices Corrigée

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Chaines de Markov Execrices Corrigée

Diunggah oleh

Hak Cipta:

Format Tersedia

Les chaines de Markov

RAPPELLE DU COUS + EXERCICES CORRIGES.

= Pi,j= P(Xn+1= j / Xn= i)

P i,j = P[Xn=j / X0=i] = P[Xn+m=j / Xm=i]= la probabilit de transition en n

P i,j = P i,k * P k,j

= la probabilit de passer de ltat i ltat j en deux transition.

k,jtq k est le seul tat transitoire entre les tats i et j.

= P [Xn = j, Xn-1 j, Xn-2 j,, X1 j / X0 = i]

et on lit quelle est la

fi,i = 1 et i,i < , on dira que ltat i est rcurent positif.

tq = (1,2,., n) , 0 donn et n le nombre de lignes de

Rii = P [X11, X2 i, X3 i,, Xn-2 i, Xn-1 i, Xn= i/ X0=i].

Le nombre de retour un tat i = indicatrice de 1 {Xn = i / X0 = i}.

Le temps de sjour dans un tat i not P{Si = n / X0 = i} :

ij = 1 + Pik (Aik/ AiC) kj

AiC = Pij + Pik AkC telle que i T (classe transitoire).

On remarque que si T= {i, e, a} alors

AiC dpendra de AeC et AeC dpendra de AaC

e'**" c*lc0,r,r* ry\&aqr6.,.r

\:!|'5Y^Lla^?. *'u 4a^!od- tn^'g^.

ii i ' i ' i i---l--t4r

, - ' * * ; ' ' - .' L ' *

y" #^?,Ta 1'- r,'lL3,Wq '_j[+

^t; o*.n-4l-/q. ;tn"* L' fe-8"['CdoaiF"Ji'

pc,J;q"\\f d-* .{''efi}i

'W arWfe* Q;re

qffit& tX 4o'^* Qae-

'AE Swnrn e C ea' or-c

- '. r -Jr\ c4*) .

'i{*: La^#". ,?^ q Pnf';t

*"0'o '( gUf

olrfi P" l.'utrl- / q^ v\-si{* '(hhb*)

d*#ar pc{ A-a-;

[\rrr. Uor, \,{.!

, O.g naa 4^nal

* \ \ = d',,i 4-n',c e4 e,air\- -^cucrenlrS+Sue

: JT:7f-P *:1r ih,# _=

0i o i*,:!lgt i i -jg*J 4*r.'*y'SF, j

i ir i l ; ti: i i ii: iir l , i i ii; i

f^,av u',aWfu- d&

lr*'i",i*^I nI ",*o' ",[t+Li:^%;il'

(fnW.tLg rwltrve d" 0* c0a...s

-l' d"s,*U"*- ebr. 6, ={4,J,3,q, (1"

4/a 0 0 o {t, 2u %^*f.J-.bh*

6 q^PnL 4" ^0^r,..o

,/' '4""* q-. 0n" ,

&e. e+cj,6lF* h-t' t

cntAd * fltr'^" fs*

Ql,r-,'r0 KL \-*-4 e*-L0 rct,K"rrt= 4q

ca^ -\-a<v,kt N= 4 rj-.t dikt" fti=/ q

3 com,or, nr-Q-rre Ol<-c t\ &.a-t

ok ,n=Q.tb fu?2"** P-i'>o).

W, fu^Utrul .(.' rifoF a canru'que-t a)e-L l'it"l- q.

, 4 .Lui * 'J-exn*t'-b^ arc Jh-* 4, T'IoF-t

l_ u h')/"* L'mtuunieuet4'*o,eLQ'mL furr" l'nbfoarn<!/q toh 3, .

C4^ L|;4f1i.ary\auaqr6rr & ,-b*l;=;sdLKtin ch- /;r-

ca^ -U,'^.4A ,.n"6.4u

,L ^rnX.^a-( orl a-br".k^J;)

vrrrFcu- 4-o^'^@tr" Cln.tt 6rr,,ra

)""- t&Ja -el t" 'q,"l. Jo-U" tarrrrr.rE

lel, K,.,.d{u,,..A &-;* tot .c,.ffenhp"+,c/ {rl

Pg ' *r^'h,4+"1"k*,nttbka,ru;*,-^etut-t zt a'fuhta ttd-q*e.-!^<

afr* P.b {or,,*e.

e'**" clc0,r,r ry\&aqr6.,.r

^t; o.n-4l-/q. ;tn" L' fe-8"['CdoaiF"Ji'

0i o i,:!lgt i i -jgJ 4r.'y'SF, j

lr'i",i^I nI ",*o' ",[t+Li:^%;il'

-l' d"s,U"- ebr. 6, ={4,J,3,q, (1"

4/a 0 0 o {t, 2u %^f.J-.bh

Ql,r-,'r0 KL \--4 e-L0 rct,K"rrt= 4q

, 4 .Lui * 'J-exnt'-b^ arc Jh- 4, T'IoF-t

Pg ' r^'h,4+"1"k,nttbka,ru;,-^etut-t zt a'fuhta ttd-qe.-!^<

4y. , 'lnnnle(f y,al lo'J;hl*h," ,nh"| I

.o,,.On ,?nnQ Pn?,i..P9) >-

dqj?ap"r !n- !^.1" '.^ [q):

A.. -L'ahobt, tae"L ^^n!-k"*.4")

-trnil^ r cl".W,turre"tol:n AuX" J'tr(zcz.

pa Lf;''p^ & 4,

J JJ6.-t lS r D{"r Lo-rr'J* ravb,ta&ks d" [aq' G"

'r. %= 4-.

tl ^Wib<. n^"elt ht6'^.

4hw,,nicepaf /"' {^, p2^;

u(ll : ,u^4 ctat<to'foi..

lzl"{^--,( 6tc U 4b aon^i-s r,r"u Juhht