POLYTECHLILLE

GIS 4
PROCESSUS STOCHASTIQUES
Table des mati` eres
Introduction 3
Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1 Chanes de Markov 8
1.1 D enitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2 Classication des etats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.1 Classes irr eductibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.2 R ecurrence et transience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.2.3 P eriodicit e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.3 Th eor` emes limites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.1 Les mesures stationnaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.2 Lorsque lespace d etats E est ni . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.3 Lorsque lespace d etats E est inni . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2 Processus stochastiques markoviens en temps continu 26
2.1 Processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.1.1 Trois propri et es de la loi exponentielle . . . . . . . . . . . . . . . . . . . . . . . . 26
2.1.2 Pr esentation du processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . 28
2.1.3 Simulation et mod elisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 Processus markoviens de sauts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2.1 D enition et exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2.2 Probabilit es de transition et g en erateur de Markov . . . . . . . . . . . . . . . . . 35
2.2.3 Th eor` eme limite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.3 Application aux mod` eles de les dattente . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.3.1 Pr esentation g en erale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.3.2

Etude du cas M/M/1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Annexe : quelques formules 49
2
Introduction
On peut d enir un processus stochastique comme etant une famille {X
t
}
tT
de variables al eatoires
ind ex ees par le temps t. Les mots processus et stochastique signient respectivement fonction et al eatoire.
Alors quune variable al eatoire X associe ` a chaque une r ealisation X(), un processus stochastique
{X
t
}
tT
associe ` a chaque une fonction (ou trajectoire) {X
t
()}
tT
:
T E
t X
t
()
,
o` u E est lespace darriv ee des variables al eatoires X
t
. Passer des variables al eatoires aux processus sto-
chastiques revient ` a passer en analyse des points aux fonctions.
`
A titre dexemple, la trajectoire dune
mouche en fonction du temps peut etre mod elis ee par un processus stochastique ` a valeurs dans E = R
3
.
Lorsque lensemble des temps T est au plus d enombrable (par exemple T = N), on parle de processus
stochastiques ` a temps discret. Lorsquil est continu (i.e. T = [0; t
0
] ou T = R
+
), on parle de processus
stochastiques ` a temps continu.
Dans tout ce cours, on abr` ege les expressions variable al eatoire en v.a. et ind ependantes et identique-
ment distribu ees en i.i.d.
Les situations r eelles pouvant etre mod elis ees par des processus stochastiques sont nombreuses. En voici
quelques exemples :
EXEMPLES :
Probl` eme de la ruine du joueur. Consid erons une suite de v.a. (Y
n
)
n1
i.i.d. dont la loi commune
est d enie par
IP(Y
1
= 1) = p et IP(Y
1
= 1) = 1 p
et une quantit e initiale (d eterministe ou al eatoire) Y
0
Z ind ependante des v.a. Y
n
. On d enit la marche
al eatoire simple par
X
n+1
= X
n
+Y
n+1
= Y
0
+Y
1
+. . . +Y
n
+Y
n+1
,
pour tout n N. La suite (X
n
)
n1
est un processus stochastique ` a temps discret T = N (ce sont les
instants n = 0, 1, 2 . . .) et ` a valeurs dans E = Z. La suite (X
n
)
n1
repr esente l evolution de la fortune
dun joueur (jouant ` a pile ou face, ` a la roulette...) gagnant un montant xe (ici 1 euro) avec probabilit e p et
perdant le m eme montant avec probabilit e 1 p. Les parties, dont les r esultats sont les Y
n
, sont suppos ees
ind ependantes. La fortune du joueur ` a lissue de la n
e
partie est X
n
. La quantit e Y
0
repr esente la fortune
initiale du joueur.
Le joueur est ruin e (et donc arr ete de jouer) d` es que la suite (X
n
)
n1
touche laxe des abscisses. On peut
3
egalement ajouter comme condition que le joueur sarr ete de jouer si sa fortune atteint un certain seuil
a > Y
0
. Dans ce jeu, on aimerait connatre lesp erance de gain en fonction des param` etres Y
0
, a et p, ou
encore la dur ee moyenne du jeu.
Y
0
n
FIGURE 1 Le joueur est ruin e ` a lissue de la 12
e
partie.
Probl` eme de lextinction dune population. Consid erons une suite doublement ind ex ee de v.a.
{Y
n,m
, n N, m N

} i.i.d. et ` a valeurs enti` eres. La variable Y

n,m
repr esente le nombre de ls du m
e
individu dans la n
e
g en eration (sil existe). Posons X
0
= 1 ; il y a initialement un seul individu (g en eration
0). Puis, pour tout n,
X
n+1
=
Xn

m=1
Y
n,m
repr esente le nombre dindividu dans la (n+1)
e
g en eration. La suite (X
n
)
n1
est un processus stochastique
` a temps discret T = N (ce sont les g en erations) et ` a valeurs dans E = N. Il est connu sous le nom de
processus de branchement ou arbre de Galton-Watson.
FIGURE 2 Sont repr esent ees les quatre premi` eres g en erations dun arbre de Galton-Watson. Le premier
individu a Y
0,1
= 3 ls. Ceux-ci auront respectivement Y
1,1
= 1, Y
1,2
= 4 et Y
1,3
= 0 ls. La 2
e
g en eration
comprend donc 5 individus : X
2
= 5.
Historiquement, Galton et Watson ont introduit ce mod` ele pour etudier la perp etuation des lign ees des
Lords en Angletrre au 19
e
si` ecle : les individus sont des Lords qui transmettent leur titre uniquement ` a
leurs ls. Il sagit alors d etudier l evolution de la population au cours du temps, i.e. la quantit e X
n
quand
n devient grand. Y aura-til extinction de la lign ee de Lords ? Voici une premi` ere r eponse pleine de bon
4
sens : si le nombre moyen IE[Y
0,1
] de ls de chaque individu est elev e, la population devrait rapidement
crotre.
`
A linverse, si IE[Y
0,1
] est proche de 0, la population devrait s eteindre.
S eries temporelles ou chronologiques. Les s eries temporelles peuvent etre mod elis ees par des
processus stochastiques. Elles peuvent illustrer le nombre de morts suite ` a des accidents de la route dans
un pays donn e durant un intervalle de temps, le nombre de passagers dans les transports a eriens ou encore
les valeurs de cl otures journali` eres du CAC40.
Time
E
u
S
to
c
k
M
a
rk
e
ts
[, 3
]
1992 1993 1994 1995 1996 1997 1998
1
5
0
0
2
0
0
0
2
5
0
0
3
0
0
0
3
5
0
0
4
0
0
0
FIGURE 3 Valeurs de cl otures journali` eres du CAC40 de 1991 ` a 1998.
Un des objectifs principaux de l etude dune s erie temporelle est la pr evision des r ealisations futures, tr` es
souvent pour des raisons economiques (pr evoir l evolution de la demande dun produit pour ajuster au
mieux les moyens de production, pr evoir l evolution dun march e nancier...).
Les s eries temporelles feront lobjet de tout un cours en GIS5.
Files dattente. La salle de r eservation dune grande gare SNCF donne une bonne repr esentation
dune le dattente (queue en anglais). Elle comprend un certain nombre de guichets et des clients qui sont
soit en train d etre servis, soit en attente quun guichet se lib` ere. Le nombre total de ces clients pr esents
dans la salle de r eservation au temps t est not e N
t
. Le hasard intervient dans les arriv ees des clients ainsi
que dans la dur ee des services. La suite (N
t
)
t0
est un processus stochastique ` a temps continu et ` a valeurs
dans E = N. Lobjectif est d etudier l evolution de N
t
au cours du temps an doptimiser le nombre de
guichets n ecessaires pour satisfaire en un temps raisonnable les clients.
On peut egalement mod eliser par une le dattente un syst` eme informatique dans lequel les nouvelles
t aches se mettent en attente avant d etre trait ees, ou encore un poste de travail dans une usine.
Les les dattentes seront etudi ees en d etails dans ce cours.
En GIS3 ou en GIS4, vous avez d ej` a vu des processus stochastiques : nimporte quelle suite de v.a. i.i.d.
en est un exemple ! Lind ependance entre les variables facilite les calculs et permet dobtenir sans trop
defforts des th eor` emes limites int eressants (Loi des Grands Nombres, Th eor` eme Central Limite...). Mal-
heureusement, lind ependance nest pas un ph enom` ene courant dans la nature. Int egrer de la d ependance
entre les variables permet de mod eliser plus d` element la r ealit e. Il y a n eanmoins un co ut ` a payer ; les
calculs sont plus durs et les th eor` emes plus chers.
Les processus stochastiques que nous etudierons dans ce cours prendront en compte une certaine d epen-
dance entre les variables ; une d ependance de type markovienne (ou de Markov). Cela signie que l evolu-
tion future du processus ne d epend de son pass e que par linterm ediaire du pr esent. Par exemple pour
d ecider au mieux du 21
e
coup ` a jouer dans une partie d echecs, il suft de connatre la conguration du jeu
` a lissue du 20
e
coup, le d etail des 19 premiers coups nayant alors aucune importance.
5
Les exemples d ecrits p ec edemment sont markoviens. La fortune du joueur ` a lissue de la (n+1)
e
partie ne
d epend que de sa fortune ` a lissue de la n
e
et du r esultat de la (n+1)
e
partie, mais pas de l evolution totale
de sa fortune depuis le d ebut du jeu. Pour un processus de Galton-Watson, le nombre dindividus dans la
g en eration ` a venir ne d epend que du nombre dindividus dans la g en eration actuelle et du nombre de ls
quils auront. Les les dattente que nous etudierons seront aussi des processus stochastiques markoviens.
Pour les s eries temporelles, vous verrez lann ee prochaine...
6
Exercices
Exercice 1 : D enombrement de trajectoires dune marche al eatoire
Partie 1. Consid erons la marche al eatoire simple (X
n
)
nN
` a valeurs dans Z, d enie par
_
X
0
= y
0
Z
X
n
= y
0
+Y
1
+. . . +Y
n
, n 1
o` u (Y
n
)
n1
est une suite de v.a. i.i.d., chacune valant 1 avec probabilit e p et 1 avec probabilit e 1 p, et
y
0
Z.
1. Quelles sont les valeurs que peut prendre X
100
? Notons E
100
cet ensemble.
2. Soit y E
100
. Combien y-a-til de trajectoires v eriant X
100
= y ? Pr eciser ce nombre lorsque
y = y
0
+ 100, y = y
0
100 et y = y
0
.
3. Soit y E
100
. Montrer que toutes les trajectoires v eriant X
100
= y ont la m eme probabilit e.
Quelle est cette probabilit e ?
4. Principe de r eexion. Soient x, x

, y, y

des entiers tels que 0 x x

et yy

0. Justier
heuristiquement quil y a autant de trajectoires de la marche al eatoire allant de (x, y) ` a (x

, y

) en touchant
laxe des abscisses, que de trajectoires allant de de (x, y) ` a (x

, y

).
Partie 2. Application au distributeur automatique de boissons.
Consid erons un distributeur automatique de boissons, chacunes valant 1 euro. Supposons que 60% des
clients d esirant acheter une boisson la paie avec une pi` ece de 1 euro, et le reste, avec une pi` ece de 2 euros.
Dans ce dernier cas, le distributeur rend au consommateur sa monnaie, i.e. une pi` ece de 1 euro.
`
A condition
quil en ait... Il sagit donc pour lappariteur de pr evoir dans le distributeur, en d ebut de journ ee, un stock
sufsant de pi` eces de 1 euro. Mais pas trop pour ne pas bloquer inutilement de la tr esorerie !
5. Mod eliser par une marche al eatoire l evolution au cours du temps du stock du distributeur.
6. Supposons que dans une journ ee donn ee, 100 clients se pr esentent et que exactement 60 dentre
eux paient avec une pi` ece de 1 euro. Quel stock initial permet dassurer (disons ` a 95%) que chaque client
r ecup` ere sa monnaie ?
7
Chapitre 1
Chanes de Markov
Un mod` ele d evolution dynamique en temps discret dans lequel on fait d ependre l evolution future de
l etat pr esent et du hasard est une chane de Markov. Cest un processus stochastique ` a temps discret. On
en rencontre dans de nombreux domaines dapplications...
1.1 D enitions
D enition 1.1.1 Soit (X
n
)
nN
une suite de v.a. ` a valeurs dans un espace E ni ou d enombrable, appel e
espace d etats. On dit que (X
n
)
nN
est une chane de Markov si
IP(X
n+1
= j | X
n
= i, X
n1
= i
n1
, . . . , X
1
= i
1
, X
0
= i
0
) = IP(X
n+1
= j | X
n
= i) ,
pour tout entier n N, pour tout etat j et pour toute suite d etats i
0
, i
1
, . . . , i
n1
, i pour lesquels la
probabilit e conditionnelle a un sens, i.e.
IP(X
n
= i, X
n1
= i
n1
, . . . , X
1
= i
1
, X
0
= i
0
) > 0 .
Si de plus la quantit e IP(X
n+1
= j | X
n
= i) ne d epend pas de n, i.e.
IP(X
n+1
= j | X
n
= i) = IP(X
1
= j | X
0
= i)
alors la chane de Markov (X
n
)
nN
est dite homog` ene.
Il faut comprendre une chane de Markov (X
n
)
nN
comme une promenade dans lespace d etats E, la
variable X
n
indiquant l etat dans lequel on est ` a linstant n. La v.a. X
0
repr esente l etat initial duquel
d emarre la chane. Selon le contexte, X
0
pourra etre al eatoire ou d eterministe.
La propri et e de Markov signie que, connaissant le dernier etat visit e (disons ` a linstant n), la loi du
prochain etat visit e (i.e. la loi de X
n+1
) ne d epend pas des etats visit es depuis linstant 0 jusqu` a linstant
n 1. Plus prosaquement, on dit que
conditionnellement au pr esent, le futur ne d epend pas du pass e.
Mais il d epend du pr esent : X
n
et X
n+1
nont aucune raison d etre ind ependantes !
La propri et e dhomog en eit e dune chane de Markov exprime quant ` a elle que la probabilit e daller de i en
j reste la m eme au cours du temps. Elle permet de regrouper en une seule matrice (ind ependante de n) les
probabilit es de transition entre deux etats quelconques.
8
D enition 1.1.2 Soit (X
n
)
nN
une chane de Markov homog` ene ` a espace d etats E. Soient i, j E deux
etats. La probabilit e
p
i,j
:= IP(X
1
= j | X
0
= i)
est appel ee probabilit e de transition de i ` a j. La matrice P := (p
i,j
)
i,jE
est appel ee matrice de transition
de la chane.
Lorsque lespace d etats E est ni, la matrice P est carr ee de taille Card(E). Lorsquil est inni, elle
admet un nombre inni de lignes et de colonnes. Les coefcients de la matrice P sont positifs ou nuls.
Leur somme sur une m eme ligne vaut 1 : pour tout i E,

jE
p
i,j
=

jE
IP(X
1
= j | X
0
= i) = IP
_
_
_
jE
{X
1
= j}

X
0
= i
_
_
= 1 .
Comme nous le verrons dans les exemples suivants, il arrive fr equemment dans les applications que pour
un etat i donn e, le nombre d etats j directement accessibles depuis i (i.e. tel que p
i,j
> 0) soit faible. La
matrice de transition est alors tr` es creuse ; elle contient beaucoup de 0. Il est souvent plus economique (et
plus pertinent) de r esumer les probabilit es de transition dans le diagramme de transition. Cest un graphe
orient e et pond er e dont lensemble des sommets est E. Une ar ete de poids p
i,j
va de i ` a j si p
i,j
> 0.
EXEMPLES :
Transmission dun bit informatique. Un bit informatique valant 0 ou 1 est transmis dun poste A
vers un poste B en passant par N interm ediaires. Chacun de ces interm ediaires transmet correctement le bit
avec probabilit e p et linverse avec probabilit e 1 p, ind ependamment les uns des autres. Le bit (al eatoire)
dentr ee, disons X
0
, est suppos e ind ependent des interm ediaires. Pour n = 1, . . . , N, notons X
n
le bit
sortant du n
e
interm ediaire.
A B
1 n N
X
n1
X
n
La suite de v.a. (X
n
)
0nN
est ` a valeurs dans lespace d etats E = {0, 1}. V erions que cest une chane
de Markov. Consid erons pour ce faire, une suite i
0
, . . . , i
n
, i
n+1
d el ements de {0, 1}.
IP(X
n+1
= i
n+1
| X
n
= i
n
, . . . , X
0
= i
0
) =
IP(X
n+1
= i
n+1
et X
n
= i
n
, . . . , X
0
= i
0
)
IP(X
n
= i
n
, . . . , X
0
= i
0
)
=
IP(X
n+1
X
n
= i
n+1
i
n
et X
n
= i
n
, . . . , X
0
= i
0
)
IP(X
n
= i
n
, . . . , X
0
= i
0
)
= IP(X
n+1
X
n
= i
n+1
i
n
) ,
du fait de lind ependance entre la v.a. X
n+1
X
n
(qui repr esente laction du (n + 1)
e
interm ediaire) et
l etat du bit ` a la sortie des n premiers interm ediaires. Pour la m eme raison ;
IP(X
n+1
= i
n+1
| X
n
= i
n
, . . . , X
0
= i
0
) =
IP(X
n+1
X
n
= i
n+1
i
n
) IP(X
n
= i
n
)
IP(X
n
= i
n
)
= IP(X
n+1
= i
n+1
| X
n
= i
n
) .
9
Enn, le caract` ere homog` ene de la chane (X
n
)
0nN
r esulte du calcul :
IP(X
n+1
= j | X
n
= i) = IP(X
n+1
X
n
= j i) =
_
p si i = j
1 p sinon.
.
Voici la matrice et le graphe de transition de cette chane :
P =
_
p 1 p
1 p p
_
0 1
1 p
1 p
p p
La marche al eatoire simple. Soient (Y
n
)
n1
une suite de v.a. i.i.d., chacune valant 1 avec proba-
bilit e p et 1 avec probabilit e 1 p. Soit Y
0
Z une v.a. ind ependante des Y
n
, repr esentant le point de
d epart sur laxe Z de la chane. On d enit la marche al eatoire simple par
X
n+1
= X
n
+Y
n+1
= Y
0
+Y
1
+. . . +Y
n
+Y
n+1
,
pour tout n N. Le processus stochastique (X
n
)
n1
est une chane de Markov homog` ene. Son espace
d etats E = Z est cette fois inni. Comme dans lexemple du bit informatique, le caract` ere markovien
provient de lind ependance des Y
n
:
IP(X
n+1
= i
n+1
| X
n
= i
n
, . . . , X
0
= i
0
) =
IP(X
n+1
= i
n+1
et X
n
= i
n
, . . . , X
0
= i
0
)
IP(X
n
= i
n
, . . . , X
0
= i
0
)
=
IP(Y
n+1
= i
n+1
i
n
et X
n
= i
n
, . . . , X
0
= i
0
)
IP(X
n
= i
n
, . . . , X
0
= i
0
)
= IP(Y
n+1
= i
n+1
i
n
)
=
IP(Y
n+1
= i
n+1
i
n
) IP(X
n
= i
n
)
IP(X
n
= i
n
)
=
IP(X
n+1
X
n
= i
n+1
i
n
et X
n
= i
n
)
IP(X
n
= i
n
)
= IP(X
n+1
= i
n+1
| X
n
= i
n
) ,
o` u les i
0
, . . . , i
n
, i
n+1
sont des etats. Idem pour le caract` ere homog` ene :
IP(X
n+1
= j | X
n
= i) = IP(Y
n+1
= j i) =
_
_
_
p si j = i + 1
1 p si j = i 1
0 sinon.
.
La matrice de transition de la chane (X
n
)
n1
est de taille innie. Sa i
e
ligne est de la forme :
0 0 1p 0 p 0 0
o` u le 0 intercal e entre les coefcients 1 p et p est sur la i
e
colonne. Son graphe de transition est donn e
par la Figure 1.1.
10
p
p
i1 i i+1
1p
1p
FIGURE 1.1 Le graphe de transition de la marche al eatoire simple.
Le processus de Galton-Watson d ecrit en introduction est egalement une chane de Markov ho-
mog` ene.
Dans la pratique, nous prouverons quune suite de v.a. est une chane de Markov en utilisant le r esultat
intuitif suivant :
Proposition 1.1.3 Une suite de v.a. (X
n
)
n1
d enie r ecursivement par X
n+1
= f(X
n
, Y
n+1
) o` u
- (Y
n
)
n1
est une suite de v.a. i.i.d. ` a valeurs dans un espace E

,
- X
0
E est une v.a. donn ee et ind ependante des (Y
n
)
n1
,
- f : E E

E est une application d eterministe,

est une chane de Markov homog` ene ` a espace d etats E.
Ce crit` ere permet dafrmer tr` es rapidement que la marche al eatoire simple d enie pr ec edemment est
une chane de Markov homog` ene. En effet, les incr ements Y
0
, Y
1
, Y
2
. . . sont des v.a. i.i.d. ` a valeurs dans
lespace E

= {1; 1} (E

= Z convenait egalement), X
0
= Y
0
et X
n+1
= f(X
n
, Y
n+1
) avec comme
application d eterministe f : f(x, y) = x +y.
Proposition 1.1.4 La loi dune chane de Markov homog` ene (X
n
)
nN
est enti` erement d etermin ee par la
donn ee de sa matrice de transition P et de la loi de X
0
, appel ee loi initiale et not ee
0
:
pour tout i E,
0
(i) := IP(X
0
= i).
Plus pr ecis ement, pour tout entier n et toute suite d etats i
0
, i
1
, . . . , i
n1
, i
n
de E :
IP(X
n
= i
n
, X
n1
= i
n1
, . . . , X
1
= i
1
, X
0
= i
0
) =
0
(i
0
)p
i
0
,i
1
. . . p
i
n1
,in
. (1.1)
La formule (1.1) permet d ecrire la probabilit e dune intersection, i.e.
IP(X
n
= i
n
, X
n1
= i
n1
, . . . , X
1
= i
1
, X
0
= i
0
) ,
comme un produit de probabilit es conditionnelles, les coefcients p
i,j
.
En divisant par
0
(i
0
) dans (1.1), il sensuit que :
IP(X
n
= i
n
, X
n1
= i
n1
, . . . , X
1
= i
1
| X
0
= i
0
) = p
i
0
,i
1
. . . p
i
n1
,in
.
D emonstration Le r esultat repose sur la formule
IP
_
n

k=0
A
k
_
= IP(A
0
) IP(A
1
| A
0
) IP(A
2
| A
1
A
0
) . . . IP(A
n
| A
n1
. . . A
0
)
11
` a d emontrer par r ecurrence sur n N et appliqu ee aux ev enements A
k
= {X
k
= i
k
}. Il ne reste plus qu` a
identier les termes : IP(A
0
) = IP(X
0
= i
0
) vaut (i
0
), IP(A
1
| A
0
) = IP(X
1
= i
1
| X
0
= i
0
) vaut par
d enition p
i
0
,i
1
et
IP(A
2
| A
1
A
0
) = IP(X
2
= i
2
| X
1
= i
1
, X
0
= i
0
)
= IP(X
2
= i
2
| X
1
= i
1
)
= p
i
1
,i
2
,
par la propri et e de Markov. Cest pareil pour les autres termes.
Dans toute la suite, consid erons une chane de Markov homog` ene (X
n
)
nN
` a valeurs dans E, de matrice
de transition P et de loi initiale
0
.
Proposition 1.1.5 La loi de la chane de Markov homog` ene (X
n
)
nN
est invariante par translation dans le
temps. Autrement dit, pour tous entiers n, m, toute suite d etats i
0
, i
1
, . . . , i
n
, i
n+1
, . . . , i
n+m
pour lesquels
IP(X
n
= i
n
, X
n1
= i
n1
, . . . , X
1
= i
1
, X
0
= i
0
) > 0 ,
il vient :
IP(X
n+m
= i
n+m
, . . . , X
n+1
= i
n+1
| X
n
= i
n
, . . . , X
0
= i
0
) =
IP(X
m
= i
n+m
, . . . , X
1
= i
n+1
| X
0
= i
n
) .
La probabilit e conditionnelle dune trajectoire donn ee (i.e. les etats i
n+1
, . . . , i
n+m
) reste la m eme au cours
du temps, quelle ait lieu entre les instants n + 1 et n + m ou entre les instants 1 et m. Seul compte le
dernier etat visit e, en loccurrence i
n
.
Une g en eralisation de ce r esultat est connue sous le nom de relation de Chapman-Kolmogorov :
IP(X
n+m
= j | X
0
= i) =

kE
IP(X
m
= j | X
0
= k) IP(X
n
= k | X
0
= i) .
Il faut la lire comme suit : aller de i ` a j en n +m pas, cest aller de i ` a un certain etat k en n pas puis de k
` a j en m pas.
Notons par
n
la loi de X
n
. Cest une mesure de probabilit e sur E que lon peut ecrire sous la forme
dun vecteur ligne (
n
(j))
jE
(i.e. un el ement de R
Card(E)
). Lobjectif de la n de cette section consiste ` a
etablir une relation matricielle liant
n
` a la loi initiale
0
et ` a la matrice P
Pour ce faire, notons par (p
(n)
i,j
)
i,jE
les coefcients de la matrice P
n
, puissance n
e
de P. Lexpression
brute de p
(n)
i,j
est
p
(n)
i,j
=

i
1
,...,i
n1
E
p
i,i
1
p
i
1
,i
2
. . . p
i
n1
,j
.
Cette formule etant purement alg ebrique, voici une nouvelle expression du coefcient p
(n)
i,j
lui donnant
davantage de sens :
Proposition 1.1.6 Soient n un entier et i, j des etats.
(1) IP(X
n
= j | X
0
= i) = p
(n)
i,j
.
12
(2)
n+1
=
n
P.
(3)
n
=
0
P
n
, ce qui signie que IP(X
n
= j) est le j
e
el ement du vecteur ligne
0
P
n
.
En utilisant des vecteurs colonnes pour d ecrire les lois de X
n
et X
n+1
, le point (2) devient
t

n+1
=
t
P
t

n
.
On peut donc voir l evolution en loi de la suite (X
n
)
nN
comme un syst` eme it eratif lin eaire dont
t
P est la
matrice d evolution : on obtient la loi de X
n+1
en multipliant (matriciellement et par la gauche) la loi de
X
n
par
t
P.
D emonstration Seul le cas n = 2 sera trait e pour donner lintuition concernant le point (1). Le coefcient
p
(2)
i,j
de la i
e
ligne et de la j
e
colonne de la matrice P
2
vaut
p
(2)
i,j
=

kE
p
i,k
p
k,j
.
La formule des probabilit es totales et la Proposition 1.1.4 permettent d ecrire les egalit es :
IP(X
2
= j, X
0
= i) =

kE
IP(X
2
= j, X
1
= k, X
0
= i)
=
0
(i)

kE
p
i,k
p
k,j
,
desquelles on en d eduit le r esultat ; IP(X
2
= j|X
0
= i) = p
(2)
i,j
. Par ailleurs,

n+1
(j) = IP(X
n+1
= j) =

iE
IP(X
n+1
= j, X
n
= i)
=

iE
IP(X
n+1
= j | X
n
= i) IP(X
n
= i)
=

iE
p
i,j
IP(X
n
= i) .
Cette egalit e implique la relation matricielle
n+1
=
n
P (i.e. le point (2)). Enn, le point (3) sobtient
par une r ecurrence imm ediate.
1.2 Classication des etats
1.2.1 Classes irr eductibles
D enition 1.2.1 Soient i et j deux etats de E. On dit que l etat j est accessible depuis l etat i si
n N, p
(n)
i,j
= IP(X
n
= j | X
0
= i) > 0 .
On dit que les etats i et j communiquent si chacun est accessible depuis lautre. On note alors i j.
Proposition 1.2.2 La relation est une relation d equivalence sur E.
13
D emonstration La r e exivit e (i.e. i i) est imm ediate : pour n = 0, IP(X
0
= i | X
0
= i) = 1. Il en va
de m eme pour la sym etrie (i j implique j i). Enn, la transitivit e repose sur la relation de Chapman-
Kolmogorov. Supposons que i j et j k. En particulier, les etats j et k sont respectivement accessibles
depuis i et j. Il existe donc des entiers met n tels que IP(X
m
= k|X
0
= j) > 0 et IP(X
n
= j|X
0
= i) > 0.
Par cons equent,
IP(X
n+m
= k | X
0
= i) =

lE
IP(X
m
= k | X
0
= l) IP(X
n
= l | X
0
= i)
IP(X
m
= k | X
0
= j) IP(X
n
= j | X
0
= i) > 0 ,
do` u k est accessible depuis l etat i. Cest la m eme chose dans lautre sens.
Lespace E peut donc etre partitionn e en classes d equivalence pour la relation , appel ees classes
irr eductibles. Nous insisterons dans les paragraphes suivants sur le fait que les etats dune m eme classe
irr eductible ont des propri et es equivalentes vis ` a vis de la chane (r ecurrence, transience et p eriodicit e).
Lorsque lespace E est r eduit ` a une seule classe (i.e. tous les etats communiquent), on dit que la chane est
irr eductible. En g en eral, E se partitionne en etats isol es dans lesquels on ne revient jamais une fois quon
les a quitt es, et en classes irr eductibles disjointes.
Pour d eterminer les classes irr eductibles dune chane de Markov, il est commode de travailler sur le graphe
de transition plut ot que sur la matrice de transition P.
EXEMPLE : Consid erons une chane de Markov ` a valeurs dans E = {a, b, c, d, e} et dont la matrice et le
graphe de transition sont donn ees par :
P =
_
_
_
_
_
_
1/2 1/2 0 0 0
1/4 1/2 1/4 0 0
0 0 0 1 0
0 0 1/2 0 1/2
0 0 0 1 0
_
_
_
_
_
_
a b c
d
e 1/2
1/2
1/2
1/4
1
1/2
1 1/2 1/4
La chane comporte deux classes irr eductibles : {a, b} et {c, d, e}.
1.2.2 R ecurrence et transience
D enition 1.2.3 Soit i E. La v.a. T
i
d enie par
T
i
= inf{n 1, X
n
= i}
est appel ee temps datteinte de i ou encore temps de retour ` a i lorsque la chane (X
n
)
nN
part de i. Par
convention, lorsque pour tout n 1, X
n
= i, on pose T
i
= +.
D enition 1.2.4 Un etat i E est dit r ecurrent si, partant de i, on y revient presque s urement en temps
ni :
IP(T
i
< +| X
0
= i) = 1 .
L etat i est dit transient dans le cas contraire, i.e. lorsque IP(T
i
= +| X
0
= i) > 0.
14
Autrement dit, un etat est transient si avec probabilit e strictement positive, on peut le quitter pour ne jamais
y revenir. Comme cas particulier d etat transient, on retrouve les etats pour lesquels p
(n)
i,i
= 0, pour tout
n 1. Ce sont ceux que lon quitte au premier pas pour ne jamais y revenir ;
IP(T
i
< +| X
0
= i) = IP(n 1, X
n
= i | X
0
= i)
= IP
_
_
_
n1
{X
n
= i}

X
0
= i
_
_

n1
IP(X
n
= i | X
0
= i)

n1
p
(n)
i,i
= 0 .
EXEMPLES :
Reprenons le cas de la chane de Markov ` a valeurs dans E = {a, b, c, d, e} d enie dans le paragraphe
pr ec edent. L etat b est transient. En effet, l etat c est accessible depuis b mais pas linverse. Autrement dit,
en allant en c depuis b, on est s ur de ne jamais y revenir :
IP(T
b
= +| X
0
= b) = IP
_
_

n1
{X
n
= b}

X
0
= b
_
_
IP(X
1
= c | X
0
= b) = 1/4 .
Ce qui donne IP(T
b
< +| X
0
= b) < 1. Il en va de m eme pour l etat a :
IP(T
a
= +| X
0
= a) IP(X
2
= c, X
1
= b | X
0
= a) =
1
4

1
2
,
dapr` es la Proposition 1.1.4. Les etats c, d et e seront quant ` a eux r ecurrents.

Etudions le cas de c. En
partant de c, lunique solution pour ne jamais y revenir consiste ` a aller en d puis ` a transiter ind eniment
entre d et e, ce qui est de probabilit e nulle. En effet, pour tout n,
IP(T
c
= +| X
0
= c) IP(X
2n+1
= d, X
2n
= e, . . . , X
3
= d, X
2
= e, X
1
= d | X
0
= c)
p
c,d
(p
d,e
p
e,d
)
n
,
toujours dapr` es la Proposition 1.1.4. Avec p
d,e
p
e,d
= 1/2, on obtient la majoration :
IP(T
c
= +| X
0
= c)
1
2
n
.
Il ne reste plus qu` a faire tendre n tend vers linni.
En exercice, il sera montr e que la marche al eatoire sur Z est r ecurrente dans le cas sym etrique, i.e.
pour p = q = 1/2, et transiente sinon.
La v.a. N
i
est le nombre de passages de la chane (X
n
)
nN
par l etat i apr` es linstant 0 :
N
i
=

n1
11
Xn=i
Partant de j, on acc` ede en i en temps ni, puis on revient en i au moins n fois (i.e. N
i
n). Cela fait donc
au moins n + 1 passages en i (partant de j).
15
Lemme 1.2.5 Pour tout entier n et tous etats i et j,
IP(N
i
n + 1 | X
0
= j) = IP(T
i
< +| X
0
= j) IP(N
i
n | X
0
= i) .
Les etats transients sont ceux dans lesquels on ne passe quun nombre ni de fois. Par opposition, on
revient une innit e de fois dans un etat r ecurrent.
Proposition 1.2.6 Les conditions suivantes sont equivalentes :
(1) l etat i est r ecurrent : IP(T
i
< +|X
0
= i) = 1 ;
(2) conditionnellement ` a X
0
= i, la chane de markov (X
n
)
nN
revient presque s urement une innit e
de fois en i :
IP(N
i
= +| X
0
= i) = 1 ;
(3) la s erie

p
(n)
i,i
diverge.
Proposition 1.2.7 Les conditions suivantes sont equivalentes :
(4) l etat i est transient : IP(T
i
< +|X
0
= i) < 1 ;
(5) conditionnellement ` a X
0
= i, la v.a. N
i
est presque s urement nie et suit la loi g eom etrique de
param` etre
i
= IP(T
i
< +|X
0
= i) :
n N, IP(N
i
= n | X
0
= i) =
n
i
(1
i
) ;
(6) conditionnellement ` a X
0
= i, la v.a. N
i
est int egrable : IE[N
i
|X
0
= i] =

p
(n)
i,i
< +.
Remarquons que lidentit e entre lesp erance conditionnelle IE[N
i
|X
0
= i] et la s erie

p
(n)
i,i
est valable
quelle que soit la nature de cette derni` ere, en la consid erant comme un el ement de [0; +]. Elle repose sur
le th eor` eme de Fubini.
IE[N
i
| X
0
= i] = IE
_
_

n1
11
Xn=i

X
0
= i
_
_
=

n1
IE[11
Xn=i
| X
0
= i]
=

n1
IP(X
n
= i | X
0
= i)
=

n1
p
(n)
i,i
.
Les deux propositions ci-dessus se d emontrent simultan ement.
D emonstration Prouvons (1) (2). En combinant, IP(T
i
< +|X
0
= i) = 1 et le Lemme 1.2.5, il
vient :
IP(N
i
n + 1 | X
0
= i) = IP(N
i
n | X
0
= i) = . . . = IP(N
i
1 | X
0
= i),
16
en it erant. Par ailleurs, {N
i
1} = {T
i
< +}. On en d eduit que pour tout n, IP(N
i
n|X
0
= i) = 1.
Il ne reste plus qu` a faire tendre n vers linni pour obtenir (2) :
IP(N
i
= +| X
0
= i) = IP
_
_

n1
{N
i
n}

X
0
= i
_
_
= lim
n+
IP(N
i
n | X
0
= i)
= 1 .
Limplication (2) (3) repose sur :

n1
p
(n)
i,i
= IE[N
i
| X
0
= i] (+) IP(N
i
= +| X
0
= i) = +.
Supposons (4) :
i
= IP(T
i
< +|X
0
= i) < 1. Le Lemme 1.2.5 donne :
IP(N
i
n + 1 | X
0
= i) =
i
IP(N
i
n | X
0
= i) = . . . =
n
i
IP(N
i
1 | X
0
= i) .
Ainsi,
IP(N
i
n + 1 | X
0
= i) =
n
i
IP(T
i
< +| X
0
= i) =
n+1
i
.
On en d eduit dune part que N
i
est presque s urement nie
IP(N
i
= +| X
0
= i) = lim
n+
IP(N
i
n | X
0
= i) = 0
(car
i
< 1) et dautre part que sa loi est g eom etrique de param` etre
i
. Ce qui prouve (5).
IP(N
i
= n | X
0
= i) = IP(N
i
n | X
0
= i) IP(N
i
n + 1 | X
0
= i) =
n
i
(1
i
) .
Limplication (5) (6) est imm ediate :
IE[N
i
| X
0
= i] =

n1
IP(N
i
n | X
0
= i) =

i
1
i
< +.
Enn, (3) (1) et (6) (4) sont respectivement les contrapos ees de (4) (6) et (1) (3). Les
boucles sont boucl ees !
La r ecurrence et la transience sont des propri et es de classe irr eductible :
Proposition 1.2.8 Si les etats i et j communiquent alors ils sont tous deux r ecurrents ou tous deux tran-
sients.
Ainsi, tous les etats appartenant ` a la m eme classe irr eductible quun etat transient (resp. r ecurrent), le seront
egalement. La classe sera alors quali ee de transiente (resp. r ecurrente).
D emonstration Si les etats i et j communiquent, il existe deux instants k et l tels que p
(k)
i,j
> 0 et p
(l)
j,i
> 0.
Soit m k +l. Partant de i, une facon dy revenir en m pas consiste ` a dabord aller en j en l pas, puis dy
revenir en mk l pas pour enn aller en i en k pas :
p
(m)
i,i
p
(l)
i,j
p
(mkl)
j,j
p
(k)
j,i
.
17
De la m eme mani` ere,
p
(m)
j,j
p
(k)
j,i
p
(mkl)
i,i
p
(l)
i,j
.
Les deux s eries

m
p
(m)
i,i
et

m
p
(m)
j,j
sont donc de m eme nature. Les Propositions 1.2.6 et 1.2.7 permettent
alors de conclure.
Proposition 1.2.9 La probabilit e de sortir dune classe irr eductible r ecurrente est nulle. Plus pr ecis ement,
si i est un etat r ecurrent et C(i) sa classe alors
j / C(i), n N, IP(X
n
= j | X
0
= i) = p
(n)
i,j
= 0 .
D emonstration Soit j / C(i) et supposons par labsurde quil existe un entier n tel que p
(n)
i,j
> 0. Il
existe alors un entier m tel que p
(m)
j,i
> 0. Dans le cas contraire, i.e. m p
(m)
j,i
= 0, l etat i ne pourrait etre
r ecurrent puisquil existerait une probabilit e non nulle de quitter i et de ne jamais y revenir. D` es lors, les
etats i et j communiquent, ce qui contredit j / C(i).
Proposition 1.2.10 Toute chane de Markov homog` ene sur un espace d etats ni a au moins un etat
r ecurrent. En particulier, toute chane irr eductible sur un espace d etats ni est r ecurrente.
D emonstration Montrons que, etant donn e un etat i transient, le nombre moyen de passage par l etat i en
partant dun etat j, i.e. IE[N
i
|X
0
= j], est nie. Cette afrmation repose sur le Lemme 1.2.5, la Proposition
1.2.7, le fait que IE[Z] =

n1
IP(Z n) pour une v.a. positive Z et le calcul suivant :
IE[N
i
| X
0
= j] =

nN
IP(N
i
n + 1 | X
0
= j)
=

nN
IP(T
i
< +| X
0
= j) IP(N
i
n | X
0
= i)
= IP(T
i
< +| X
0
= j)

nN
IP(N
i
n | X
0
= i)
= IP(T
i
< +| X
0
= j)(1 + IE[N
i
| X
0
= i])
< +.
Donc, presque s urement, chaque etat de E est visit e un nombre ni de fois. Cest impossible : E etant ni,
notre chane fr equente au moins lun des etats de E une innit e de fois.
1.2.3 P eriodicit e
D enition 1.2.11 La p eriode dun etat i est lentier d(i) d eni par
d(i) = PGCD{n 1, p
(n)
i,i
> 0} .
Lorsque d(i) = 1, l etat i est quali e de ap eriodique.
18
Un etat en lequel on peut rester avec probabilit e non nulle, i.e. p
i,i
> 0, est automatiquement ap eriodique.
Voici deux exemples.
`
A gauche, l etat a est de p eriode 2 (idem pour b). En effet, chaque chemin de
probabilit e non nulle partant de a et y revenant comprend un nombre pair de pas.
`
A droite, tous les etats
sont ap eriodiques.

Etudions en particulier le cas de l etat 1. Depuis cet etat, il est possible dy revenir en 3
pas (en faisant 1 2 3 1) :
p
(3)
1,1
=

i,jE
p
1,i
p
i,j
p
j,1
p
1,2
p
2,3
p
3,1
> 0 .
Il est egalement possible dy revenir en 5 pas : p
(5)
1,1
> 0 (en faisant 1 2 3 4 3 1). Puisque 3
et 5 sont premiers entre eux, l etat 1 est ap eriodique.
a b
1
1
3
4
1
2
1/2
1/2
1/3
1/3
2/3
2/3
1
Simuler une chane de Markov est tr` es facile. Voici le code R de la fonction iteration qui prend en entr ee
un etat x E et renvoie l etat visit e juste apr` es conform ement ` a la dynamique d ecrite par le graphe de
transition ci-dessus ` a droite.
iteration < function(X)
{ U < runif(1,min=0,max=1)
if (X==a) { if (U < 1/3) {Y=b} else {Y=c}}
if (X==b) { if (U < 2/3) {Y=b} else {Y=c}}
if (X==c) { if (U < 1/2) {Y=a} else {Y=d}}
if (X==d) {Y=c}
Y
}
La p eriodicit e est une propri et e de classe irr eductible :
Proposition 1.2.12 Si les etats i et j communiquent alors ils ont la m eme p eriode.
Tous les etats dune m eme classe irr eductible ont donc la m eme p eriode. Si celle-ci vaut 1, la classe est
alors quali ee de ap eriodique.
D emonstration Soient i et j deux etats qui communiquent. Il suft de montrer que d(j) divise d(i). En
effet, par sym etrie, on aura egalement d(i) divise d(j), et donc d(j) = d(i). Comme i et j communiquent,
il existe deux entiers l et m tels que p
(l)
i,j
> 0 et p
(m)
j,i
> 0. Consid erons maintenant un entier n tel que
p
(n)
i,i
> 0. Les in egalit es
p
(m+n+l)
j,j
p
(m)
j,i
p
(n)
i,i
p
(l)
i,j
> 0
19
et
p
(m+l)
j,j
p
(m)
j,i
p
(l)
i,j
> 0
impliquent respectivement que d(j) divise les entiers m+n +l et m+l : il divise donc la diff erence, i.e.
n. Autrement dit, d(j) divise tous les entiers n tels que p
(n)
i,i
> 0. Il divise donc leur PGCD d(i).
1.3 Th eor` emes limites

Etant donn e une chane de Markov homog` ene (X

n
)
nN
, lobjectif de cette derni` ere partie est dapproximer
la loi de la v.a. X
n
lorsque n tend vers linni.
1.3.1 Les mesures stationnaires
D enition 1.3.1 Une mesure stationnaire (ou invariante) dune chane de Markov de matrice de transition
P est une loi de probabilit e sur E, disons = ((j))
jE
, v eriant = P.
Soit une mesure stationnaire pour la chane de Markov (X
n
)
nN
de matrice de transition P. Rappelons
que le vecteur ligne (
n
(j))
jE
d esigne la loi de la v.a. X
n
. La formule
n+1
=
n
P (Proposition 1.1.6)
implique que si la loi de X
n
est (i.e.
n
= ) alors il en est de m eme pour la loi de X
n+1
(i.e.
n+1
= ).
Par cons equent, si la loi initiale
0
(celle de X
0
) est alors toutes les v.a. X
n
seront distribu ees selon .
Cest ce qui justie le qualicatif de stationnaire. Cela signie que la probabilit e de se trouver dans un etat
donn e reste constante au cours du temps, bien que la chane saute constamment d etat en etat. Une mesure
stationnaire doit donc etre comprise comme un equilibre dynamique en loi.
EXEMPLE :
Consid erons une chane de Markov (X
n
)
nN
` a espace d etats E = {a, b, c} dont la matrice et le graphe de
transition sont donn es par :
P =
_
_
0 1 0
0 1/2 1/2
1/2 0 1/2
_
_
a
b
c
1
1/2
1/2
1/2
1/2
R esolvons le syst` eme lin eaire = P o` u les coordonn ees du vecteur sont not ees (
a
,
b
,
c
). On obtient
une droite vectorielle de solutions, engendr ee par le vecteur (1/2, 1, 1). Par ailleurs, la mesure stationnaire
est une mesure de probabilit e. Elle doit donc satisfaire la condition
a
+
b
+
c
= 1. Ceci d etermine
de mani` ere unique ; = (1/5, 2/5, 2/5).
Attention, contrairement ` a lexemple ci-dessus, une chane de Markov peut ne pas admettre de mesure
stationnaire, ou m eme en admettre plusieurs...
20
Consid erons enn une chane de Markov (X
n
)
nN
` a espace d etats E ni et de matrice de transition P.
Supposons de plus que la suite (X
n
)
nN
converge en loi vers une mesure de probabilit e sur E, not ee :
pour tout j E, lim
n+

n
(j) = (j) .
Puisque E est ni, lapplication lin eaire
t
P est continue donc
t
P
t

n
converge (coordonn ee par coor-
donn ee) vers
t
P
t
, lorsque n tend vers linni. Dautre part,
t
P
t

n
=
t

n+1
converge egalement (coor-
donn ee par coordonn ee) vers la loi
t
. Celle-ci v erie donc
t
P
t
=
t
, ou encore = P. En conclusion,
si la suite (X
n
)
nN
converge en loi vers une mesure de probabilit e alors cette loi limite est n ecessairement
une mesure stationnaire pour la chane de Markov correspondante.
1.3.2 Lorsque lespace d etats E est ni
Consid erons une chane de Markov homog` ene (X
n
)
nN
` a espace d etats ni E et de matrice de transition
P. Comme la somme des coefcients sur chaque ligne de P vaut 1, tout vecteur ` a coordonn ees constantes
est vecteur propre de P associ e ` a la valeur propre 1. Une matrice carr ee et sa transpos ee ayant les m emes
valeurs propres, 1 est donc egalement valeur propre de
t
P. Notons E
1
lespace propre associ e ` a la valeur
propre 1 pour
t
P :
E
1
= {v R
Card(E)
,
t
Pv = v} .
On vient de montrer que dimE
1
1. D` es lors, tout vecteur (colonne)
t
appartenant ` a E
1
et dont la
somme des coordonn ees vaut 1, produit un vecteur ligne , loi de probabilit e sur E et v eriant = P.
Cest donc une mesure stationnaire pour la chane de Markov de matrice de transition P. En conclusion,
lexistence dau moins une mesure stationnaire est automatique lorsque lespace d etats E est ni.
Lorsque la chane est irr eductible (dans ce cas, tous les etats sont r ecurrents), lespace propre E
1
est de
dimension 1, ce qui implique lunicit e de la mesure stationnaire.
Proposition 1.3.2 Consid erons une chane de Markov homog` ene ` a espace d etats ni E et de matrice de
transition P. Elle admet au moins une mesure stationnaire. Si la chane est irr eductible alors il y a unicit e
de la mesure stationnaire (notons-la ). Dans ce cas, elle charge tous les etats
(i) > 0, pour tout i E
et le temps moyen de retour en i est egal ` a linverse de (i) :
IE[T(i) | X
0
= i] =
1
(i)
, pour tout i E.
Cependant, lexistence et lunicit e de la mesure stationnaire nassure pas la convergence en loi de la suite
(X
n
)
nN
vers . Cette convergence repose en fait sur lap eriodicit e de la chane.
Le r esultat suivant est non trivial. Il ne sera pas d emontr e.
Th eor` eme 1.3.3 Consid erons une chane de Markov homog` ene (X
n
)
nN
` a espace d etats ni E et de
matrice de transition P. Supposons de plus que la chane est irr eductible et ap eriodique. Notons sa
mesure stationnaire.
(1) La matrice P
n
converge quand n tend vers linni vers une matrice dont toutes les lignes sont
egales ` a .
21
(2) Quelle que soit la loi de X
0
, la suite (X
n
)
nN
convergence en loi quand n tend vers linni vers
: pour tout etat i, IP(X
n
= i) (i).
Les points (1) et (2) sinterpr` etent par de lind ependance asymptotique : en deux instants eloign es lun de
lautre, la chane se comporte de mani` ere presque ind ependante. En effet, les quantit es IP(X
n
= j|X
0
= i)
et IP(X
n
= j) tendent toutes les deux vers la m eme limite (j). Elles sont donc proches asymptotiquement,
ce qui donne
IP(X
n
= j , X
0
= i) IP(X
n
= j) IP(X
0
= i) .
En utilisant linvariance par translation dans le temps, la relation ci-dessus se g en eralise en
IP(X
n+m
= j , X
m
= i) IP(X
n+m
= j) IP(X
m
= i) .
Consid erons une nouvelle fois lexemple du bit informatique dont la matrice de transition est donn ee par
P =
_
p 1 p
1 p p
_
.
La chane de Markov correspondante est irr eductible si et seulement si p < 1. Dans ce cas, lunique
mesure stationnaire est le vecteur ligne = (1/2, 1/2). Si de plus p > 0, alors la chane est ap eriodique.
Le th eor` eme limite sapplique :
i {0, 1}, lim
n+
IP(X
n
= i) =
1
2
.
Autrement dit, quelque soit le bit initial X
0
et quelle que soit la valeur de 0 < p < 1, au bout dun certain
temps, le bit sortant suit une loi uniforme sur {0, 1}.
Lorque p = 0, la matrice de transition devient
P =
_
0 1
1 0
_
.
La chane est alors 2p eriodique. Puisque P
2
est egale ` a la matrice identit e, il en va de m eme pour toutes
les puissances paires de P, tandis que les puissances impaires sont egales ` a P. Par cons equent, le coefcient
p
(n)
0,0
prend alternativement les valeurs 0 et 1 : la suite (p
(n)
0,0
)
nN
ne peut converger.
Terminons par une comparaison. La Th eor` eme 1.3.3 stipule que, sous les bonnes hypoth` eses, p
(n)
i,j
tend
vers une limite strictement positive (Proposition 1.3.2). Ceci concerne le cas o` u j est r ecurrent. Lorsque
j est transient, p
(n)
i,j
tend vers 0. En effet, lesp erance conditionnelle IE[N
j
|X
0
= i] est nie (voir la
d emonstration de la Proposition 1.2.10). Par cons equent, la s erie

n1
p
(n)
i,j
=

n1
IP(X
n
= j | X
0
= i)
=

n1
IE[11
Xn=j
| X
0
= i]
= IE[N
j
| X
0
= i]
est convergente. Son terme g en eral, i.e. p
(n)
i,j
, tend donc vers 0 quand n tend vers linni.
22
1.3.3 Lorsque lespace d etats E est inni
L etude th eorique de la convergence en loi dune chane de Markov devient plus d elicate lorsque lespace
d etats E est inni.
`
A plus forte raison que dans la partie pr ec edente, les r esultats qui suivent ne seront pas
d emontr es.
Consid erons une chane de Markov homog` ene (X
n
)
nN
irr eductible et r ecurrente, ` a espace d etats inni E
et de matrice de transition P. On peut alors montrer quil existe un vecteur colonne v R
E
, ` a coordonn ees
strictement positives, v eriant
t
Pv = v. Si la somme des coordonn ees de v est nie
M :=

jE
v(j) < +, (1.2)
alors il suft de renormaliser le vecteur v par sa masse totale M pour obtenir une mesure stationnaire (qui
sera unique). Cependant la condition (1.2) nest pas toujours v eri ee. Une hypoth` ese suppl ementaire sur
la chane doit etre faite pour assurer lexistence (et lunicit e) dune mesure stationnaire.
D enition 1.3.4 Consid erons une chane de Markov homog` ene irr eductible et r ecurrente ` a espace d etats
inni E. Soit i E. Le temps de retour T(i) ` a i est ni presque s urement (car i est r ecurrent). Si, de plus,
IE[T(i)|X
0
= i] < +,
l etat i est quali e de r ecurrent positif. Dans le cas contraire, i est quali e de r ecurrent nul.

Etre r ecurrent nul signie que lon revient presque s urement en temps ni en cet etat mais que le temps de
retour est plut ot long. Si long que son esp erance est innie.
La marche al eatoire simple et sym etrique (i.e. avec p = 1/2) sur Z est un exemple de chane de Markov
pour laquelle tous les etats sont r ecurrents nuls.
Le th eor` eme suivant etablit que la r ecurrence positive est une propri et e de classe (m eme chose pour la
r ecurrence nulle) : cest une condition n ecessaire et sufsante pour lexistence dune mesure stationnaire.
Si cest le cas, il y a unicit e de la mesure stationnaire.
Th eor` eme 1.3.5 Soit (X
n
)
nN
une chane de Markov homog` ene irr eductible, ` a espace d etats inni E.
Sont equivalentes :
(i) tous les etats sont r ecurrents positifs ;
(ii) il existe au moins un etat r ecurrent positif ;
(iii) la chane (X
n
)
nN
admet (au moins) une mesure stationnaire.
Lorsque ces conditions sont v eri ees, il y a unicit e de la mesure statonnaire. Notons-la . Elle est d enie
par :
i E,
1
(i)
= IE[T(i) | X
0
= i] .
Si de plus, la chane (X
n
)
nN
est ap eriodique alors :
(1) la matrice P
n
converge quand n tend vers linni vers une matrice dont toutes les lignes sont egales
` a ;
(2) quelle que soit la loi de X
0
, la suite (X
n
)
nN
convergence en loi quand n tend vers linni vers :
pour tout etat i, IP(X
n
= i) (i).
23
1.4 Exercices
Exercice 1 : Transmission dun bit informatique
Un bit informatique valant 0 ou 1 est transmis dun poste A vers un poste Ben passant par N interm ediaires.
Chacun de ces interm ediaires transmet correctement le bit avec probabilit e p et linverse avec probabilit e
1 p, ind ependamment les uns des autres. Le bit (al eatoire) dentr ee, disons X
0
, est suppos e ind ependent
des interm ediaires. Pour n = 1, . . . , N, notons X
n
le bit sortant du n
e
interm ediaire.
1. Il a et e v eri e en cours que la suite de v.a. (X
n
)
0nN
est une chane de Markov homog` ene.
Rappeler sa matrice et son graphe de transition.
2. Calculer la probabilit e que le bit arrive correct en B. Que vaut cette probabilit e lorsque N tend vers
linni ?
Commentaires : le th eor` eme limite 1.3.3 permet de retrouver rapidement ces r esultats.
Exercice 2 : Jeu de loie
Soit le petit jeu de loie suivant. Les cases sont 0, 1, 2, 3 et forment un cycle. Sur la case 3, il est ecrit au
prochain tour, reculez de deux cases. On part de la case 0 et on gagne d` es que lon y retourne.
`
A chaque
etape, on lance une pi` ece sym etrique : on avance dune case si cest face et de deux si cest pile. On note
X
n
la suite des etats (le joueur continue de jouer apr` es avoir gagn e).
1. Montrer que la suite (X
n
)
nN
est une chane de Markov homog` ene issue de 0 et donner sa matrice
de transition.
2.

Etudier la convergence en loi de la chane.
3. En d eduire le nombre moyen de coups jou es pour gagner.
Exercice 3 : Gestion de stock
Dans un magasin, on souhaite suivre l evolution au cours du temps du stock dun article donn e, i.e. le
nombre dexemplaires de cet article en r eserve dans le magasin. Notons X
n
ce nombre au matin du n
e
jour.
Ce jour-l` a, D
n+1
exemplaires de cet article sont demand es. Le stock evolue comme suit. Si X
n
D
n+1
s
alors on ne r eapprovisionne pas. Dans le cas contraire, on r eapprovisionne ` a hauteur de S. Les entiers s et
S sont les niveaux minimal et maximal du stock. La suite de v.a. (D
n
)
n1
est i.i.d. et le niveau initial du
stock X
0
peut etre suppos e ind ependant des (D
n
)
n1
.
1. Montrer que la suite (X
n
)
nN
est une chane de Markov homog` ene et donner son graphe de tran-
sition (du moins, les ar etes issues dun etat s x S).
2. Supposons d esormais que s = 1, S = 2 et que la loi commune des (D
n
)
n1
est uniforme sur
{0, 1, 2}. Donner la matrice et le graphe de transition. Quelle est la probabilit e d etre en rupture de stock ` a
long terme ?
Exercice 4 (Examen 2009) :
Consid erons la chane de Markov (X
n
)
nN
` a valeurs dans E = {a, b, c, d} et dont la matrice de transition
est donn ee par :
P =
_
_
_
_
1/2 1/4 1/4 0
1/2 1/2 0 0
0 0 0 1
0 1/2 1/2 0
_
_
_
_
.
24
1. Repr esenter le graphe de transition de la chane (X
n
)
nN
et montrer quelle est irr eductible.
2. Calculer le coefcient p
(n)
d,d
pour n = 1, 2, 3, 4.
3. La s erie

p
(n)
d,d
est-elle convergente ou divergente ?
4.

Etudier la convergence en loi de la chane. En d eduire le temps moyen de retour en l etat d.
Exercice 5 : Existence de plusieurs mesures stationnaires
Consid erons la chane de Markov (X
n
)
0nN
` a valeurs dans E = {a, b, c, d} et dont la matrice de transi-
tion est donn ee par :
P =
_
_
_
_
1/2 1/2 0 0
1/2 1/2 0 0
1/4 1/4 1/4 1/4
0 0 0 1
_
_
_
_
.
1. D eterminer les classes irr eductibles. Lesquelles sont transientes, r ecurrentes ?
2. Montrer que la matrice P
n
converge (coefcient par coefcient) vers une matrice P

que lon
d eterminera.
3. En d eduire lexistence de plusieurs mesures stationnaires (associ ees ` a P).
Exercice 6 : La marche al eatoire simple
Soient (Y
n
)
n1
une suite de v.a. i.i.d., chacune valant 1 avec probabilit e p et 1 avec probabilit e 1p. Soit
Y
0
Z une v.a. ind ependante des Y
n
, repr esentant le point de d epart sur laxe Z de la chane. On d enit la
marche al eatoire simple par
X
n+1
= X
n
+Y
n+1
= Y
0
+Y
1
+. . . +Y
n
+Y
n+1
,
pour tout n N. Il a et e v eri e que le processus stochastique (X
n
)
n1
est une chane de Markov homog` ene
sur E = Z.
1. Montrer que, pour tout n, p
(2n+1)
0,0
= 0 et p
(2n)
0,0
= C
n
2n
p
n
q
n
. Puis, donner un equivalent de p
(2n)
0,0
en
utilisant la formule de Stirling :
A > 0, n! A

n
_
n
e
_
n
.
2. Conclure quant ` a la r ecurrence ou la transience de la chane en fonction du param` etre p. Interpr eter.
25
Chapitre 2
Processus stochastiques markoviens en
temps continu
Un mod` ele d evolution dynamique en temps continu dans lequel on fait d ependre l evolution future
de l etat pr esent et du hasard est un processus de Markov. On en rencontre dans de nombreux domaines
dapplications, comme par exemple l etude des les dattente.
2.1 Processus de Poisson
2.1.1 Trois propri et es de la loi exponentielle
La loi exponentielle est lingr edient de base pour mod eliser des temps dattente d ev enements impr e-
visibles. Cette partie contient quelques-unes de ses propri et es el ementaires.
Soit X une v.a. suivant la loi exponentielle de param` etre , not ee E(). Sa densit e est :
f
X
(x) = e
x
11
x0
.
Elle est sans atome, i.e. x, IP(X = x) = 0. Sa fonction de r epartition vaut
F
X
(x) = IP(X x) = (1 e
x
)11
x0
, (2.1)
son esp erance et sa variance valent respectivement 1/ et 1/
2
. De lexpression (2.1), on d eduit qu` a partir
dune v.a. X de loi exponentielle de param` etre , on obtient une v.a. Y de loi exponentielle de param` etre
1 en posant simplement Y = X.
En pratique, une v.a. de loi exponentielle repr esente une dur ee, typiquement le temps dattente dun
ev enement ou une dur ee de vie. La propri et e importante des lois exponentielles est d etre sans m emoire.
Dans le cas particulier dun composant electronique dont la dur ee de vie serait mod elis ee par une loi expo-
nentielle, cela signie que la probabilit e pour que le composant vive un temps t est la m eme, quil soit neuf
ou quil ait d ej` a v ecu un temps s. Cette absence de m emoire est caract eristique des lois exponentielles.
Proposition 2.1.1 Une v.a. X ` a valeurs dans R
+
et de fonction de r epartition continue suit une loi expo-
nentielle si et seulement si pour tous r eels s, t 0,
IP(X > s +t | X > s) = IP(X > t) . (2.2)
26
D emonstration Si X suit la loi E() alors, dapr` es (2.1),
IP(X > s +t | X > s) =
IP(X > s +t)
IP(X > s)
=
e
(s+t)
e
s
= e
t
= IP(X > t) .
R eciproquement, en notant g(t) = 1 F
X
(t), l equation (2.2) s ecrit g(s +t) = g(s)g(t), pour tous r eels
s, t 0. Un petit travail permet de montrer que les solutions continues de cette equation sont de la forme
g(t) = e
at
, i.e. F
X
(t) = 1 e
at
. Enn, le fait que F
X
(t) tende vers 1 quand t tend vers linni force le
r eel a ` a etre strictement n egatif. La v.a. X suit donc la loi exponentielle de param` etre a.
Proposition 2.1.2 Consid erons n v.a. ind ependantes X
1
, . . . , X
n
de lois respectives E(
1
), . . . , E(
n
).
Posons Y = min{X
1
, . . . , X
n
}. Alors Y suit la loi exponentielle de param` etre
1
+. . . +
n
et pour tout
indice i = 1, . . . , n,
IP(Y = X
i
) =

i

1
+. . . +
n
.
D emonstration Pour identier la loi de Y , le plus simple est de calculer sa fonction de r epartition :
t 0, IP(Y > t) = IP(i = 1, . . . , n, X
i
> t)
=
n

i=1
IP(X
i
> t)
= e
(
1
+...+n)t
.
On conclut en utilisant le fait quune fonction de r epartition caract erise la loi.
L ev enement Y = X
i
equivaut ` a X
i
X
j
, j. De plus, lind ependance entre les v.a. X
1
, . . . , X
n
nous
permet d ecrire :
IP(Y = X
i
) =
_
{(x
1
,...,xn),x
i
x
j
j}
_
_

1jn

j
e

j
x
j
11
x
j
0
_
_
dx
1
. . . dx
n
=
_

0

j=i
__

x
i

j
e

j
x
j
dx
j
_

i
e

i
x
i
dx
i
=
_

0

i
e
(
1
+...+n)x
i
dx
i
=

i

1
+. . . +
n
.

27
Proposition 2.1.3 La somme de n v.a. ind ependantes de loi exponentielle de param` etre suit une loi,
appal ee loi Gamma de param` etres n et et not ee (n, ), dont la densit e est donn ee par :
f(x) =

n
x
n1
(n 1)!
e
x
11
x0
.
2.1.2 Pr esentation du processus de Poisson
D enition 2.1.4 Soit (X
n
)
n1
une suite de v.a. ind ependantes et de m eme loi, exponentielle de param` etre
. Posons S
0
= 0 et pour tout entier n 1, S
n
= X
1
+. . . +X
n
. Pour tout r eel t 0, d enissons la v.a.
N
t
, ` a valeurs enti` eres, par :
N
t
= n S
n
t < S
n+1
.
Le processus stochastique {N
t
}
t0
est appel e processus de Poisson dintensit e .
Le processus de Poisson est un mod` ele de comptage d ev enements al eatoires isol es dans le temps, comme
des tops dhorloge s epar es par des dur ees al eatoires. Dans ce mod` ele :
X
n
est la dur ee s eparant le (n 1)
e
top du n
e
;
S
n
est la date ` a laquelle survient le n
e
top. Dapr` es la Proposition 2.1.3, la v.a. S
n
suit la loi Gamma
de param` etres n et ;
N
t
est le nombre de tops compt es entre linstant 0 et linstant t :
N
t
=

n1
11
Snt
.
0
1
2
3
4
5
N
t
t
X
1
X
2
X
4
X
5
X
6
S
1
S
2
S
3
S
4
S
5
FIGURE 2.1 Ci-dessus est repr esent ee la trajectoire simul ee dun processus de Poisson dintensit e
= 1/2 sur lintervalle [0; 10]. On constate que dassez longues p eriodes sans aucun top alternent
avec des rafales de tops rapproch es : il ny a pas dautre explication ` a la fameuse loi des s eries ch` ere
aux journalistes. Si des ev enements (comme par exemple des accidents davion) arrivent rarement, de
mani` ere impr evisible et ind ependante, on ne peut pas imaginer quils surviennent ` a des intervalles de
temps r eguliers. Il faut plut ot sattendre ` a les voir survenir parfois de mani` ere rapproch ee, par s eries.
Soit 0 s t des r eels. La diff erence N
t
N
s
est appel ee accroissement. Elle est egale au nombre de
tops entre les instants s et t.
28
Th eor` eme 2.1.5 Consid erons un processus de Poisson {N
t
}
t0
dintensit e . Il v erie les propri et es sui-
vantes :
(P1) {N
t
}
t0
est un processus de comptage ; il est ` a valeurs enti` eres, v erie N
0
= 0 p.s. et pour tous
r eels 0 s t, N
s
N
t
.
(P2) {N
t
}
t0
est un processus ` a accroissements ind ependants ; pour tout entier k et pour toute suite
dinstants 0 < t
1
< t
2
< . . . < t
k
, les accroissements N
t
2
N
t
1
, . . . , N
t
k
N
t
k1
sont des v.a.
ind ependantes.
(P3) Les accroissements du processus {N
t
}
t0
sont poissonniens ; pour tous r eels 0 s < t, la v.a.
N
t
N
s
suit la loi de Poisson de param` etre (t s) ;
(P4) {N
t
}
t0
est un processus homog` ene ou ` a accroissements stationnaires ; pour tous instants 0
t
1
< t
2
et s 0, la v.a. N
t
2
+s
N
t
1
+s
suit la m eme loi que N
t
2
N
t
1
. ;
(P5) {N
t
}
t0
est un processus d ev enements rares ; IP(N
t+h
N
t
2) = o(h).
Nous ne d emontrerons pas ces r esultats et nous nous contenterons de quelques commentaires.
Par d enition, un processus de Poisson est une fonction du hasard et du temps, ` a valeurs enti` eres, qui est
croissante dans le temps. De plus,
IP(N
0
= 0) = 1 IP(N
0
= 0) 1 IP(X
1
= 0) = 1 .
Cest donc un processus de comptage.
La d emonstration de la propri et e (P2) est li ee ` a labsence de m emoire de la loi exponentielle (Proposi-
tion 2.1.1). Elle signie que les nombres de tops compt es dans des intervalles de temps disjoints sont
ind ependants. En particulier, les nombres de tops dans les intervalles [0; t] et ]t; t +s] sont ind ependants.
Cest la propri et e (P3) qui est ` a lorigine du nom du processus de Poisson. La probabilit e pour quil y ait
n tops entre les instants s et t (avec s < t) est donn ee par :
IP(N
t
N
s
= n) =
((t s))
n
n!
e
(ts)
.
En particulier,
IE[N
t
N
s
] = (t s) .
Le nombre moyen de tops compt es dans un intervalle de temps est donc proportionnel ` a la longueur de cet
intervalle et le coefcient de proportionnalit e nest autre que . Par cons equent, le nombre moyen de tops
par unit e de temps est egal ` a , fort justement appel e intensit e du processus. La dur ee moyenne entre deux
tops etant de 1/ (ce sont des exponentielles de param` etre ), il est normal de compter tops par unit e de
temps en moyenne.
Avec la condition N
0
= 0 p.s., le nombre de tops jusqu` a linstant t est distribu e selon la loi de Poisson de
param` etre t :
N
t
P(t) .
La propri et e (P4) est une cons equence imm ediate de (P3) : les v.a. N
t
2
+s
N
t
1
+s
et N
t
2
N
t
1
suivent
toutes les deux la loi de Poisson de param` etre ((t
2
+s) (t
1
+s)) = (t
2
t
1
).
La propri et e (P5) signie que la probabilit e de compter plus dun top dans un petit intervalle de temps est
n egligeable. Elle d ecoule egalement de la propri et e (P3). Rappelons tout dabord que f(h) = o(h) signie
que le rapport f(h)/h tend vers 0 quand h tend vers 0. La notation o(h) a un caract` ere innit esimal (et en
aucun cas global). Puisque
IP(N
t+h
N
t
= 0) = e
h
= 1 h +o(h)
29
et
IP(N
t+h
N
t
= 1) = (h)e
h
= h +o(h) ,
on en d eduit que
IP(N
t+h
N
t
2) = 1 IP(N
t+h
N
t
= 0) IP(N
t+h
N
t
= 1) = o(h) .
R eciproquement, un processus stochastique v eriant les propri et es (P1), (P2), (P4) et (P5) est un processus
de Poisson. Il v erie donc egalement la propri et e (P3).
Les instants de saut dun processus de Poisson v erient la propri et e int eressante suivante : lorsquon sait
quexactement n sauts ont eu lieu dans lintervalle [0; t], la distribution de ces sauts dans [0; t] est celle de
n points tir es uniform ement au hasard dans cet intervalle.
Proposition 2.1.6 Conditionnellement en {N
t
= n}, la loi du vecteur (S
1
, . . . , S
n
) des n premiers instants
de saut dun processus de Poisson est la m eme que celle du r eordonnement par ordre croissant dune suite
de n v.a. ind ependantes et de m eme loi uniforme sur [0; t]. Autrement dit, si on tire des v.a. U
1
, . . . , U
n
ind ependantes de loi uniforme sur [0; t] et si on les r eordonne en posant
U
(1)
= min
1in
U
i
< U
(2)
< . . . < U
(n)
= max
1in
U
i
,
alors la loi conditionnelle de (S
1
, . . . , S
n
) sachant N
t
= n est la m eme que celle de (U
(1)
, . . . , U
(n)
).
D emonstration Nous d emontrons uniquement le cas n = 1.

Etant donn es des r eels 0 u t, on peut
ecrire :
IP(S
1
u, N
t
= 1) = IP(N
u
= 1, N
t
= 1)
= IP(N
u
= 1, N
t
N
u
= 0)
= IP(N
u
= 1) IP(N
t
N
u
= 0) ,
du fait de lind ependance des accroissements (P2). Par la propri et e (P3), les v.a. N
u
et N
t
N
u
suivent
des lois de Poisson de param` etres respectifs u et (t u) (o` u est lintensit e du processus). Ainsi,
IP(S
1
u, N
t
= 1) = IP(N
u
= 1) IP(N
t
N
u
= 0)
= ue
u
e
(tu)
= ue
t
.
Finalement,
IP(S
1
u | N
t
= 1) =
u
t
.
Autrement dit, la fonction de r epartition de la v.a. S
1
conditionnellement ` a {N
t
= 1} est celle dune loi
uniforme sur lintervalle [0; t].
Terminons en donnant deux r esultats sur la superposition de processus de Poisson ind ependants et sur
lop eration inverse de d ecomposition.
Proposition 2.1.7
30
1. Soient {N
1
t
}
t0
et {N
2
t
}
t0
deux processus de Poisson ind ependants (i.e. tout ev enement li e ` a
lun est ind ependant de tout ev enement li e ` a lautre), dintensit es respectives
1
et
2
. On appelle
superposition de ces deux processus le processus somme :
t 0, N
t
= N
1
t
+N
2
t
.
Alors {N
t
}
t0
est encore un processus de Poisson dintensit e
1
+
2
.
2. Inversement, si {N
t
}
t0
est un processus de Poisson dintensit e , on associe aux instants de saut
(S
n
)
nN
de ce processus une suite de v.a. (Y
n
)
nN
ind ependantes, ind ependantes du processus
{N
t
}
t0
, et de m eme loi de Bernoulli :
n N, IP(Y
n
= 1) = p et IP(Y
n
= 0) = 1 p .
Soit {N

t
}
t0
le processus dont les instants de saut sont les (S
n
)
nN
tels que Y
n
= 1. Alors, {N

t
}
t0
est encore un processus de Poisson dintensit e

= p.
Voici deux exemples dapplication :
Sur une voie ` a double sens, si les ux de v ehicules venant de droite et de gauche sont deux processus
de Poisson dintensit e respectives
1
et
2
, pouvant etre consid er es comme ind ependants, alors le
ux global de v ehicules est encore un processus de Poisson dintensit e
1
+
2
.
Si le ux global de v ehicules est un processus de Poisson dintensit e et que 5% des v ehicules sont
rouges alors le ux des v ehicules rouges est encore un processus de Poisson dintensit e

= 0, 05.
2.1.3 Simulation et mod elisation
De nombreuses situations sont mod elis ees par les processus de Poisson : arriv ees de clients dans une le
dattente, appels ` a un central t el ephonique, d esint egration de particules radioactives, pannes de composants
electroniques, passages de voitures sur une route ` a grande circulation non embouteill ee. . . Pour se faire une
id ee concr` ete de ce quest un processus de Poisson, rien ne vaut la simulation. On peut bien s ur programmer
en suivant la d enition, ce qui implique des tirages successifs de variables exponentielles. On peut aussi
appliquer la propri et e (P3) et la Proposition 2.1.6 : pour simuler des ev enements poissoniens sur lintervalle
de temps [0; t], on commence par choisir la valeur n prise par N
t
suivant la loi P(t), puis on simule les
dates darriv ees de ces n ev enements en les tirant au hasard suivant la loi uniforme sur [0; t]. En R, cela
donne :
n = rpois(1,t)
v = runif(n,0,t)
w = sort(v)
Le vecteur w contient les instants de sauts S
1
, . . . , S
n
du processus de Poisson dintensit e t sur lintervalle
[0; t].
Il est important de comprendre quelles hypoth` eses de mod elisation lutilisation dun processus de Poisson
sous-entend. Dire que des ev enements surviennent selon un processus de Poisson, cest supposer qu` a
chaque instant, larriv ee du prochain ev enement est parfaitement impr evisible, i.e. ind ependante de ce qui
a pr ec ed e. On suppose de plus que lintensit e (nombre moyen d ev enements par unit e de temps) reste
constante. Supposons que lon souhaite mod eliser des arriv ees de clients dans un magasin. Les questions
sont les suivantes.
Les clients arrivent-ils un par un ( ev enements rares) ?
31
Le temps qui sest ecoul e depuis larriv ee du dernier client est-il sans incidence sur les chances den
voir arriver un bient ot (accroissements ind ependants) ?
Dans une seconde x ee, les chances de voir arriver un client sont-elles constantes (homog en eit e en
temps) ?
M eme si les r eponses ` a ces questions sont g en eralement plut ot n egatives, il est raisonnable de commencer
par mod eliser cette situation par un processus de Poisson. Lorsque cette premi` ere mod elisation conduit
` a des r esultats aberrants, on a recours ` a des mod` eles plus sophistiqu es qui sont des g en eralisations du
processus de Poisson. Par exemple, les processus de renouvellement sont des processus de comptage
d ev enements rares s epar es par des dur ees ind ependantes, mais de loi autre quexponentielle. Les processus
de Poisson non homog` enes sont des processus de comptage, ` a accroissements ind ependants, d ev enements
rares, mais la loi de N
t+h
N
t
d epend de t. Lint er et des processus de Poisson compos es r eside dans la
possibilit e dajouter, ` a chaque top, une v.a. enti` ere plut ot que daugmenter syst ematiquement de 1. Ceci
permet en particulier de tenir compte des arriv ees group ees dans les mod` eles dattente.
Signalons enn que le processus de Poisson peut etre etendu ` a des dimensions sup erieures ` a 1. Les tops
sont alors interpr et es comme des points de lespace, pouvant par exemple mod elis es les individus dune
esp` ece prot eg ee dans un parc naturel. Dans la fen etre [0; 20]
2
, le nombre de points dun processus de Pois-
son (bi-dimensionnel) dintensit e suit la loi de Poisson de param` etre 20
2
. Puis, en ces points, nous
centrons des disques dont les rayons sont des v.a. i.i.d. Lunion de ces disques forme un sous-ensemble
al eatoire , appel e Mod` ele Bool een ; voir la Figure 2.2. Le Mod` ele Bool een permet de mod eliser de nom-
breux ph enom` enes physiques ou biologiques : la porosit e dun milieu ou dun mat eriau, la propagation
dune maladie sur un territoire, etc.
FIGURE 2.2 Trois simulations du Mod` ele Bool een. Dans les trois cas, les rayons sont distribu es selon la
loi exponentielle de param` etre 1. Lintensit e du processus de Poisson sous-jacent vaut, de gauche ` a droite,
= 1, 4, 7. Il nest donc pas etonnant que lensemble (en noir) remplisse de plus en plus la fen etre
[0; 20]
2
. Dans la derni` ere simulation, est-il possible de traverser la fen etre [0; 20]
2
, disons de gauche ` a
droite, tout en restant dans ?
Voici le code en R produisant ces simulations :
n = rpois(1,L
2
)
X = runif(n,0,L)
Y = runif(n,0,L)
R = rexp(n,1)
plot(0 :L, 0 :L, type=n, xlab=, ylab=)
32
for (i in 1 :n) points(X[i],Y[i],cex=R[i],pch=16)
2.2 Processus markoviens de sauts
Les Processus markoviens de sauts sont la g en eralisation des chanes de Markov au temps continu.
Le passage du temps discret au temps continu se fait en remplacant le pas de temps xe dune chane de
Markov par des intervalles de temps al eatoires ind ependants de loi exponentielle. Le processus de Poisson
sera notre premier exemple de processus markoviens de sauts. Un second sera li e aux les dattente et sera
abord e dans la derni` ere partie de ce cours.
2.2.1 D enition et exemples
Consid erons un ensemble E ni ou d enombrable et une suite croissante de v.a. (S
n
)
nN
` a valeurs dans
R
+
. Un processus de sauts {X
t
}
t0
` a espace d etats E et dinstants de sauts (S
n
)
nN
est un processus
stochastique dont la valeur ne peut changer quen ses instants de sauts :
n N, !x E tel que t [S
n
; S
n+1
[, X
t
= x .
Nous nous int eressons exclusivement ` a une classe particuli` ere de processus de sauts, appel es processus
markoviens de sauts. Ces processus evoluent de la mani` ere suivante. Supposons que le processus se trouve
` a l etat x ` a lissu du saut intervenant ` a linstant S
n
.
1. Le temps de s ejour dans l etat x, ` a savoir la v.a. S
n+1
S
n
, suit la loi exponentielle de param` etre
(x). Le param` etre de cette loi peut donc d ependre de l etat x o` u le processus se trouve. Mais ` a part
cette d ependance en l etat x, la v.a. S
n+1
S
n
est ind ependante du pass e du processus.
2.
`
A linstant S
n+1
, le processus saute de l etat x vers l etat y (avec y = x) avec une probabilit e q
x,y
,
quantit e ind ependante de S
n+1
S
n
et du pass e.
L evolution du processus est donc d etermin ee par la suite ((x))
xE
et par la matrice Q := (q
x,y
)
x,yE
.
Voici une d enition plus formelle :
D enition 2.2.1 Un processus de sauts {X
t
}
t0
` a espace d etats E et dinstants de sauts (S
n
)
nN
est
markovien sil existe :
une suite born ee ((x))
xE
de r eels strictement positifs,
une matrice Q = (q
x,y
)
x,yE
de r eels positifs v eriant
x E, q
x,x
= 0 et

yE
q
x,y
= 1 ,
telles que, pour tout entier n, pour tous etats x
0
, x
1
, . . . , x
n
, x
n+1
et pour tous r eels positifs t
1
, . . . , t
n
,
t
n+1
:
IP
_
X
S
n+1
= x
n+1
,
S
n+1
S
n
> t
n+1

X
Sn
= x
n
, S
n
S
n1
> t
n
, . . . ,
X
S
1
= x
1
, S
1
S
0
> t
1
, X
S
0
= x
0
_
= IP
_
X
S
n+1
= x
n+1
,
S
n+1
S
n
> t
n+1

X
Sn
= x
n
_
(2.3)
= e
(xn)t
n+1
q
xn,x
n+1
. (2.4)
33
Le pass e du processus {X
t
}
t0
, ` a savoir les etats visit es et les temps de s ejours dans chacun de ces etats,
est d ecrit par l ev enement
X
Sn
= x
n
, S
n
S
n1
> t
n
, . . . , X
S
1
= x
1
, S
1
S
0
> t
1
, X
S
0
= x
0
.
L egalit e (2.3) traduit le caract` ere markovien du processus : conditionnellement ` a l etat pr esent, l evolution
future ne d epend pas du pass e. Dans l egalit e (2.4), le terme e
(xn)t
n+1
repr esente la probabilit e pour un
temps de s ejour de loi exponentielle de param` etre (x
n
) d etre sup erieur ` a t
n+1
et le terme q
xn,x
n+1
la
probabilit e de sauter de x
n
vers x
n+1
. Le produit des termes e
(xn)t
n+1
et q
xn,x
n+1
traduit lind ependance
entre le temps de s ejour et le futur etat visit e.
Le coefcient (x) doit etre compris comme le taux de saut ` a partir de l etat x. Son inverse 1/(x) est le
temps moyen avant le prochain saut lorsque le processus est dans l etat x. Le fait que la suite ((x))
xE
soit born ee est une hypoth` ese technique ; elle assure que la suite (S
n
)
nN
des instants de sauts du processus
tend presque s urement vers linni, et donc que la v.a. X
t
est bien d enie pour tout t 0. Remarquons
que cette condition est automatiquement remplie quand lespace d etats E est ni.
Enn, l egalit e q
x,x
= 0, pour tout x, interdit au processus de sauter depuis un etat dans lui-m eme.
Voici deux exemples de processus markoviens de sauts. Un troisi` eme exemple concernant le mod` ele de le
dattente ` a un serveur sera abord e dans la derni` ere partie de ce cours.
EXEMPLES :
Processus de Poisson. Le processus de Poisson {N
t
}
t0
(dintensit e ) est un processus de sauts ` a
espace d etats E = N : il vaut n sur tout lintervalle de temps [S
n
; S
n+1
[. De plus, tous les temps de s ejour
suivent la loi exponentielle de param` etre et, depuis l etat n (quil atteint ` a lissu du n
e
saut), il saute en
n + 1.
n N, (n) = et q
n,m
=
_
1 si m = n + 1
0 sinon
.
Le processus de Poisson remplit ais ement la d enition dun processus markovien de sauts. L equation (2.3)
repose sur lind ependance des temps de s ejour S
1
, S
2
S
1
, . . . , S
n+1
S
n
et du fait que N
Sn
soit toujours
egal ` a n. Ce nest pas plus difcile pour (2.4) :
IP(N
S
n+1
= n + 1, S
n+1
S
n
> t
n+1
| N
Sn
= n) = IP(S
n+1
S
n
> t
n+1
)
= e
t
n+1
= e
t
n+1
q
n,n+1
.
Automate binaire. Consid erons une machine qui peut etre soit en etat de marche, soit en panne.
Notons X
t
la v.a. egale ` a 0 si la machine est en panne ` a linstant t et egale ` a 1 si elle est en etat de marche ` a
linstant t. Nous faisons lhypoth` ese que les temps de fonctionnement de cette machine sont des v.a. de loi
exponentielle de param` etre et que les temps de r eparation sont des v.a. de loi exponentielle de param` etre
. Nous supposons egalement toutes ces v.a. ind ependantes.
Alors, le processus {X
t
}
t0
est un processus markovien de sauts ` a valeurs dans E = {0, 1}. Les pa-
ram` etres qui interviennent sont (0) = , (1) = et q
0,1
= q
1,0
= 1.
Cette partie se termine par un programme R permettant de simuler un processus markovien de sauts. Cette
routine, nomm ee markov, renvoie l etat dans lequel se trouve le processus markovien de sauts {X
t
}
t0
au temps T > 0. Elle prend en entr ee l etat initial x
0
du processus, le r eel T, ainsi que le vecteur =
((x))
xE
et la matrice Q = (q
x,y
)
x,yE
d eterminant la dynamique du processus. Les el ements de E sont
num erot es et not es comme suit : x
1
, x
2
, . . .
34
markov = function(x
0
,T,,Q)
{ X = x
0
T = T - rexp(1,[x
0
])
while (T > 0)
{ U = runif(1,0,1)
R = q
X,x
1
i = 1
while (R < U)
{ i = i + 1
R = R + q
X,x
i
}
X = x
i
T = T - rexp(1,[x
i
])
}
X
}
Le cur de cette routine consiste ` a choisir le prochain etat visit e par le processus selon le vecteur de
probabilit e (q
X,x
i
)
i1
, l etat occup e etant X. Cette simulation peut se simplier consid erablement suivant
le contexte (processus de Poisson, automate binaire).
2.2.2 Probabilit es de transition et g en erateur de Markov
Le r esultat suivant est lanalogue de la propri et e de Markov et de lhomog en eit e en temps qui d enissent
habituellement les chanes de Markov. Comme dans le cas discret, cela conduit ` a une caract erisation simple
de la loi du processus.
Proposition 2.2.2 Un processus markovien de sauts {X
t
}
t0
` a espace d etats E satisfait les deux egalit es
suivantes : pour tout entier n, pour tous etats x
0
, x
1
, . . . , x
n
, x
n+1
et pour toute suite croissante de r eels
positifs 0 < t
1
< . . . < t
n
< t
n+1
,
IP(X
t
n+1
= x
n+1
| X
tn
= x
n
, . . . , X
t
1
= x
1
, X
0
= x
0
) = IP(X
t
n+1
= x
n+1
| X
tn
= x
n
)
= IP(X
t
n+1
tn
= x
n+1
| X
0
= x
n
) .
D` es lors, la probabilit e conditionnelle IP(X
t
= y|X
s
= x) ne d epend que des etats x, y et de laccroisse-
ment t s, ce qui justie la notation suivante. Pour tout r eel positif t et pour tous etats x, y, la probabilit e
de transition de x vers y sur un intervalle (de temps) de longueur t est d enie par :
p
(t)
x,y
:= IP(X
t
= y | X
0
= x) .
Attention, la notation p
(t)
x,y
ne pr ecise pas le nombre de sauts pour aller de l etat x ` a linstant 0 ` a l etat y ` a
linstant t.
La matrice P
(t)
:= (p
(t)
x,y
)
x,yE
est appel ee matrice de transition sur un intervalle (de temps) de longueur
t. Comme dans le cas discret, la taille de la matrice P
(t)
d epend du cardinal de E ( eventuellement inni),
ses coefcients sont des r eels positifs et la somme de ces coefcients sur toute une ligne vaut 1.
Comme dans le cas discret, la loi
t
de la v.a. X
t
est obtenue par produit matriciel entre la loi initiale
0
(i.e. celle de X
0
) et la matrice de transition P
(t)
:

t
=
0
P
(t)
.
35
Les Propositions 2.2.3 et 2.2.4 fournissent deux autres points communs entre processus markoviens ` a
temps discret et ` a temps continu. La donn ee de la famille de matrices {P
(t)
}
t0
et de la loi de X
0
suft ` a
caract eriser la loi dun processus markovien de sauts :
Proposition 2.2.3 Soit {X
t
}
t0
un processus markovien de sauts de matrices de transition {P
(t)
}
t0
.
Pour tout entier n, pour tous etats x
0
, x
1
, . . . , x
n
et pour toute suite croissante de r eels positifs 0 < t
1
<
. . . < t
n
, on a :
IP(X
tn
= x
n
, . . . , X
t
1
= x
1
, X
0
= x
0
) = IP(X
0
= x
0
) p
(t
1
)
x
0
,x
1
p
(t
2
t
1
)
x
1
,x
2
. . . p
(tnt
n1
)
x
n1
,xn
.
La d emonstration de cette derni` ere egalit e est la m eme que dans le cas discret. Elle utilise exclusivement
la propri et e de Markov v eri ee par le processus {X
t
}
t0
(Proposition 2.2.2).
Le r esultat suivant sinterpr` ete comme suit : aller de x vers y en un temps t + s, cest aller de x vers un
etat z en un temps t puis de z vers y en un temps s.
Proposition 2.2.4 (Relation de Chapman-Kolmogorov) Soit {X
t
}
t0
un processus markovien de sauts de
matrices de transition {P
(t)
}
t0
. Soient s, t 0. Alors
P
(t+s)
= P
(t)
P
(s)
.
Ou encore, les coefcients de ces matrices satisfont les relations : pour tous etats x, y,
p
(t+s)
x,y
=

zE
p
(t)
x,z
p
(s)
z,y
.
D emonstration

Ecrivons pour commencer
p
(t+s)
x,y
= IP(X
t+s
= y | X
0
= x)
=

zE
IP(X
t+s
= y, X
t
= z | X
0
= x)
=

zE
IP(X
t+s
= y | X
t
= z, X
0
= x) IP(X
t
= z | X
0
= x)
en multipliant au num erateur et au d enominateur par la facteur IP(X
t
= z, X
0
= x). La d emonstration
sach` eve en utilisant la propri et e de Markov et lhomog en eit e :
IP(X
t+s
= y | X
t
= z, X
0
= x) = IP(X
t+s
= y | X
t
= z)
= IP(X
s
= y | X
0
= z)
= p
(s)
z,y
.

Les similitudes entre les cas discret et continu sarr` etent ici. En effet, les probabilit es de transition p
(t)
x,y
sont en g en eral difcile ` a calculer, voire impossible. Dailleurs, leurs expressions nont que peu dutilit e en
pratique... Nous pr ef ererons travailler avec le g en erateur du processus qui sera introduit dans le prochain
r esultat.
36
Avant cela, rappelons que le processus markovien de sauts {X
t
}
t0
demeure dans le m eme etat entre le n
e
saut (compris) et le (n + 1)
e
(exclu), pr ecis ement pour tout t [S
n
; S
n+1
[. Du coup, lapplication t X
t
(i.e. la trajectoire du processus) est continue ` a droite. Il en va de m eme pour la probabilit e de transition
p
(t)
x,y
en tant que fonction de t. La limite
p
(0)
x,y
:= lim
t0
+
p
(t)
x,y
=
_
0 si x = y
1 si x = y
est donc bien d enie.
Th eor` eme 2.2.5 Soit {X
t
}
t0
un processus markovien de sauts associ e ` a la suite ((x))
xE
et ` a la matrice
Q = (q
x,y
)
x,yE
. Soient x, y E. Lapplication t p
(t)
x,y
est d erivable ` a droite en t = 0 et cette d eriv ee
vaut :
a
x,y
:= lim
t0
+
p
(t)
x,y
p
(0)
x,y
t
=
_
(x)q
x,y
si x = y
(x) si x = y
. (2.5)
Lorsque les etats x et y sont distincts, cette d eriv ee est appel ee taux de transition de x vers y. La matrice
A = (a
x,y
)
x,yE
est appel ee g en erateur de Markov du processus {X
t
}
t0
.
Soient x et y des etats distincts. La probabilit e q
x,y
daller en y lorsquon quitte x doit etre pond er ee
par lintensit e (x) avec laquelle on quitte x, pour obtenir le taux de transition a
x,y
; a
x,y
= (x)q
x,y
.
Par exemple, si le temps pass e en x est en moyenne plut ot long (disons (x)
1
= 100) alors le taux
de transition de x vers y sera faible, i.e. a
x,y
0, 01, et ce m eme si lorsquon quitte x cest pour aller
syst ematiquement en y (q
x,y
= 1).
D emonstration Seul le cas o` u x = y est trait e : cela suft ` a comprendre la trame du Th eor` eme 2.2.5.

Etant en x au temps 0, supposons que le processus y soit de nouveau au temps t. Il y a deux possibilit es.
Soit le processus na pas quitt e l etat x, ce qui signie que le premier instant de saut S
1
survient apr` es t.
Soit le processus a quitt e l etat x et y est revenu, ce qui implique au moins deux sauts avant linstant t.
IP(X
t
= x | X
0
= x) = IP(S
1
> t | X
0
= x) + IP(S
1
t, S
2
t, X
t
= x | X
0
= x) . (2.6)
Sachant X
0
= x, linstant du premier saut S
1
suit la loi exponentielle de param` etre (x). Le premier terme
du membre de droite de (2.6) devient :
IP(S
1
> t | X
0
= x) = e
(x)t
= 1 (x)t +o(t) ,
lorsque t tend vers 0. Si le second terme du membre de droite de (2.6) est un o(t) alors IP(X
t
= x|X
0
= x)
vaut egalement 1 (x)t +o(t). Do` u la limite recherch ee :
IP(X
t
= x | X
0
= x) 1
t
= (x) +o(1) .
Nous savons ce quil reste ` a faire. Le fait que les deux premiers sauts du processus {X
t
}
t0
surviennent
` a des instants tr` es proches de 0 est improbable. Cest la raison pour laquelle IP(S
1
t, S
2
t, X
t
=
x|X
0
= x) est un o(t). Formellement,
IP(S
1
t, S
2
t, X
t
= x | X
0
= x) IP(S
1
t, S
2
t | X
0
= x)
IP(S
1
t, S
2
S
1
t | X
0
= x)

zE
IP(S
1
t, X
S
1
= z, S
2
S
1
t | X
0
= x) .
37
Soit z E. Par d enition du processus markovien de sauts, il vient :
IP(S
1
t, X
S
1
= z, S
2
S
1
t | X
0
= x) = IP(X
S
1
= z, S
2
S
1
t | S
1
t, X
0
= x)
IP(S
1
t | X
0
= x)
= IP(X
S
1
= z, S
2
S
1
t | S
1
t)(1 e
(x)t
)
= (1 e
(z)t
)q
x,z
(1 e
(x)t
) .
En utilisant lin egalit e e
u
1 u et le fait que la suite ((z))
zE
soit born ee, disons par une constante
M > 0, il vient :
IP(S
1
t, S
2
t, X
t
= x | X
0
= x)

zE
IP(S
1
t, X
S
1
= z, S
2
S
1
t | X
0
= x)

zE
(1 e
(z)t
)q
x,z
(1 e
(x)t
)

zE
(z)q
x,z
(x)t
2
M(x)t
2

zE
q
x,z
M(x)t
2
= o(t) .

Le g en erateur de Markov A = (a
x,y
)
x,yE
est enti` erement d etermin e par la suite ((x))
xE
et la matrice
Q = (q
x,y
)
x,yE
d enissant le processus markovien de sauts. Cest une matrice carr ee ` a coefcients r eels
positifs except e sur la diagonale. Le terme dordre x de la diagonale v erie
a
x,x
= (x) = (x)

y,y=x
q
x,y
=

y,y=x
a
x,y
.
La somme des coefcients dune m eme ligne de la matrice A vaut donc 0.
Dans les applications, un mod` ele markovien continu est d eni par ses taux de transition a
x,y
qui ont en
g en eral une signication concr` ete (nombres moyens darriv ees, de services, de pannes ou de r eparations
par unit e de temps). De plus, lint er et du g en erateur par rapport aux matrices de transition {P
(t)
}
t0
est que celui-ci ne d epend plus du temps : cest une d eriv ee (` a droite) en t = 0. Ainsi, on r esume souvent
linformation quil contient par un graphe de transition. Cest un graphe orient e et pond er e dont lensemble
des sommets est E. Une ar ete de poids a
x,y
va de x vers y = x si a
x,y
> 0.
EXEMPLES :
Processus de Poisson. Pour tout entier x, (x) est egal ` a et q
x,x+1
egal ` a 1. D` es lors, le taux de
transition de x vers x + 1 vaut
a
x,x+1
= (x) q
x,x+1
= .
Il est nul vers tout autre entier y : pour tout y N \ {x, x + 1}, a
x,y
= 0. Enn, le coefcient a
x,x
vaut
.
Automate binaire. La v.a. X
t
est egale ` a 0 ou 1 selon que la machine soit en etat de panne ou
de marche ` a linstant t. Rappelons que les temps de fonctionnement de cette machine sont des v.a. de loi
exponentielle de param` etre et que les temps de r eparation sont des v.a. de loi exponentielle de param` etre
38
A =
_
_
_
_
_
_
_
_
_
0 0
0 0
.
.
.
0 0
.
.
.
0 0 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
_
_

x1 x x+1
, toutes ces v.a. etant ind ependantes. Dapr` es la Proposition 2.2.5, le taux de transition de l etat de panne
vers l etat de fonctionnement est
a
0,1
= (0) q
0,1
=
tandis le taux de transition de l etat de fonctionnement vers l etat de panne est
a
1,0
= (1) q
1,0
= .
Enn, les coefcients a
0,0
et a
1,1
valent respectivement et .
A =
_


_
0 1

2.2.3 Th eor` eme limite

Comme dans le cas discret, l etude du comportement asymptotique dun processus markovien de sauts
passe par lidentication dune mesure stationnaire sur lespace d etats E.
D enition 2.2.6 Une mesure stationnaire (ou invariante) dun processus markovien de sauts de matrices
de transition {P
(t)
}
t0
est une loi de probabilit e sur E, disons = ((x))
xE
, v eriant pour tout t la
relation = P
(t)
.
Rappelons que la loi
t
de la v.a. X
t
v erie
t
=
0
P
(t)
. D` es lors, la relation = P
(t)
sinterpr` ete
comme suit : si la v.a. initiale X
0
a pour loi la mesure stationnaire alors, pour tout temps t, la loi de X
t
est encore .
La relation matricielle = P
(t)
est equivalente au syst` eme lin eaire
y E,

xE
(x)p
(t)
x,y
= (y)
(de taille egale au cardinal de E).
Les matrices de transition {P
(t)
}
t0
etant en g en eral difciles ` a d eterminer, nous privil egierons la ca-
ract erisation des mesures stationnaires en termes de g en erateur.
39
Proposition 2.2.7 Une loi de probabilit e sur E est une mesure stationnaire dun processus markovien
de sauts de g en erateur A si et seulement si A = 0, ce qui s ecrit :
y E,

xE
(x)a
x,y
= 0 . (2.7)
EXEMPLES :
Processus de Poisson. Pour tout entier x, le taux de transition a
x,y
vaut si et seulement y = x+1.
Il est nul vers tout autre entier y. Les equations de stationnarit e (2.7) donnent, pour tout x N,
(x)a
x,x
+(x + 1)a
x,x+1
= 0 ,
ou encore (x) = (x + 1) (car a
x,x+1
= a
x,x
= ). Ces equations ne peuvent aboutir ` a une loi de
probabilit e sur N. Le processus de Poisson en tant que processus markovien de sauts nadmet donc pas de
mesure stationnaire. Cest relativement intuitif ; il ne peut pas exister d equilibre en loi pour un processus
qui tend p.s. vers linni.
Automate binaire. Avec le g en erateur
A =
_


_
,
les equations de stationnarit e donnent (0) = (1). Puisque (0) +(1) = 1, on trouve comme unique
mesure stationnaire
=
_

+
,

+
_
.
D enition 2.2.8 Une mesure r eversible dun processus markovien de sauts de g en erateur A est une loi de
probabilit e sur E, disons = ((x))
xE
, v eriant
x, y E, (x)a
x,y
= (y)a
y,x
. (2.8)
Proposition 2.2.9 Toute mesure r eversible pour un processus est stationnaire pour ce processus.
D emonstration Soient y E et = ((x))
xE
une mesure r eversible pour un processus markovien de
sauts de g en erateur A. D` es lors,

xE
(x)a
x,y
=

xE
(y)a
y,x
= (y)

xE
a
y,x
= 0
car la somme des coefcients dune m eme ligne du g en erateur A est nulle. On conclut quant ` a la station-
narit e de par la Proposition 2.2.7.
En pratique (et notamment pour les projets), pour obtenir une mesure stationnaire, il est recommand e de
commencer par chercher une mesure r eversible, plus facile ` a identier quand elle existe. Dailleurs, la
mesure stationnaire
=
_

+
,

+
_
40
de lautomate binaire est egalement r eversible. En effet, elle satisfait l equation
(0)a
0,1
= (1)a
1,0
.
D enition 2.2.10 Un processus markovien de sauts de g en erateur A est dit irr eductible sur E si pour tous
etats x, y E distincts il existe des etats x
1
, . . . , x
n
E tous diff erents tels que :
a
x,x
1
a
x
1
,x
2
. . . a
x
n1
,xn
a
xn,y
> 0 .
Comme dans le cas discret, etre irr eductible signie que lon peut passer (en plusieurs etapes si n ecessaire)
de nimporte quel etat x ` a nimporte quel etat y avec une probabilit e strictement positive. Le processus
markovien de sauts correspondant ` a lautomate binaire est irr eductible. Ce nest pas le cas du processus de
Poisson.
Nous admettons le th eor` eme limite suivant.
Th eor` eme 2.2.11 Consid erons un processus markovien de sauts {X
t
}
t0
de matrices de transition {P
(t)
}
t0
,
irr eductible sur E et admettant une mesure stationnaire . Alors :
(1) est lunique mesure stationnaire du processus {X
t
}
t0
;
(2) la matrice P
(t)
converge quand t tend vers linni vers une matrice dont toutes les lignes sont egales
` a :
x, y E, lim
t+
p
(t)
x,y
= (y) ;
(3) quelle que soit la loi de X
0
, la loi de X
t
converge quand t tend vers linni vers :
x E, lim
t+
IP(X
t
= x) = (x) ;
Le comportement asymptotique dun processus markovien de sauts irr eductible est donc d ecrit par lunique
mesure stationnaire quand elle existe. Dans ce cas, le Th eor` eme 2.2.11 exprime quau bout dun certain
temps, le syst` eme se stabilise dans un r egime d equilibre appel e r egime stationnaire. Une fois ce r egime
atteint, la probabilit e d etre dans l etat x est donn ee par (x).
Remarquons enn que la notion de p eriodicit e na pas de sens en temps continu, ce qui simplie dautant la
discussion. Par contre, celles de r ecurrence et de transience sont conserv ees : ce sont toujours des propri et es
de classes irr eductibles.
2.3 Application aux mod` eles de les dattente
2.3.1 Pr esentation g en erale
La salle de r eservation dans une grande gare SNCF donne une bonne repr esentation dune le dattente.
Elle comprend un certain nombre de guichets et des clients qui sont, soit en train d etre servis, soit en
attente. La salle de r eservation forme le syst` eme. Elle peut etre de capacit e totale nie ou innie. Les
clients arrivent de mani` ere al eatoire selon un ot r egulier. Les temps de services sont egalement al eatoires.
Lobjectif est de savoir si la longueur de la le dattente admet un comportement stationnaire et dans ce
cas de calculer sa loi. Cela permet doptimiser le nombre de guichets n ecessaires pour satisfaire les clients.
Une le dattente est d ecrite par plusieurs el ements :
41
1. Les instants darriv ee des clients sont en g en eral al eatoires. Certaines hypoth` eses sont faites sur leurs
lois. Tout dabord, il narrive quun client ` a la fois. La deuxi` eme hypoth` ese est lhomog en eit e dans
le temps. Cela se traduit par le fait que les temps dinterarriv ee des clients sont des v.a. de m eme loi.
Ils sont egalement suppos es ind ependants. Cette hypoth` ese simplie notablement l etude mais elle
est moins claire ` a justier en pratique. Enn, la loi des temps dinterarriv ee est suppos ee connue.
Le cas le plus courant est celui o` u cette loi est exponentielle. Dans ce cas, le mod` ele des temps
darriv ee des clients est un processus de Poisson.

Evidemment dautres cas peuvent se pr esenter :
temps dinterarriv es constants, de loi uniforme, lognormale ou encore gamma.
2. Les dur ees de service sont suppos ees etre des v.a. ind ependantes, de m eme loi et ind ependante du
processus des arriv ees.
3. Le nombre de guichets ou serveurs est evidemment un param` etre important du mod` ele.
4. La longueur maximum de la le dattente est egalement un param` etre du mod` ele. Il est raisonnable
de supposer dans certains cas que la le dattente puisse etre aussi longue que lon veut. Cependant
dans dautres cas, la longueur est limit ee et lorsque cette limite est atteinte, un client arrivant ne peut
entrer dans la le dattente. Il repart.
5. Le plus souvent les clients sont servis dans leur ordre darriv ee. Cette discipline de service est appel ee
FIFO (First In First Out). Mais dautres disciplines pourraient etre utilis ees comme par exemple,
servir en priorit e certains types de clients, ceux demandant un service de courte dur ee.
Pour r esumer les caract eristiques dune le dattente on utilise classiquement la notation de Kendall :
loi dinterarriv ee / loi de service / nombre de serveurs / longueur maximum de la le
Les lois dinterarriv ees et les lois de services sont not ees symboliquement M pour une loi exponentielle
(M pour Markov, on verra pourquoi plus tard), D pour une loi d eterministe (v.a. constante), U pour une loi
uniforme, G pour une loi quelconque (G pour g en erale). Par exemple, une le M/M/s/signie que le
ot darriv ee des clients est poissonnien, la loi des services est exponentielle, il y a s serveurs et la capacit e
de la salle dattente est illimit ee. Lorsquon ne sp ecie pas le dernier param` etre celui-ci est inni. Sauf avis
contraire la discipline de service est FIFO.
Dans la suite, nous n etudierons que le mod` ele de le dattente M/M/1.
2.3.2

Etude du cas M/M/1
Consid erons un guichet ou un serveur. Les arriv ees des clients ` a ce guichet suivent un processus de
Poisson dintensit e . Le temps de service pour chaque client est une v.a. de loi exponentielle de param` etre
. Toutes les v.a. qui interviennent sont suppos ees ind ependantes. Les clients se mettent en le dattente et
sont servis selon leur ordre darriv ee (discipline FIFO). La capacit e de la le dattente est illimit ee.
Consid erons le processus {X
t
}
t0
repr esentant le nombre de clients en attente (y compris le client en train
d etre servi) au temps t. Cest un processus de sauts ` a valeurs dans N. Quand un client arrive, le processus
saute de +1 et quand un client sen va ` a la n de son service, le processus saute de 1.
D ecrivons plus pr ecis ement cette dynamique. Lorsque le processus saute en x > 0, il y reste un temps
al eatoire qui vaut min(Y
1
, Y
2
) o` u Y
1
est le temps avant larriv ee du prochain client et Y
2
est le temps avant
la n du service en cours. Ces deux v.a. sont ind ependantes de loi exponentielle de param` etres respectifs
et (dapr` es la propri et e de perte de m emoire de la loi exponentielle : Proposition 2.1.1). Dapr` es
la Proposition 2.1.2, le temps de s ejour dans l etat x, i.e. la v.a. min(Y
1
, Y
2
), suit la loi exponentielle de
param` etre +. Le saut suivant est de +1 si min(Y
1
, Y
2
) = Y
1
ce qui se produit avec probabilit e /(+).
Il est de 1 si min(Y
1
, Y
2
) = Y
2
ce qui se produit avec probabilit e /( +). Le fait que Y
1
et Y
2
soient
42
p.s. diff erents signie que deux clients ne peuvent entrer et sortir au m eme instant.
Le cas x = 0 (il ny a plus personne dans la le dattente) est un peu diff erent. Une fois en 0, le processus
y reste un temps al eatoire Y
1
qui est le temps avant larriv ee du prochain client. Cest une v.a. de loi
exponentielle de param` etre . Le saut ` a lissu de ce temps est n ecessairement de +1.
En r esum e, la description de la dynamique du processus {X
t
}
t0
est celle dun processus markovien de
sauts :
le temps de s ejour en l etat x suit la loi exponentielle de param` etre (x) = + si x 1 et
(0) = ;
les coefcients de la matrice Q = (q
x,y
)
x,yE
v erient
q
x,y
=
_
_
_

+
si y = x + 1

+
si y = x 1
0 sinon
lorsque x 1, et q
0,1
= 1 lorsque x = 0.
Enn, le g en erateur de Markov du processus se calcule au moyen de la Proposition 2.2.5.
Proposition 2.3.1 Le processus stochastique {X
t
}
t0
repr esentant le nombre de clients dans la le dat-
tente M/M/1 est un processus markovien de sauts ` a espace d etats N et de g en erateur de Markov
A =
_
_
_
_
_
_
_
_
_
0 0 0
( +) 0 0
.
.
.
0 ( +) 0
.
.
.
0 0 ( +)
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
_
_
.
Voici le graphe de transition de la le dattente M/M/1 :


x1 x x+1


0
Le processus markovien de sauts {X
t
}
t0
repr esentant le nombre de clients dans la le dattente M/M/1
est irr eductible. Dapr` es le Th eor` eme 2.2.11, sil admet une mesure stationnaire alors celle-ci est unique.
Le plus simple est de chercher une mesure r eversible. Les equations de r eversibilit e (2.8) donnent, pour
tout entier x N
(x) = (x + 1) ,
ce qui, apr` es un petit raisonnement par r ecurrence, aboutit ` a
x N, (x) = (0)
_

_
x
.
43
Il existe donc une mesure r eversible si et seulement si la s erie de terme g en eral (x) est convergente, i.e.
si < . Cette mesure r eversible s ecrit alors :
x N, (x) =
_
1

__

_
x
((0) est choisi an de satisfaire la condition

(x) = 1).
Proposition 2.3.2 Le processus stochastique {X
t
}
t0
repr esentant le nombre de clients dans la le dat-
tente M/M/1 admet une mesure stationnaire si et seulement si le param` etre du processus de Poisson
des arriv ees est strictement inf erieur au param` etre de la loi exponentielle des services. Dans ce cas, elle
est unique, cest la loi g eom etrique sur N de param` etre /, et apparait comme limite lorsque t tend vers
linni de la loi du nombre de clients dans la le au temps t :
x N, lim
t+
IP(X
t
= x) =
_
1

__

_
x
.
Ce r esultat est tout ` a fait intuitif. En effet, les param` etres et repr esentent respectivement le nombre
moyen darriv ee de clients par unit e de temps et le nombre moyen de clients servis par unit e de temps.
Ainsi, la le dattente se stabilise sil narrive pas trop de clients pour saturer loffre de service, i.e. si est
plus petit que . En r egime stationnaire (lorsque < ), la longueur de la le dattente a pour moyenne et
variance :

et

_
1

_
2
.
Pour compl eter ces r esultats, signalons que lorsque > , la longueur de la le dattente tend p.s. vers
linni.
Int eressons-nous enn au temps total R pass e dans le syst` eme par un client donn e. Supposons qu` a son
arriv ee dans la le dattente, il y a n clients. Le temps total quil passera dans le syst` eme correspond donc :
` a la n du service du client au guichet lors de son arriv ee : cest une exponentielle de param etre
dapr` es la propri et e de perte de m emoire ;
au n 1 services des clients pr esents devant lui dans la le et non encore servis : ce sont des expo-
nentielles de param etre ;
` a son propre temps de service : encore une exponentielle de param etre .
Toutes ces v.a. etant ind ependantes, ce temps total suit donc une loi Gamma de param etres n + 1 et .
Autrement dit,
IP(R t | N = n) =
_
t
0

n+1
x
n
n!
e
x
dx , (2.9)
o` u N d esigne le nombre de clients dans la le dattente ` a larriv ee du client. En r egime stationnaire, N suit
la loi g eom etrique de param` etre / (Proposition 2.3.2). La loi du temps total R pass e dans le syst` eme ne
d epend plus du client choisi. Il est appel e temps de r eponse du syst` eme.
Proposition 2.3.3 Consid erons la le dattente M/M/1 dans le cas < . En r egime stationnaire, le
temps de r eponse R est distribu e selon la loi exponentielle de param etre .
44
D emonstration Soit t 0. Dapr` es (2.9),
IP(R t) =

n=0
IP(N = n) IP(R t | N = n)
=

n=0
_
1

__

_
n
_
t
0

n+1
x
n
n!
e
x
dx
=
_
t
0
( )e
x
_

n=0

n
x
n
n!
_
dx
=
_
t
0
( )e
()x
dx
= 1 e
()t
.
On reconnait la fonction de r epartition de la loi exponentielle de param` etre . Puisque les fonctions de
r epartition caract erisent les lois, le r esultat est d emontr e.
45
2.4 Exercices
Exercice 1 : Bit informatique poissonnien
Consid erons un processus de Poisson {N
t
}
t0
dintensit e et une v.a. X
0
, ind ependante du processus
{N
t
}
t0
, valant 1 ou 1 avec probabilit e 1/2. Soit {X
t
}
t0
le processus ` a valeurs dans {1, 1}, changeant
de signe ` a chaque saut du processus {N
t
}
t0
et issu de X
0
.
1. Apr` es avoir donn e une expression de X
t
en fonction de N
t
et de X
0
, d eterminer son esp erance et
sa variance.
2. Calculer la probabilit e pour que la valeur du bit au temps t
0
soit la m eme quinitialement. Puis la
limite de cette probabilit e quand t
0
+. Comparer avec le bit informatique ` a temps discret. On pourra
utiliser la formule

k=0
z
2k
(2k)!
=
1
2
_
e
z
+e
z
_
.
Exercice 2 : Temps dattente de voyageurs
Supposons que des voyageurs en partance pour Londres arrivent ` a la gare Lille Europe selon un processus
de Poisson dintensit e . Le d epart de leur train est pr evu au temps t
0
(nous conviendrons que la gare ouvre
ses portes au temps t = 0).
1. Calculer le nombre moyen de voyageurs prenant ce train.
2. Calculer la moyenne de la somme des temps dattente de ces voyageurs.
Exercice 3 : Loi binomiale et processus de Poisson
Comme il fait beau ce matin, je prends mon petit-d ejeuner dans le jardin. Des merles et des moineaux
viennent chiper des miettes de pain que j eparpille volontairement sur la table. Les passages des merles et
des moineaux peuvent etre mod elis es par deux processus de Poisson ind ependants dintensit es respectives
et

.
1. Calculer la probabilit e pour que le premier oiseau venant sur la table soit un merle.
2. Calculer la probabilit e pour que les deux premiers oiseaux venant sur la table soient des merles.
3. Quelle est la loi du nombre doiseaux venant sur la table jusquau temps t ? Sachant que ce nombre
vaut n, quelle est la loi du nombre de merles venant sur la table jusquau temps t ?
Exercice 4 : Radioactivit e
Une source radioactive emet des particules selon un processus de Poisson dintensit e . Chaque particule
est emise suivant une direction al eatoire, de loi uniforme sur [0; 2], et ind ependante des autres particules.
Un compteur Geiger, plac e pr` es de la source, enregistre les particules emises de direction comprise entre
/4 et /4. Quelle est la loi du nombre de particules enregistr ees jusquau temps t ?
Exercice 5 (Examen 2009) :
Une fois la nuit tomb ee, Pierre et Paul se retrouvent ` a lobservatoire an de contempler des etoiles lantes.
Le passage des etoiles lantes dans le ciel est mod elis e par un processus de Poisson dintensit e 0.1 (lunit e
de temps etant la minute), not e {N
t
}
t0
. Soit X
n
le temps al eatoire s eparant le passage de la (n1)
e
etoile
lante du passage de la n
e
.
46
1. Quelle est la probabilit e pour Pierre et Paul de ne voir aucune etoile lante durant la premi` ere heure
dobservation ? Quel est le nombre moyen d etoiles lantes quils devraient voir durant cette premi` ere
heure dobservation ? Et pendant la seconde heure dobservation ?
2. Paul est de nature impatiente (seulement pour cette question) : sil ne voit aucune etoile lante
durant 20 minutes (cons ecutives) alors il sen va ! Quelle est la probabilit e quil en voit exactement 3 ?
Plus g en eralement, quelle est la loi du nombre d etoiles lantes que Paul verra ? En d eduire le nombre
moyen d etoiles lantes que limpatient Paul verra.
3. On suppose enn que Paul est arriv e en retard au rendez-vous (disons au temps t
0
> 0 alors que
Pierre est arriv e au temps t = 0).
(a) Sachant quaucune etoile lante nest pass ee avant larriv ee de Paul, quelle est la loi du temps
quil devra patienter pour en observer une ?
(b) Supposons dans cette question que t
0
= 20. Sachant quune seule etoile lante est pass ee avant
larriv ee de Paul, quelle aurait et e la probabilit e pour Paul de la voir sil etait arriv e 5 minutes plus t ot ?
Exercice 6 : Loi g eom etrique et processus de Poisson
Je souhaite traverser une route ` a grande circulation dont le ux de v ehicules peut etre mod elis e par un
processus de Poisson dintensit e = 1 (lunit e etant la minute). Depuis lablation de mes deux jambes, il
me faut tout de m eme 3 minutes pour traverser une telle route. Avant de me lancer, je pr ef` ere r e echir un
peu. . .
1. Quelle est la loi du nombre de v ehicules que je dois laisser passer avant de pouvoir traverser ?
2. Quel est le temps moyen dattente avant de traverser ?
Exercice 7 (Examen 2010) : Probl` emes de simulations
Pr ecisons que les g en erateurs mentionnn es ci-dessous g en` erent des v.a. ind ependantes entre elles, mais
aussi de tout le reste !
1. Comment simuler une loi exponentielle de param` etre 2 lorsquon dispose uniquement dun g en erateur
de loi exponentielle de param` etre 1 ?
2. Comment simuler un processus de Poisson dintensit e 1 sur lintervalle [0; 100] sans utiliser de lois
exponentielles (quel que soit le param` etre) ?
3.
`
A partir de la simulation pr ec edente et dun g en erateur de loi de Bernoulli de parm` etre
1
2
, comment
simuler un processus de Poisson dintensit e
1
2
sur lintervalle [0; 100] ?
Exercice 8 : Deux automates binaires d ependants
Consid erons un syst` eme ` a deux composants identiques tel que, en cas de panne de lun des deux compo-
sants, lautre puisse aussi tomber en panne. Les hypoth` eses de mod elisation sont les suivantes.
Le temps de fonctionnement de chaque composant suit la loi E().
Le temps de r eparation dun composant seul (pendant le fonctionnement de lautre) suit la loi E().
Le temps de r eparation des deux composants simultan ement suit la loi E().
En cas de panne dun des composants, lautre continue ` a fonctionner avec probabilit e c.
Toutes les v.a. du mod` ele sont ind ependantes.
Soit Z
t
l etat du syst` eme au temps t : Z
t
E = {00, 10, 01, 11} o` u, par exemple, l etat 01 signie que le
premier composant est en panne tandis que le second est en fonctionnement.
1. Nous admettons que {Z
t
}
t0
est un processus markovien de sauts sur E. Pr eciser cependant la
47
suite ((x))
xE
et la matrice (q
x,y
)
x,yE
le d enissant. D eterminer son g en erateur de Markov et dessiner
son graphe de transition.
2. O` u dans ce mod` ele apparait la d ependance entre les deux composants ?
3. Nous supposons d esormais que le temps moyen de fonctionnement dun composant est 1 jour, le
temps moyen de r eparation dun composant seul est 6 heures et celui des deux composants simultan ement
est 8 heures.
(a) Comment traduire ces hypoth` eses sur les param` etres , et (avec le jour comme unit e) ?
(b) D eterminer la mesure stationnaire du processus {Z
t
}
t0
. Est-elle r eversible ?
(c) Supposons que le syst` eme global fonctionne d` es quau moins un des deux composants fonc-
tionne. Quelle condition sur le param` etre c assure le fonctionnement du syst` eme dans 90% du temps ?
Exercice 9 :

Etude de la le M/M/2
Soit {X
t
}
t0
le processus stochastique repr esentant le nombre de clients dans la le dattente M/M/2
pour laquelle est lintensit e du processus de Poisson r egissant larriv ee des clients et est le param` etre
de la loi exponentielle mod elisant les dur ees de service. Rappelons que toutes les v.a. intervenant dans ce
mod` ele sont ind ependantes, y compris les dur ees de service des 2 guichets.
1.

Etude du comportement asymptotique.
(a) D eterminer les taux de transition du processus markovien de sauts {X
t
}
t0
. Repr esenter son
graphe de transition.
(b) D eterminer le comportement asymptotique du processus {X
t
}
t0
.
2. Longueur moyenne de la le dattente en r egime stationnaire.
(a) Calculer en r egime stationnaire le nombre moyen de clients dans la le dattente. Rappelons ` a
cet effet que :

n1
nr
n1
=
1
(1 r)
2
d` es que 0 < r < 1 .
(b) Comparer cette esp erance au nombre moyen de clients dans la le M/M/1 pour laquelle lintensit e
du processus de Poisson des arriv ees est encore et le param` etre de la loi exponentielle des dur ees de
service est cette fois 2. Comment expliquez-vous cette diff erence ?
48
Annexe : quelques formules
Voici quelques formules ultra classique du calcul des probabilit es dont vous ne pourrez pas vous passer
durant ce cours.
On se donne un tripl e (, F, IP) o` u :
est un ensemble ;
F est une tribu sur , i.e. une tr` es grande famille de sous-ensembles de ;
IP est une mesure de probabilit e sur : les seuls sous-ensembles de pouvant etre mesur es par IP
sont ceux de la tribu F.
Dans la suite, A, B et (A
n
)
nN
sont dans la tribu F.
[A1] On a toujours
IP
_
_
nN
A
n
_

nN
IP(A
n
)
avec egalit e si et seulement si les ev enements A
n
, n N, sont deux ` a deux disjoints.
[A2] Supposons que la famille (A
n
)
nN
forme une partition de , i.e. les A
n
, n N, sont deux ` a deux
disjoints et leur union remplit tout . Alors ;
IP(B) =

nN
IP(B A
n
) =

nN
IP(B | A
n
) IP(A
n
) .
[A3] Les ev enements A et B sont ind ependants si et seulement si IP(A B) = IP(A) IP(B), ce qui s ecrit
encore
IP(A | B) = IP(A) d` es que IP(B) > 0.
[A4] Si la suite (A
n
)
nN
est croissante, i.e. A
n
A
n+1
, alors
IP
_
_
nN
A
n
_
= lim
n
IP(A
n
) .
[A5] Si la suite (A
n
)
nN
est d ecroissante, i.e. A
n
A
n+1
, alors
IP
_

nN
A
n
_
= lim
n
IP(A
n
) .
[A6] La probabilit e dun ev enement est egale ` a lesp erance de son indicatrice :
IP(A) = IE [11
A
] .
49