Rappels theoriques

Notions de bases et de probabilites

1. Theorie des ensembles
- Notations : , , \, , ,

,
- Loi dalg`ebre sur les ensembles
Distributivite : A (B C) = (A B) (A C)
A (B C) = (A B) (A C)
Lois de Morgan : (A B)

= A

(A B)

= A

2. Notions de probabilites
Une probabilite = chances de realisations dun evenement.
frequence idealisee Ex : jeux de des, jeux de cartes,...
Les denitions en frequences contiennent des lacunes, cest pourquoi on utilise une
denition axiomatique :

- 0 P(A) 1
- P() = 1
- Si A B = alors P(A B) = P(A) + P(B)
Il en decoule que :

P() = 0
P(A) + P(A) = 1
P(A B) = P(A) + P(B) P(A B)
P(A B C) = P(A) + P(B) + P(C) P(A B) P(B C) P(A C)
+P(A B C)
3. Probabilites conditionnelles :
P(A|B) =
P(A B)
P(B)
si P(B) > 0
P(A B) = P(A|B)P(B) = P(B|A)P(A) si P(A), P(B) > 0
4. Incompatibilite
A B = P(A B) = 0
P(A B) = P(A) + P(B)
5. Theor`eme des probabilites totales
P(A) =
n

i=1
P(A|B
i
)P(B
i
)
avec lensemble {B
1
, . . . , B
n
} formant une partition et P(B
i
) = 0.
6. Independance
AB P(A B) = P(A)P(B)
`a condition que P(A) = 0 et P(B) = 0, on a egalement
- P(A|B) = P(A)
- P(B|A) = P(B)
7. Theor`eme de Bayes
P(B
i
|A) =
P(A|B
i
)P(B
i
)

n
j=1
P(A|B
j
)P(B
j
)
Exercices : 1.2.1 ; 2.2.2 ; 2.3.6 ; 2.2.9 ; 2.2.13 ; 2.2.16
Rappels theoriques
Les distributions discr`etes
1. La distribution de Bernouilli (ou indicatrice)
Soit p = P(A), la probabilite dun ev`enement A, alors
Y Be(p)
o` u Y = 0 pour tout resultat qui conduit ` a la non realisation de A et
Y = 1 pour tout resultat qui conduit ` a la realisation de A.
La fonction de probabilite secrit
y 0 1
p(y) q p
avec q = 1 p.
Ses proprietes sont :
E[Y ] = p
V ar[Y ] = pq
2. La distribution Binomiale
Conditions :
n repetitions dune epreuve elementaire,
Le resultat est classe dans une des deux categories : succ`es ou echec,
La probabilite de succ`es, notee p, est la meme pour chaque repetition,
Les n epreuves sont independantes,
alors
X Bi(n, p)
o` u la v.a. X est le nombre de succ`es sur les n epreuves. Vous remarquerez que
X = Y
1
+ Y
2
+ + Y
n
o` u Y
i
est lindicatrice de succ`es `a la i
`eme
epreuve.
Fonction de probabilite
p(X = x) = C
x
n
p
x
q
nx
avec x = 0, 1, . . . , n
o` u
C
x
n
=
n!
x!(n x)!
Dans la litterature, C
x
n
secrit parfois

n
k

. Il sappelle nombre de combinaisons ou

coecient binomial. Il represente le nombre densemble dierent de k objets pris
parmi n objets distincts (k n), quel que soit lordre dans lequel ces objets sont
choisis.
Proprietes : E[X] = np, V ar[X] = npq
Methodes de calcul :
Formule de recurrence :
p(0) = q
n
p(x) = p(x 1)
nx+1
x
p
q
Utilisation des tables (fonction de probabilite, fonction de repartition)
3. La distribution Geometrique
Conditions :
Repetition dune epreuve de Bernouilli jusquau moment du premier succ`es.
Les epreuves sont successivement independantes
La probabilite p, de succ`es, est la meme pour chaque epreuve.
alors,
X Ge(p)
o` u X est le nombre de repetitions necessaires pour observer un premier succ`es.
Fonction de probabilite :
p(X = x) = pq
(x1)
avec x = 1, 2, . . . , n
Proprietes : E[X] = 1/p, V ar[X] = p/q
2
4. La distribution de Poisson
Conditions :
On sinteresse au nombre doccurrence dun evenement A.
La probabilite dune occurrence P(A) est faible.
Mais le nombre possible doccurrence est tr`es eleve.
alors
X Po()
o` u est une param`etre adimensionnel. Il peut etre vu comme le produit dune in-
tensite et dune grandeur physique.
Fonction de probabilite :
p(x) = e

x
x!
avec x = 0, 1, 2, . . .
Proprietes : E[X] = , V ar[X] =
Methode de Calcul :
Calcul manuel
Formule de recurrence :
p(0) = e

p(x) = p(x 1)

x
avec x=1,2,. . .
Utilisation des tables (fonction de probabilite, fonction de repartition)
Rappels theoriques
La distribution normale
Denition
La fonction de densite de probabilite dune variable aleatoire normale est donnee
par
f(x) =
1

2
e

1
2
(
x

)
2
x
On notera :
X N(,
2
)
o` u est la moyenne,
2
est la variance.
40 42 44 46 48 50 52 54 56 58 60
0
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
0.18
0.2
= 2
= 4
f
(
x
)
x
40 42 44 46 48 50 52 54 56 58 60
0
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
0.18
0.2
= 50 = 48
f
(
x
)
x
40 42 44 46 48 50 52 54 56 58 60
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
= 2
= 4
F
(
x
)
x
40 42 44 46 48 50 52 54 56 58 60
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
= 50 = 48
F
(
x
)
x
Proprietes
1. Fonction symetrique
f( a) = f( + a)

ma

f(x)dx =

m+a
f(x)dx
ce qui revient `a
P(X a) = P(X + a) F( a) = 1 F( + a)
2. Changement de variables
Si X N(,
2
) alors
Y = a + bX N(a + b, b
2

2
)
o` u a et b sont des constantes, (a, b) R
2
Methode de calcul
1. Calcul integral
2. Tables
Les valeurs ne sont tabulees que pour Z N(0, 1)
Pour toute autre v.a. normale X N(,
2
), on applique une transforma-
tion pour se rapporter ` a une v.a. normale Z N(0, 1).
Cette transformation est appelee reduction :
Z =
X

Rappels theoriques
Couple aleatoire
Variables simultanees, couples
(X, Y ) couple discret : 2 v.a. discr`etes (D)
couple continu : 2 v.a continues (C)
1. Fonction de (densite de) probabilites conjointes :
p(x, y) = P({X = x} {Y = y}) avec : 0 p(x, y) 1, (x, y) R
2
(D)
et

y
p(x, y) = 1
f(x, y) avec f(x, y) 0(x, y) (R)
2
(C)
et

f(x, y)dxdy = 1
2. Probabilite dun evenement
P(B) =

(x,y)B
p(x, y) (D)
P(B) =

x,yB
f(x, y)dydx (C)
3. Fonctions de (densite de) probabilites marginales (en X)
p
X
(x) = P(X = x) =

y
p(x, y) (D)
f
X
(x) =

f(x, y)dy (C)

Table 1 Exemple : Table de contingence dans le cas discret
x \y 1 2 3 p
X
(x)
1 0.12 0 0.28 0.4
2 0.18 0.3 0.12 0.6
p
Y
(y) 0.3 0.3 0.4 1
4. Fonctions de (densite de) probabilites conditionnelles (en Y pour x xe)
p(y|x) = P(Y = y|X = x) =
p(x, y)
p
X
(x)
(D)
f(y|x) =
f(x, y)
f
X
(x)
(f
X
(x) > 0) (C)
5. Independance
p(x, y) = p
X
(x)p
Y
(y) (x, y) (D)
f(x, y) = f
X
(x)f
Y
(y) (x, y) R
2
(C)
Rappels theoriques
Valeurs caracteristiques
Esperance - Moyenne - Valeur attendue
E[X] =

x
xp(x) E[h(X)] =

x
h(x)p(x) (D)
E[X] =

xf(x)dx E[h(X)] =

h(x)f(x)dx (C)
En particulier, si h(X) = a + bX E[h(X)] = a + bE[X]
En general, pour des fonctions h
1
(.), h
2
(.), . . . , h
n
(.),
E[
n

i=1
h
i
(X)] =
n

i=1
E[h
i
(X)]
Variance
2
V ar[X] =
2
x
= E[(X )
2
] = E[X
2
] E
2
[X] = E[X
2
]
2
(C,D)
V ar[X] =
2
x
= E[(X )
2
] =

x
(x )
2
p(x) (D)
V ar[X] =
2
x
= E[(X )
2
] =

(x )
2
f(x)dx (C)
Dans le cas dune fonction :
V ar[h(X)] = E[(h(X)
2
E
2
[h(X)]] = E[h(X)
2
] E
2
[h(X)] (C,D)
En particulier si h(X) = a + bX V ar[a + bX] = b
2

Ecart-type =

2
Pour un couple de variables aleatoires
Moyenne Conjointe
E[h(X, Y )] =

y
h(x, y)p(x, y) (D)
E[h(X, Y )] =

h(x, y)f(x, y)dxdy (C)

Moyenne dune combinaison lineaire
E[a + bX + cY ] = a + bE[X] + cE[Y ] a,b,c R (C,D)
Esperance Marginale (en X)
E[h(X)] =

x
h(x)p(x) =

x
h(x)

y
p(x, y) =

y
h(x)p(x, y) (D)
E[h(X)] =

h(x)f
x
(x)dx =

h(x)

f(x, y)dydx =

h(x)f(x, y)dydx (C)

Regression ou esperance conditionnelle
E[X|y] =

x
xp(x|y) (D)
E[X|y] =

xf(x|y)dx (C)
Variance conjointe
V ar[h(X, Y )] = E[h
2
(X, Y )] E
2
[h(X, Y )] (C,D)
Variance dune combinaison lineaire
V ar(aX + bY + c) = a
2
V ar(X) + b
2
V ar(Y ) + 2abCov(X, Y )
Covariance
Cov(X, Y ) = E[(X
x
)(Y
y
)] = E[XY ]
X

Y
=
XY
Coecient de correlation

XY
=

XY

Y
Rappels theoriques
Le vecteur aleatoire normal
Denition generale
X N
n
(E[X];
X
)
o` u
X =

X
1
X
2
.
.
.
X
n

le vecteur aleatoire
E[X] =

E[X
1
]
E[X
2
]
.
.
.
E[X
n
]

le vecteur desperance

X
=

2
1

12

1n

21

2
2

2n
.
.
.
.
.
.
.
.
.
.
.
.

n1

2
n

la matrice de covariance
on peut donc ecrire :

X
1
X
2
.
.
.
X
n

E[X
1
]
E[X
2
]
.
.
.
E[X
n
]

2
1

12

1n

21

2
2

2n
.
.
.
.
.
.
.
.
.
.
.
.

n1

2
n

Correlation
La matrice de correlation secrit :
(X) =

1
12

1n

21
1
2n
.
.
.
.
.
.
.
.
.
.
.
.

n1
1

Independance
Si X
i
X
j
, i, j, on a

X
=

2
1
0 0
0
2
2
0
.
.
.
.
.
.
.
.
.
.
.
.
0
2
n

et
(X) =

1 0 0
0 1 0
.
.
.
.
.
.
.
.
.
.
.
.
0 1

= I
n
Distribution conditionnelle
- Pour un couple, on a
X
1
|x
2
N(
1
+

2
(x
2

2
); (1
2
)
2
1
)
- Pour un vecteur, on a
X
1
|x
2
N(
1
+
12

1
22
(x
2

2
);
11

12

1
22

21
)
Transformation lineaire
Soient une matrice de transformation A et le mod`ele lineaire suivant : Y = AX.
On peut facilement calculer le vecteur esperance de Y
E[Y] = AE[X]
ainsi que la matrice de covariance

Y
= A
X
A

Exemple : Soit (X
1
, X
2
, X
3
, X
4
)

, le rendement en ble de 4 annees consecutives. On sinteresse

aux variations de rendement dune annee `a lautre.
Y =

Y
1
Y
2
Y
3

X
2
X
1
X
3
X
2
X
4
X
3

1 1 0 0
0 1 1 0
0 0 1 1

X
1
X
2
X
3
X
4