1 n
F n (x ) = å1
n i =1 ( X i £ x )
F n (x +h) - F n (x - h)
f (x )
2h
F n (x + h) - F n (x - h)
f ( x ) = lim
h® 0 2h
P (x - h <X < x + h)
= lim
h® 0 2h
1 n ìï x - Xi ü
ï
= åI
2hn i =1
í - 1<
ïî h
< 1ý
ïþ
1 n 1
f ( x ) = å 1{x - h < X i <x +h}
nh i =1 2
1 n 1 æX i - x ö
= å K 0 çç ÷
÷
n i =1 2 è h ø
ìï 1/ 2 si y Î [ - 1,1]
K0(y ) =í
ïî 0 sinon
Avec K 0 (.) La densité de probabilité uniforme sur l’intervalle [ - 1,1] est appelée
noyau de Rosenblatt Cet estimateur peut être généralisé en remplaçant la
fonction de poids K 0 (.) par une fonction de poids plus générale K par exemple
une densité de probabilité quelconque ( Normale, Gamma, Bêta …… etc )
Notion de noyaux
Nous définitions maintenant plus généralement la notion d’estimateur à noyau
Pour nÎ *
on appelle hn > 0 la fenêtre ou paramétré de lissage et f (x )
d’estimateur à noyau de la densité de probabilité f définit pour tout x Î par
1 n æX i - x ö
= åK
nh i =1
çç
è h
÷
÷
ø
Dans cette partie,nous présentons d’estimateur d’une densité de probabilité ‘a
noyau symétrique , puis nous donnons les différentes propriétés de cet
estimateur tel que le Biais la Variance,le MSE ,et le MISE.Puis nous précisions le
choix de paramètre de lissage h .
Définition Un noyau est dit symétrique si, pour tout u dans son ensemble de
définition K (u ) = K ( - u ) , " u dans sa domaine de définition.
òuK (u ) du = 0
De plus,elle est de carré intégrable
ò K (u ) du < ¥
2
òu K (u ) du < ¥
2
1 n æX - x ö
f (x ) = å
nh i =1
K ç i
ç h ÷
÷
è n ø
1 n æX - x ö
= åòK ç i
ç h ÷dx
÷
nh i =1 è n ø
1 æX - x ö
=
h
ò K çç
è h ø
÷
÷dx
X -x
Car les X i sont i.i.d en posent u =
u
=ò K ( x )dx = 1
Biais ponctuel
Le biais ponctuel mesure la déférence entre la valeur moyenne de l’estimateur
( ) ( )
biais f ( x ) = Ε f ( x ) - f ( x )
1 æn æX i - x öö
(
Ε f (x ) = ) Ε çå K çç ÷÷
÷
nh çè i =1 è h øø
÷
1 æ æX - x öö
= ΕçK çç ÷÷
÷
h çè è h øø
÷
1 +¥ æy - x ö
= ò K çç ÷
÷f ( y ) dy
h -¥ è h ø
1 +¥
= ò K (u ) f ( x +uh ) du
h -¥
en u=
y-x
h
-¥ -¥ 2 -¥
h 2 +¥ 2
(
Ε f (x ) ) = f ( x ) + f ( x ) ò u K (u )du +o h 2
''
( )
2 -¥
Ainsi
+¥
h2
( ) (
biais f ( x ) = Ε f ( x ) ) - f (x ) = f
2
"
( x ) ò uK (u ) du +o ( h
-¥
2
)
Variance ponctuelle
ìï n 1 æX i - x öü
ï
Var f ( x ) =Var í å
( ) K çç ÷
÷ý
ïî i =1 nh è h øïþ
ì æX - x ööü
1ï 1 æ
2ö
é æX - x öù ÷ 1 2æ ï
= í 2 Ε çç êK çç ÷ú
÷ú ÷ - Ε çK çç ÷÷
÷ ý
n ï h çè êë è h øû ÷ n çè ÷
è h øøïþ
î ø
1 +¥ 2 é 1 +¥ ù2
(
Var f ( x ) ) = ò K (u ) f ( x +uh ) du - ê ò K (u ) f ( x +uh ) du ú
nh - ¥ êë n - ¥ ú
û
Le terme
é 1 +¥ ù2
ê ò K (u ) f ( x +uh ) du ú ¾¾¾n¾¾¾ ¾®¾¾¾® 0
êë n - ¥ ú
û
¾¾¾¾ ¥
Donc
1 +¥
æ1 ö
(
V ar f ( x ) ) = f ( x ) ò uK 2 (u )du +o çç ÷ ÷
nh -¥ è nh ø
Ainsi
Biais
h2
(
biais f ( x ) ) = f
2
"
(x )u h 2
2
( )
+o h 2
où
+¥
u 2 = ò u 2 K (u )du
-¥
Variance
1 æ1 ö
(
V ar f ( x ) = ) nh
f ( x ) R ( K ) +o çç ÷ ÷
è nh ø
où
+¥
R ( K ) = ò K 2 (u )du
-¥
Pour un h ( )
petit le biais f ( x ) dépend de f ''
( x ) et du moment d’ordre 2 du
''
noyau,le Biais est de signe de f (x )
n ¾¾¾¾¾
®¥
(
Si h = hn ¾¾¾¾¾¾¾¾¾® 0 alors biais f ( x ) ¾¾¾¾® 0 )
n ¾¾¾¾¾
®¥ n ¾¾¾¾¾
®¥
Si h = hn ¾¾¾¾¾¾¾¾¾® 0 et nhn ¾¾¾¾¾¾¾¾¾® 0 alors Var f ( x ) ¾¾¾¾® 0 ( )
Erreur quadratique moyenne (MSE)
L’erreur quadratique moyenne (en anglais "Mean squared Error") est donne par
:
Propriétés
1 +¥
æ1 ö
MSE ( x ) = f ( x ) ò K 2 (u )du +o çç ÷ ÷
nh -¥ è nh ø
h4 é+¥ 2 ù2
êò u K (u )du ú +o h 4
2
+ {f ''
( x )} ( )
4 êë- ¥ ú
û
Demonstration
2
(
MSE ( x ) = Ε f ( x ) - f ( x ) )
2
( (
= Ε f (x ) - Ε f (x ) +Ε f (x ) - f (x ) ) ( ) )
2
( )( (
= var f ( x ) + biais f ( x ) ))
1 +¥
æ1 ö
= f ( x ) ò K 2 (u )du +o çç ÷ ÷
nh -¥ è nh ø
h4 é+¥ 2 ù2
êò u K (u )du ú +o h 4
2
+ {f ''
( x )} ( )
4 êë- ¥ ú
û
Propriété
+¥ æ é+¥ ù æ öö
MISE ( n , h ) = ò ç f ( x ) êò K 2 (u )du ú+o çç 1 ÷
÷÷
ç ê ú ÷dx
-¥ è ë- ¥ û è øønh
h 4 +¥ æ é+¥ ù2 ö
+ ò ç f 2 4 ÷
êò uK (u )du ú +o h ÷dx
4 -¥ çç( ( x ))
''
êë- ¥
2
úû ÷ ( )
è ø
n ¾¾¾¾¾
®¥ n ¾¾¾¾¾
®¥
Si h = hn ¾¾¾¾¾¾¾¾¾® 0 et nhn ¾¾¾¾¾¾¾¾¾® 0 alors MSE ( x ) ¾¾¾¾® 0
''
On dit que f ( x ) converge en probabilité vers f ( x )
Choix du paramètre de lissage h
Le paramètre de lissage h a une grande influence sur la performance de
l’estimateur f '' ( x ) Il y a essentiellement deux approches pour trouver une
largeur de bande optimale. La première consiste à trouver le paramètre qui
minimise l’erreur quadratique moyenne de f '' ( x ) c’est-à-dire
é 2ù
(
ArgMin êΕ f ( x ) - f ( x ) ú
ë û )
On obtient donc un paramètre de lissage optimal, qui varie en fonction du x où
l’on veut estimer la fonction de densité f .
h4 2 1 æ1 ö
MISE(n; h)= R f ( )(
''
u2 (K ) + ) R ( K ) +o çç + h 4 ÷
÷
2 nh è nh ø
h4 2 1
MISE(n; h)= R f
2 ( )( ''
u2 (K ) ) +
nh
R (K )
é ù1/5
d ê R (K ) ú - 1/5
MISE(n; h)=0 Þ hoptimal =ê 2ú
n
dh
( )(
êë R f '' u 2 ( K ) ) ú
û
Cas particuliers
Soit X 1 , X 2 , Xn une suite de variables aléatoires de densité de probabilité f
supposons que f appartient à une famille de distributions normales N 0,s ( 2
)
ìX
ï i N m ,s
Si í ( 2
)
ïî K N ( 0,1)
Alors
1 æx - m ö 1 - x 2 /2
( ) alors f ( x ) = j çç ÷
2
Si f N m ,s
s è s
÷ avec j
ø
(x ) = 2p
e
1 æx - m ö 1 - x 2 /2
Et f
''
( x ) =s j ''
çç ÷
÷ et j
''
(x ) = ( x - 1) e
2
è s ø 2p
La quantité inconnue R f ( )
''
sécrit alors
+¥ 2
R f ( ) = ò éëf ( x ) ùû dx
''
-¥
''
1 +¥ é æ x - m öù2
( ) =s ò
R f ''
6
-¥
êj
êë
''
çç
è s øú
÷ú dx
÷
û
+¥ 2
1
( ) =s ò éëj (v ) ùû dv
R f ''
5
-¥
''
Nous avons :
1 - v 2 /2
j (v ) = 2p
e
v 2
Þj '
(v ) = e - v /2
2p
Þj ''
()
v = (v - 1)
e
2
- v 2 /2
2p
ì v2-1 ü2
( ) =s ò ( )
+¥
'' 1 ï 2 ï
R f 5 í e - v /2 ý dv
-¥ ïî 2p ïþ
1 ìï +¥ 4 - v 2 +¥ +¥ ü
ï
í ò v e dv - 2ò v e dv +ò e dv ý
2 -v 2 -v 2
= 5
2p s ïî - ¥ -¥ -¥ ïþ
1 ìï 1 +¥ 2 - v 2 +¥ ü
ï
í - ò v e dv +ò e dv ý
-v 2
= 5
2p s ïî 2 - ¥ -¥ ïþ
1 ìï 1 +¥ u 2 - u 2 1 +¥
1 -u2 2 ü ï
=
2p s 5 í - ò
ïî 2 - ¥ 2
e 2
2
du +ò 2
e du ý
ïþ
-¥
Avec u = 2v
1 ìï 1 ü
ï 3
R f ( ) ''
=
2p s 5 í-
ïî 4
p + p ý= 5
ïþ 8s p
1 n 2 1 n
s = å Xi - X
n - 1 i =1 ( ) X = å Xi
n i =1
On a K ¾¾¾¾
® N ( 0,1)
+¥ 2
R (K ) =ò éK ( x ) ù du
ë û
-¥
+¥ é 1 - u 2 /2 ù2
=ò ê e ú du
-¥ ëê 2p ú
û
+¥
1 -u2
=ò e du
-¥ 2p
+¥
-¥
Nous remplaçons dans l’équation nous obtenons :
1
æ4 ö5
hoptimal = çç ÷
÷s n
- 1/5
= 1.06s n - 1/5
è3ø