FISHER INFORMATION

&
KETIDAKSAMAAN RAO CRAMER
Misalkan X adalah suatu var iabel acak
dengan pdf f  x;  ,   dim ana  merupakan
suatu int erval

Diasumsikan bahwa :
1. f  x;  positif di himpunan S dan independen
dari   

2. f  x,  ada    kecuali pada titik  titik

dim ana probabilitasnya  0
3.  ...... f  x1 , ........ f  xn ,  dx1.....dxn atau
S S

 .... f  x1 ,  ..... f  xn ,  dapat dideferensiasi

S S
di bawah simbol int egral atau sumasi


 f  x,   dx 1


f  x,   dx



 0


f  x,  
  x,  


f  x,  
. f  0


 ln f  x,  
 f  x,    0



 ln f  x,  
  f  x,   dx  0 ..... (**)

 2 

  ln f  x,    ln f  x,   f  x,   
   2 f  x,    .  dx  0 ... 1
   
 (*) 

f  x,  
 ln f  x,  
(*)  .  . f  x,   dx
 f  x,  
  ln f  x,   
 2

   . f  x,   dx
 
 
   ln f  x,   
 2

I       . f  x,   dx
 
 
disebut FISHER INFORMATION
  2 ln f  x,   

Dari (1)  I        f  x,   dx
 
 2

Informasi di atas menunjukkan mean terboboti dari
  ln f  x,      2 ln f  x,   
2

  atau   dengan
      2

bobot f  x,  
 ln f  x,  
Bentuk mrupakan bentuk yang penting

yang digunakan untuk mencari MLE
 ln f  x,  
n
yaitu dengan mencari solusi dari   0
1 
Contoh 1
Misalkan X ~ N  ,  2  ;      ;
 2 diketahui.
     
2
1 x
f  x,    exp   ;
2  2

 2  2


  x  ,      
 x  
2

ln f  x,    
1
2
ln  2   2

2 2
 ln f  x,   x 

 2
 2 ln f  x,   1
 
 2 2
  ln f  x,      x   2 
2
1
I    E   E  
    
  4

  2
Contoh 2
X ~ b 1,  
 x,   1   
1 x
f  x
; x  0,1
 0 ; yang lain
ln f  x,    x ln   1  x  ln 1   
 ln f  x,   x 1 x
 
  1
 2 ln f  x,   x 1 x
 2 
  1   
2 2

 x 1 x 
I     E  2  2 

 1    
 1 1 1 1
    
 2
1   
2
 1  1   
Informasi FISHER dalam sampel acak

Misalkan X 1 , X 2 ..... X n sampel acak dari distribusi dengan pdf f  x,  

Fs Likelihood :
L    f  x1 ,  f  x2 ,  .... f  xn ,  
ln L    ln f  x1 ,    ......  ln f  xn ,  
 ln L    ln f  x1 ,    ln f  xn ,  
  ..... 
  
Definisikan FISHER INFORMATION dalam sampel acak sebagai :
   ln L    2     ln f  x ,    ln f  x ,   
2

I n    E      E 
1
 .....  n
 
          
  n   ln f  x ,   2     ln f  xi ,    ln f  x j ,   
 E    i
  2E   ; i j
 1         
    
(*)
   ln f  xi ,    ln f  x j ,   
Pandang (*)  2 E  
   

  ln f  xi ,      ln f  x j ,   
2E   E ;i j
     
Ingat dari (**) bahwa
  ln f  xi ,    
  ln f  xi ,   
E
 


    f  x,  dx  0
  ln f  xi ,      ln f  x j ,   
 2E  E  0
     
n    ln f  x ,    2 
Jadi I n     E   i
   n I  
1     
Contoh1
X 1 , X 2 ...... X n sampel acak dari distribusi N  ,  2 
     ;  2 diketahui
1 n
I n    n I    n . 2  2
 

Contoh 2
X 1 , X 2 ...... X n sampel acak dari distribusi b 1,  
1
I n    n .
 1   
KETIDAKSAMAAN RAO CRAMER

Misalkan X 1 , X 2 ...... X n sampel acak dari distribusi

dengan pdf f  x,   ;   
MisalkanY  u  X 1 , X 2 ...... X n  adalah penaksir dari 
dan E Y   E u  X 1 , X 2 ...... X n    k  

 
k     .....  u  X , X
1 2 ...... X n . f  x1 ,   ... f  xn ,   dx1 ...dxn
 
 
 n 1 f  xi ,   
k '     .....  u  X 1 , X 2 ...... X n    . .
   1 f  xi ,    
f  x1 ,   ... f  xn ,   dx1 ...dxn
 
 n  ln f  xi ,   
  .....  u  X 1 , X 2 ...... X n     . f  x1 ,   ... f  xn ,   dx1 ...dxn
   1  
Definisikan
  ln f  X i ,   
n
Z   
1     
n   ln f  X i ,   
E Z    E  0
1     
Z adalah penjumlahan dari n var iabel yang saling bebas
dan ma sin g  ma sin g mempunyai mean  0 dan var iansi
  ln f  X i ,      ln f  X i ,   
2 2

E  0  E  
         
  ln f  X i ,   
2

  nE   I n    n I  
2

  
Z
 
 n
Karena Y  u  X 1 , X 2 ..... X n  dan Z    ln f  X i ,    / 
1

maka E Y Z   k '  
Padahal telah diketahui bahwa E Y Z   E Y  . E  X     Y  Z
dim ana  adalah koefisien korelasi dari Y dan Z
E Y   k   dan E  Z   0 maka k '    k   .0    Y  Z
k '  
Jadi  
 Y Z
 k '     k '   
2 2

 1
2
 1 atau   Y2
 Y2 Z2 Z2

 k '     k '   
2 2

 Y2  
  ln f  X ,     n I  
n E  
  
Pertidaksamaan di atas dikenal dengan
PERTIDAKSAMAAN RAO  CRAMER
Jika Y  u  X 1 , X 2 ..... X n  adalah taksiran yang tak bias untuk 
maka k    0 dan k '   1
1
Jadi  2

n I  
Y

1 2
Dari contoh 1 didapat bahwa 
n I   n

1  1   
Dari contoh 2 didapat bahwa 
n I   n
Definisi 1
MisalkanY taksiran tak bias dari parameter 
Statistik Y disebut penaksir yang effisien untuk 
jika var iansi dariY mencapai batas bawah Rao Cramer

Definisi 2
Dalam kasus dim ana kita dapat mendeferensiasi terhadap
BB Rao Cramer
 dibawah simbol int egral dan sumasi maka
Y
2

dim anaY adalah taksiran tak bias untuk  disebut effisiesi dari
statistik Y
Contoh 3
Misalkan X 1 , X 2 .... X n sampel a  0cak dari distribusi
Poisson dengan mean 
Telah diketahui bahwa X adalah MLE dari 
Akan ditunjukkan bahwa X adlah penaksir yang effisien
untuk 
Bukti :
 ln f  x,    x x 
  x ln     ln x !   1 
   
  ln f  X ;   2  EX  
2
2  1
E       


     2
 2
 2

1 
BB Rao  Cramer  
1 n
n.


var iansi dari X 
n
Jadi X adalah penaksir yang effisien untuk 
Contoh 4
Misalkan S 2 adalah var iansi dari sampel acak ukuran n  1
dari distribusi N   ;  ; 0     dan  diketahui
n S2
Akan dicari effisiensi dari
n 1
Jawab :
n S2 
Telah diketahui bahwa E 
  
 n 1 
x   ln  2 
2

ln f  x,     
2 2

 ln f  x,   x  
2
1
 
 2 2 2

 2 ln f  x,   x  
2
1
  
 2 3 2 2

  2 ln f  x,    1 1
E    
  2  3 2 2 2 2
 2 2
BB Rao  Cramer 
n
n S2 n S 2
~  n21  var iansi dari adalah 2  n  1
 
nS 2
2  n  1  2 2 2
Variansi dari  
n 1  n  1
2
 n  1
2 2
n S2 n n 1
Effisiensi dari  
n 1 2 2 n
 n  1
Contoh 5
Misalkan X 1 , X 2 ...... X n sampel random ukuran n  2
dari distribusi yang mempunyai pdf :
f  x,     x 1  exp  ln x  ln x  ln   , 0  x  1
 0 ; yang lain
2
BB Rao Cramer adalah
n
Misalkan Yi   ln X i
1
Dapat ditunjukkan bahwa Yi ~ gamma dengan   1 dan  

n
1
Misalkan Z    ln X i maka Z ~ gamma dengan   n dan  
1 
n
E  Z    

1   n 1 
E    E  
Z n 1  Z 
n 1
Jadi adalah penaksir tak bias untuk 
Z
 n 1 2
Variansi dari  yang ada jika n  2
Z n2
n 1 n2
Effisiensi dari 
Z n
n 1
Jika n   maka effisiensi dari mendekati 1
Z
n 1
Maka disebut penaksir yang asymptotically efficient
Z

Bukti bahwa Yi   ln X i berdistribusi Gamma dengan   1

1
dan  

Bukti :
yi   ln xi adalah transformasi 1  1 yang memetakan
ruang  xi ; 0  xi  1 onto ruang  yi ; 0  yi  1
Invers xi  e  yi
J  e  yi
Pdf dari Yi adalah
g  yi   f e  yi
 J  merupakan pdf dari distribusi
1
Gamma dengan   1 dan  
