MAKALAH
Untuk memenuhi tugas matakuliah
Statistika Matematika 2
yang dibina oleh Ibu Trianingsih Eni Lestari, S.Si., M.Si
Oleh
Firman Maula Syafi’i (150311604541)
Sofia Ashar (150311607448)
Sunarti (150311600727)
Contoh 1
Misalkan terdapat sekeping uang logam yang tidak seimbang dengan purata
proporsi muncul muka adalah satu dari ketiga nilai 𝑝 = 0.2, 0.3, atau 0.8.
Kemudian, dilakukan percobaan melempar uang logam tersebut sebanyak dua kali
dan diamati banyak muka yang muncul.
Dari percobaan tersebut, dapat dibuat model matematika sebagai berikut.
𝐿(𝜃) = 𝑓(𝑥1 , 𝑥2 , … , 𝑥𝑛 ; 𝜃)
𝑑
ln 𝐿(𝜃) = 0
𝑑𝜃
Contoh 2
Misal 𝑋1 , 𝑋2 , … , 𝑋𝑛 sampel acak dari sebaran Poisson dengan parameter
𝜃, 𝑋𝑖 ~𝑃𝑂𝐼(𝜃). Kita akan menentukan MLE dari 𝜃. Pertama-tama kita tentukan
𝐿(𝜃). Karena 𝑋1 , 𝑋2 , … , 𝑋𝑛 sampel acak dari sebaran Poisson dengan parameter
𝜃, 𝑋𝑖 ~𝑃𝑂𝐼(𝜃), maka fungsi kemungkinannya adalah
𝑛
𝑒 −𝜃 𝜃 𝑥1 𝑒 −𝜃 𝜃 𝑥2 𝑒 −𝜃 𝜃 𝑥𝑛 𝑒 −𝑛𝜃 𝜃 ∑𝑖=1 𝑥1
𝐿(𝜃) = 𝑓(𝑥1 ; 𝜃)𝑓(𝑥2 ; 𝜃) … 𝑓(𝑥𝑛 ; 𝜃) = … =
𝑥1 ! 𝑥2 ! 𝑥𝑛 ! ∏𝑛𝑖=1 𝑥𝑖 !
𝑛
𝑛
= −𝑛𝜃 + ∑ 𝑥𝑖 ln 𝜃 − ln (∏ 𝑥𝑖 !)
𝑖=1
𝑖=1
𝑑 ∑𝑛𝑖=1 𝑥𝑖
ln 𝐿(𝜃) = −𝑛 + =0
𝑑𝜃 𝜃
∑𝑛𝑖=1 𝑥𝑖
𝜃̂ = = 𝑥̅𝑛
𝑛
Jadi MLE dari 𝜃 adalah 𝜃̂ = 𝑥̅𝑛 .
berikut ini.
𝑛 𝑛
∑
𝑑2
ln 𝐿(𝜃)| = −
∑𝑛𝑖=1 𝑥𝑖
= −
∑𝑛𝑖=1 𝑥𝑖
= − 𝑛 𝑖=1 𝑥𝑖 = − 𝑛𝑥̅𝑛 = − 𝑛
𝑑𝜃 2 𝜃=𝑥̅
𝜃2 𝑥̅𝑛 2 𝑥̅𝑛 2 𝑥̅ 𝑛 2 𝑥̅𝑛
𝑛
Karena 𝑋1 , 𝑋2 , … , 𝑋𝑛 sampel acak dari sebaran Poisson, maka 𝑥̅𝑛 > 0. Oleh karena
itu,
𝑛 𝑑 2 ln 𝐿(𝜃)
− = <0
𝑥̅ 𝑛 𝑑𝜃 2
Contoh 3
Misal 𝑋1 , 𝑋2 , … , 𝑋𝑛 sampel acak dari sebaran dengan pdf
𝑓(𝑥; 𝜃) = 𝜃 𝑥 (1 − 𝜃)1−𝑥 𝐼(𝑥 = 0,1, 0 < 𝜃 < 1)
ln 𝐿(𝜃) = (∑ 𝑥𝑖 ) ln 𝜃 + (𝑛 − ∑ 𝑥𝑖 ) ln(1 − 𝜃)
𝑖=1 𝑖=1
(1 − 𝜃) ∑ 𝑥𝑖 = 𝜃 (𝑛 − ∑ 𝑥𝑖 )
𝑖=1 𝑖=1
Contoh 4
Misal 𝑋1 , 𝑋2 , … , 𝑋𝑛 sampel acak dari sebaran normal, 𝑋~𝑁(𝜇, 𝜃). Kita akan
menentukan MLE dari parameter 𝜇 dan 𝜃. Kita mempunyai pdf
1 (𝑥−𝜇)2
𝑓(𝑥; 𝜇, 𝜃) = 𝑒− 2𝜃
√2𝜋𝜃
1 −
(𝑥1 −𝜇)2 1 −
(𝑥𝑛 −𝜇)2 𝑛 ∑𝑛𝑖−1(𝑥𝑖 − 𝜇)2
𝐿(𝜇, 𝜃) = 𝑒 2𝜃 … 𝑒 2𝜃 = (2𝜋𝜃)− 2 exp [− ]
√2𝜋𝜃 √2𝜋𝜃 2𝜃
−
𝑛 ∑𝑛𝑖−1(𝑥𝑖 − 𝜇)2
ln 𝐿(𝜇, 𝜃) = ln(2𝜋𝜃) 2 + ln (exp [− ])
2𝜃
𝑛 𝑛 ∑𝑛𝑖−1(𝑥𝑖 − 𝜇)2
= − ln(2𝜋) − ln 𝜃 −
2 2 2𝜃
Oleh karena terdapat dua parameter yang akan kita duga, maka kita perlukan
prosedur turunan parsial. Mula-mula kita turunkan terhadap 𝜇, kemudian terhadap
𝜃, dan masing-masing turunan tersebut kita buat nol. Solusi dari kedua persamaan
tersebut merupakan MLE dari 𝜇 dan 𝜃. Perhatikan bahwa,
𝜕 ln 𝐿(𝜇, 𝜃) 2 ∑𝑛𝑖=1(𝑥𝑖 − 𝜇)
= =0
𝜕𝜇 2𝜃
Dari persamaan ini, kita peroleh MLE dari 𝜇
𝜇̂ = 𝑥̅𝑛
Persamaan kemungkinannya ketika diturunkan terhadap 𝜃 adalah
𝜕 ln 𝐿(𝜇, 𝜃) 𝑛 ∑𝑛𝑖=1(𝑥𝑖 − 𝜇)2
=− + =0
𝜕𝜃 2𝜃 2𝜃 2
∑𝑛𝑖=1(𝑥𝑖 − 𝜇)2
𝑛=
𝜃
Dari persamaan ini dan dari hasil 𝜇̂ = 𝑥̅ , kita peroleh MLE dari 𝜃 adalah
∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅𝑛 )2
𝜃̂ =
𝑛
Contoh 5
Misal 𝑋1 , 𝑋2 , … , 𝑋𝑛 sampel acak dari sebaran dengan pdf
1
𝑓(𝑥; 𝜃) = 𝐼(0 < 𝑥 ≤ 𝜃)
𝜃
maka, fungsi kemungkinannya adalah
1
𝐿(𝜃) = 𝐼(0 < 𝑥𝑖 ≤ 𝜃, 𝑖 = 1,2, … , 𝑛)
𝜃𝑛
Dari persyaratan bahwa fungsi tersebut terdefinisi pada 𝑥𝑖 ≤ 𝜃, untuk
masing-masing 𝑖 = 1,2, … , 𝑛, maka 𝜃̂ haruslah maksimum dari 𝑥𝑖 . Dengan kata
lain, penduga dari 𝜃 adalah statistik urutan terbesar dari 𝑋1 , 𝑋2 , … , 𝑋𝑛 .
Seperti halnya pada MME, pada MLE berlaku pula sifat invarians, yaitu
𝜏̂ (𝜃1 , 𝜃2 , … , 𝜃𝑛 ) = 𝜏(𝜃̂1 , 𝜃̂2 , … , 𝜃̂𝑛 )
Contoh 6
Misal 𝑋1 , 𝑋2 , … , 𝑋𝑛 sampel acak dari sebaran Poisson dengan parameter 𝜃,
𝑋𝑖 ~𝑃𝑂𝐼(𝜃). Kita akan menentukan MLE dari
𝜏 = 𝜏(𝜃) = 𝑃[𝑋 = 0] = 𝑒 −𝜃
Dari contoh 2, sudah kita peroleh bahwa 𝜃̂ = 𝑥̅𝑛 . Oleh karena itu, menggunakan
sifat invarians kita dapatkan
𝜏̂ = 𝜏(𝜃̂) = 𝑒 −𝜃 = 𝑒 −𝑥̅ 𝑛
Teorema 1
Misal 𝜃0 adalah parameter benar. Di bawah asumsi (R0) dan (R1),
lim 𝑃𝜃0 [𝐿(𝜃0 , 𝚾) > 𝐿(𝜃, 𝚾)] = 1, untuk semua 𝜃 ≠ 𝜃0 .
𝑛→∞
Bukti
Logaritma dari ketaksamaan 𝐿(𝜃0 , 𝚾) > 𝐿(𝜃, 𝚾) adalah ekivalen dengan
𝑛
1 𝑓(𝑋𝑖 ; 𝜃)
∑ ln [ ]<0
𝑛 𝑓(𝑋𝑖 ; 𝜃0 )
𝑖=1
Tetapi
𝑓(𝑋𝑖 ; 𝜃) 𝑓(𝑋𝑖 ; 𝜃)
𝐸𝜃0 [ ]=∫ 𝑓(𝑋𝑖 ; 𝜃0 )𝑑𝑥 = 1
𝑓(𝑋𝑖 ; 𝜃0 ) 𝑓(𝑋𝑖 ; 𝜃0 )
Karena ln 1 = 0, maka bukti selesai.
Teorema 1 mengatakan bahwa keasimtotan fungsi kemungkinan maksimum
pada nilai benar 𝜃0 .
LATIHAN SOAL
1. Tentukan MLE dari 𝜃 berdasarkan sampel acak 𝑋1 , 𝑋2 , … , 𝑋𝑛 untuk masing-
masing pdf berikut ini.
a. 𝑓(𝑥; 𝜃) = 𝜃𝑥 𝜃−1 𝐼(0 < 𝑥 < 1, 0 < 𝜃)
b. 𝑓(𝑥; 𝜃) = (𝜃 + 1)𝑥 −𝜃−2 𝐼(1 < 𝑥, 0 < 𝜃)
c. 𝑓(𝑥; 𝜃) = 𝜃 2 𝑥𝑒 −𝜃𝑥 𝐼(0 < 𝑥, 0 < 𝜃)
Solusi:
a. 𝑓(𝑥; 𝜃) = 𝜃𝑥 𝜃−1 𝐼(0 < 𝑥 < 1, 0 < 𝜃)
Maka fungsi kemungkinannya adalah
𝐿(𝜃) = 𝑓(𝑥1 ; 𝜃)𝑓(𝑥2 ; 𝜃) … 𝑓(𝑥𝑛 ; 𝜃)
= 𝜃𝑥1𝜃−1 𝜃𝑥2𝜃−1 … 𝜃𝑥𝑛𝜃−1
= 𝜃 𝑛 (𝑥1 𝑥2 … 𝑥𝑛 )𝜃−1
𝑛
= 𝜃 𝑛 ∏(𝑥𝑖 )𝜃−1
𝑖=1
ln 𝐿(𝜃) = 𝑛 ln 𝜃 + (𝜃 − 1) ln ∏ 𝑥𝑖
𝑖=1
= (𝜃 + 1) ∏(𝑥𝑖 )−𝜃−2
𝑛
𝑖=1
Persamaan kemungkinannya
𝑛
𝑑 𝑛
ln 𝐿(𝜃) = − ln ∏ 𝑥𝑖 = 0
𝑑𝜃 𝜃+1
𝑖=1
Sehingga diperoleh
𝑛
𝜃̂ = −1
ln ∏𝑛𝑖=1 𝑥𝑖
Jadi, MLE dari 𝜃 adalah
𝑛
𝜃̂ = −1
ln ∏𝑛𝑖=1 𝑥𝑖
c. 𝑓(𝑥; 𝜃) = 𝜃𝑥𝑒 −𝜃𝑥 𝐼(0 < 𝑥, 0 < 𝜃)
Maka fungsi kemungkinannya adalah
𝐿(𝜃) = 𝜃𝑥1 𝑒 −𝜃𝑥1 𝜃𝑥2 𝑒 −𝜃𝑥2 … 𝜃𝑥𝑛 𝑒 −𝜃𝑥𝑛
𝑛 𝑛
2𝑛
=𝜃 ∏ 𝑥𝑖 exp (𝜃 ∑ 𝑥𝑖 )
𝑖=1 𝑖=1
ln 𝐿(𝜃) = 2𝑛 ln 𝜃 − 𝜃 ∑ 𝑥𝑖 + ln ∏ 𝑥𝑖
𝑖=1 𝑖=1
Persamaan kemungkinannya
𝑛
𝑑 2𝑛
ln 𝐿(𝜃) = − ∑ 𝑥𝑖 = 0
𝑑𝜃 𝜃
𝑖=1
Sehingga diperoleh
2
𝜃̂ =
𝑥̅𝑛
Jadi, MLE dari 𝜃 adalah
2
𝜃̂ =
𝑥̅𝑛
2. Tentukan MLE dari 𝜃 berdasarkan sampel acak 𝑋1 , 𝑋2 , … , 𝑋𝑛 untuk masing-
masing sebaran berikut ini.
a. 𝑋𝑖 ~𝐵𝐼𝑁(3, 𝑝)
1
b. 𝑋𝑖 ~𝑊𝐸𝐼 (𝜃, )
2
c. 𝑋𝑖 ~𝑃𝐴𝑅(1, 𝜅)
Solusi:
a. Karena 𝑋1 , 𝑋2 , … , 𝑋𝑛 sampel acak dan 𝑋𝑖 ~𝐵𝐼𝑁(3, 𝑝), 𝑖 ∈ ℕ, maka fungsi
kemungkinannya adalah
3 3
𝐿(𝑝) = ( ) 𝑝 𝑥1 (1 − 𝑝)3−𝑥1 ∙ ( ) 𝑝 𝑥2 (1 − 𝑝)3−𝑥2 ∙ …
𝑥1 𝑥2
3
∙ ( ) 𝑝 𝑥𝑛 (1 − 𝑝)3−𝑥𝑛
𝑥𝑛
𝑛
3 𝑛 𝑛
= ∏ ( ) 𝑝∑𝑖=1 𝑥𝑖 (1 − 𝑝)∑𝑖=1 3−𝑥𝑖
𝑥𝑖
𝑖=1
Diperoleh logaritmanya
𝑛 𝑛 𝑛
3
ln 𝐿(𝑝) = ln ∏ ( ) + ∑ 𝑥𝑖 ln 𝑝 + (∑ 3 − 𝑥𝑖 ) ln(1 − 𝑝)
𝑥𝑖
𝑖=1 𝑖=1 𝑖=1
(1 − 𝑝) ∑ 𝑥𝑖 = 𝑝 ∑(3 − 𝑥𝑖 )
𝑖=1 𝑖=1
𝑛 𝑛 𝑛
∑ 𝑥𝑖 = 𝑝 [∑(3 − 𝑥𝑖 ) + ∑ 𝑥𝑖 ]
𝑖=1 𝑖=1 𝑖=1
𝑛
∑ 𝑥𝑖 = 𝑝(3𝑛)
𝑖=1
Logaritmanya adalah
𝑛 𝑛 1
1 𝑛 1 𝑥𝑖 2
ln 𝐿 (𝜃, ) = −𝑛 ln 2 − ln 𝜃 − ln (∏ 𝑥𝑖 ) − ∑ ( )
2 2 2 𝜃
𝑖=1 𝑖=1
Persamaan kemungkinannya
1 1
𝑑 ln 𝐿 (𝜃, 2) 𝑛 ∑𝑛𝑖=1(𝑥𝑖 )2
=− + =0
𝑑𝜃 2𝜃 2𝜃√𝜃
1
∑𝑛𝑖=1(𝑥𝑖 )2
𝑛=
√𝜃
1
∑𝑛𝑖=1(𝑥𝑖 )2
√𝜃 =
𝑛
Sehingga diperoleh penduga dari 𝜃, yaitu 𝜃̂ dengan
2
(∑𝑛𝑖=1 √𝑥𝑖 )
̂
𝜃=
𝑛2
c. Fungsi kemungkinannya adalah
𝜅𝑛
𝐿(1, 𝜅) = 𝑛
[∏𝑖=1(1 + 𝑥𝑖 )]𝜅+1
Logaritmanya adalah
𝑛
ln 𝐿(1, 𝜅) = 𝑛 ln 𝜅 − (𝜅 + 1) ln ∏(1 + 𝑥𝑖 )
𝑖=1
Solusi:
Fungsi kemungkinannya adalah
1 ∑𝑛𝑖=1(𝑥𝑖 − 𝜂)
𝐿(𝜃, 𝜂) = 𝑛 exp [− ]
𝜃 𝜃
Logaritmanya adalah
∑𝑛𝑖=1(𝑥𝑖 − 𝜂)
ln 𝐿(𝜃, 𝜂) = −𝑛 ln 𝜃 −
𝜃
Karena terdapat dua parameter yang akan diduga, maka akan digunakan turunan
parsial.
Persamaan kemungkinan dengan turunan parsial terhadap 𝜂 adalah
𝜕 ln 𝐿(𝜃, 𝜂) ∑𝑛𝑖=1(𝑥𝑖 − 𝜂)
= =0
𝜕𝜂 𝜃
Dari persamaan tersebut, diperoleh MLE dari 𝜂,
∑𝑛𝑖=1 𝑥𝑖
𝜂̂ = = 𝑥̅𝑛
𝑛
Sementara itu, persamaan kemungkinan dengan turunan parsial terhadap 𝜃
adalah
𝜕 ln 𝐿(𝜃, 𝜂) 𝑛 ∑𝑛𝑖=1(𝑥𝑖 − 𝜂)
=− + =0
𝜕𝜃 𝜃 𝜃2
yang ekivalen dengan
∑𝑛𝑖=1(𝑥𝑖 − 𝜂)
𝑛=
𝜃
Dari persamaan tersebut dan dari hasil 𝜂̂ = 𝑥̅𝑛 , diperoleh MLE dari 𝜃, yaitu
∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅𝑛 )
𝜃̂ =
𝑛
4. Misal 𝑋1 , 𝑋2 , … , 𝑋𝑛 sampel acak dari sebaran geometrik, 𝑋𝑖 ~𝐺𝐸𝑂(𝑝).
Tentukan MLE dari:
1
a. 𝐸(𝑋) = 𝑝
1−𝑝
b. 𝑉𝑎𝑟(𝑋) = 𝑝2
(1 − 𝑝)𝑛 = 𝑝 ∑(𝑥𝑖 − 1)
𝑖=1
𝑛
𝑛 − 𝑝𝑛 = 𝑝 ∑ 𝑥𝑖 − 𝑝𝑛
𝑖=1
𝑛
𝑛 = 𝑝 ∑ 𝑥𝑖
𝑖=1
1 1
𝜏̂ = 𝜏(𝑝̂ ) = = = 𝑥̅𝑛
𝑝̂ ( 1 )
𝑥̅𝑛
1−𝑝
b. Dengan menggunakan cara serupa, diperoleh MLE untuk 𝑉𝑎𝑟(𝑋) = ,
𝑝2
1 − 𝑝̂ 1 1
𝜏̂ = 𝜏(𝑝̂ ) = = − = 𝑥̅ 𝑛2 − 𝑥̅𝑛
𝑝̂ 2 𝑝̂ 2 𝑝̂
c. Kembali menggunakan sifat invarians, diperoleh MLE untuk 𝑃[𝑋 > 𝑘] =
(1 − 𝑝)𝑘 , yaitu
1 𝑘
𝜏̂ = 𝜏(𝑝̂ ) = (1 − 𝑝̂ )𝑘 = (1 − )
𝑥̅𝑛
5. Misal 𝑋1 , 𝑋2 , … , 𝑋𝑛 sampel acak dari sebaran dengan pdf 𝑓(𝑥; 𝜃) =
𝑥
1
𝑒 −𝜃 𝐼(0 < 𝑥 < ∞). Tentukan MLE dari 𝑃(𝑋 ≤ 2).
𝜃
Solusi:
2
1 𝑥
𝑃(𝑋 ≤ 2) = ∫ 𝑒 −𝜃 𝑑𝑥
𝜃
0
𝑥 2
= [−𝑒 −𝜃 ]
0
2
= −𝑒 −𝜃 +1
Selanjutnya, akan dicari penduga dari 𝜃
Fungsi kemungkinannya adalah
1 ∑𝑛𝑖=1 𝑥𝑖
𝐿(𝜃) = 𝑛 exp [− ]
𝜃 𝜃
Sehingga, logaritmanya
∑𝑛𝑖=1 𝑥𝑖
ln 𝐿(𝜃) = −𝑛 ln 𝜃 −
𝜃
Persamaan kemungkinannya adalah
𝑑 ln 𝐿(𝜃) 𝑛 ∑𝑛𝑖=1 𝑥𝑖
=− + =0
𝑑𝜃 𝜃 𝜃2
𝑛
𝜃𝑛 = ∑ 𝑥𝑖
𝑖=1