METHOD MAXIMUM

LIKELIHOOD
- Kelompok 4 -

Brillian Pudya Suci Setianing Ayu (06111940000051)

Imroatus Sholihah
Nur Millatul Af Idah
Sulistia Jamil Sya'banah
Wafirotul Madah Noor
Zanuba Hilla Qudrotu Chofsoh
(06111940000075)
(06111940000042)
(06111940000034)
(06111940000031)
(06111840000048)
Definisi MML (Metode Maximum Likelihood)

Metode Likelihood adalah suatu metode yang mengarah pada sifat-sifat

estimator yang diinginkan, terutama untuk sampel besar, yaitu dengan
menggunakan nilai dalam parameter yang berhubungan dengan
“kemungkinan” terbesar untuk data pengamatan sebagai perkiraan dari
parameter yang tak diketahui.
Contoh 9.2.5

Misalkan
●   sebuah koin bias, dan diketahui bahwa proporsi rata-rata dari sisi
depan adalah salah satu dari tiga nilai atau Sebuah percobaan terdiri dari
melempar koin dua kali dan mengamati jumlah sisi depan. Ini bisa dimodelkan
secara matematis sebagai sampel acak dari ukuran dari distribusi Bernoulli, ,
dimana ruang parameter adalah

Perhatikan sekarang pdf gabungan dari sampel acak,

Untuk Kemungkinan keluar sisi depan koin kita misalkan dengan 0, dan
kemungkinan keluar sisi belakang koin kita misalkan dengan 1.
Contoh 9.2.5
Nilai
●   dari disediakan dalam Tabel 9.1 untuk berbagai pasangan dan nilai .
Sebagai contoh, jika masukkan nilai

Tabel 9.1 pdf bersama dari jumlah sisi depan untuk dua lemparan koin yang bias
Contoh 9.2.5

Misalkan
●   hasil percobaan pada pasangan yang diamati Dari Tabel 9.1,
tampaknya lebih mungkin bahwa daripada dua nilai lainnya. Demikian pula,
akan sesuai dengan dan akan sesuai dengan

Jadi, taksiran yang memaksimalkan "kemungkinan" untuk pasangan yang

diamati adalah
Definisi 9.2.2 Fungsi Likelihood

●  bersama dari variabel yang dinilai dengan mengatakan bahwa

Pdf
tertunjuk sebagai fungsi Likelihood. Untuk yang tetap, fungsi
kemungkinannya adalah sebuah fungsi dari dan sering ditulis dengan .
Jika merepresentasikan sebuah sampel acak dari , maka :
Definisi 9.2.3 Estimator Maksimum Likelihood

●  
Misalkan , adalah pdf bersama dari Untuk data pengamatan,
maksimum maka disebut Estimator Maksimum Likelihood (MLE) dari yang
memenuhi :
Penjelasan lanjutan Definisi 9.2.3

●  
Perhatikan bahwa jika setiap himpunan pengamatan
koresponden ke nilai unik , maka prosedur ini mendefinisikan
sebuah fungsi, Ini merupakan fungsi yang sama, ketika diterapkan
ke sampel acakdisebut Estimator Maksimum Likelihood, juga
dilambangkan dengan MLE. Biasanya, notasi yang sama, ,
digunakan untuk keduanya estimasi ML dan estimator ML.
Penjelasan lanjutan Definisi 9.2.3

●  
Dalam penerapan fungsi likelihood, merepresentasikan pdf
bersama dari sampel acak, walaupun kemungkinan
maksimumnya juga dapat dipakai dalam kasus lain seperti
dalam order statistik. Jika adalah selang terbuka, dan dapat
diturunkan dan dimisalkan maksimum pada , maka MLE akan
menjadi solusi dari persamaan :
Penjelasan lanjutan Definisi 9.2.3

●  
Sebenarnya jika ada satu atau lebih solusi dari persamaan 1 , maka
harus di verifikasi, yang mana itu memaksimalkan . Perhatikan juga
bahwa setiap nilai dari dengan yang maksimal juga akan
memaksimalkan kemungkinan log-likelihood, ln , jadi untuk kemudahan
komputasi, bentuk alternatif dari persamaan maksimum likelihood
adalah

Sering akan digunakan.

Contoh 9.2.6

Perhatikan
●   sampel acak dari distribusi Poisson , .
● Dengan pdf dari distribusi Poisson adalah

● Fungsi likelihood nya adalah

Contoh 9.2.6

●  Dan log-likelihood nya adalah

Contoh 9.2.6

●  Persamaan maksimum likelihood nya adalah

Contoh 9.2.6
●  
Sehingga didapat solusinya adalah = . untuk memverifikasi bahwa ini adalah sebuah nilai
maksimum adalah dengan menggunakan turunan kedua,

Yang mana nilainya negatif ketika dievaluasi pada = . Sehingga jika turunan kedua kurang
dari 0 di titik tersebut maka terbukti bahwa titik tersebut adalah maksimum
Tambahan dari Contoh 9.2.6
●  Dalam contoh-contoh berikutnya, menunjukkan penjumlahan dari 1
sampai n. Demikian pula, menunjukkan perkalian dari 1 sampai n.
● Misalkan sekarang kita ingin memperkirakan atau mengestimasi

● Dengan Kita dapat mengubah parameter model dalam bentuk

dengan
Tambahan dari Contoh 9.2.6
●  Jika adalah fungsi likelihood relatif terhadap , maka
Tambahan dari Contoh 9.2.6
●  Dan jika , maka didapat

● Atau

● Di contoh ini terlihat bahwa

 TEOREMA 9.2.1
Sifat Invarian

Jika adalah MLE dari dan jika

  adalah sebuah fungsi dari ,
maka adalah MLE dari .
CONTOH 9.2.7
●   sampel acak dari distribusi eksponensial, .
Misalkan
pdf dari distribusi Eksponensial adalah

Fungsi likelihood nya untuk sampel berukuran n adalah

Dan log-likelihood nya adalah

●  
Persamaan maksimum likelihood nya adalah   verifikasi bahwa adalah sebuah nilai maksimum dengan
menggunakan turunan kedua

Kemudian persamaan maksimum likelihood nya

disamadengankan nol

Sehingga diperoleh Jadi, MLE untuk adalah

Contoh 9.2.8

 
● Pertimbangkan sebuah sampel acak dari distribusi eksponensial dua parameter
Fungsi kemungkinannya adalah jika semua dan nol lainnya. Jika kita menyatakan
minimum dari dengan , maka kita dapat menulis jika dan nol lainnya. Grafik
terlihat pada gambar 9.1
●  
Gambar 9.1
Contoh 9.2.9

 
● Sebuah komponen distribusi eksponensial . Misalkan komponen dipilih secara acak
dan ditempatkan pada pengujian dan waktu kegagalan pertama yang diamati
dilambangkan dengan . Dari persamaan (6.5.12) kerapatan sambungan diberikan
oleh
● Di mana jika dan nol lainnya.
Contoh 9.2.9
●  
Perhatikan bahwa mewakili total waktu dari pada tes sampai percobaan dihentikan. Untuk mendapatkan MLE
dari berdasarkan data ini kami memiliki

Menetapkan turunan sama dengan nol menghasilkan . Jika sampel lengkap diamati maka dan seperti
sebelumnya.
●   sebelumnya telah melibatkan distribusi dengan satu parameter yang tidak
Contoh
diketahui. Definisi fungsi kemungkinan dan penaksir kemungkinan maksimum dapat
diterapkan dalam kasus lebih dari satu parameter yang tidak diketahui jika mewakili
vektor parameter. Katakanlah Meskipun dapat secara umum, menjadi hampir semua
jenis himpunan k-dimensi, dalam kebanyakan contoh suatu produk Cartesian dari
interval k. Ketika dalam bentuk ini dan jika turunan parsial dari ada, dan MLE tidak
terjadi pada batas , maka MLE akan menjadi solusi dari persamaan simultan.
●  
Untuk Ini disebut Maximum Likelihood Equations, dan solusinya dilambangkan .
Seperti dalam kasus satu parameter, umumnya perlu untuk memverifikasi bahwa solusi
persamaan ML memaksimalkan
Teorema 9.2.2 Invariance Property / Sifat Invarian

Jika  
● menyatakan MLE dari maka MLE dari
) adalah untuk 1 ≤ r ≤ k

Bukti Teorema 9.2.2 Invariance Property / Sifat Invarian

Untuk kasus diatas hampir sama dengan Teorema 9.2.1, namun kasus di atas terdiri dari multiple
parameters.

Berdasarkan teorema 9.2.1, MLE dari diperoleh dari transformasi MLE . Sehingga untuk MLE dari
didapatkan dari transformasi masing-masing parameter terhadap MLE . Sehingga didapat MLE dari adalah
Example 9.2.10

●  satu set variable acak , MLE dari dan berdasarkan pada sampel acak berukuran n.
Untuk
Pdf

Likelihood function 

Derivative of ln(L)
 ●  
Tetapkan turunan diatas sama dengan nol untuk mendapatkan penyelesaian dan
sehingga
sehingga

Perhatikan bahwa jika diketahui, maka

sehingga
Perhatikan bahwa jika diketahui, maka
sehingga
EXAMPLE 9.2.11
Misalkan
●   sampel acak dari distribusi dengan dua parameter yang tidak diketahui,

Pdf populasinya adalah

Fungsi Likelihoodnya adalah

all
ln
dimana adalah minimum dari
●  
Likelihoodnya dimaksimalkan dengan mengambil .
Selanjutnya turunkan ln yaitu

Dengan hasilnya

Persentil dari , yaitu , sedemikian sehingga diberikan oleh

dan MLE dari adalah

(seperti pada Teorema 9.2.2)
EXAMPLE 9.2.12
●  
Diberikan perkiraan ML untuk parameter distribusi gamma, GAM, berdasarkan pada
contoh acak berukuran .
Dimiliki persamaan

Selanjutnya untuk yaitu

●   derivativenya adalah
Parsial

Jika dimisalkan yang dinotasikan sebagai mean geometri dari sampel dan misalkan
dinotasikan sebagai fungsi psi, kemudian turunannya sama dengan nol memberikan
persamaan

Ini memberikan contoh dimana persamaan ML tidak dapat diselesaikan dalam bentuk
tertutup.
Berikut ini adalah tahapan untuk menerapkan
metode maximum likelihood:
1.  Tentukan fungsi likelihood dari X
●

2. Tentukan 
3. Maksimumkan fungsi  dengan mencari turunan pertamanya

4. Tentukan  melalui hasil dari

TERIMA KASIH