Inferensi Likelihood

Tugas 3
Kategori : Kelompok

UNSUR-UNSUR INFRENSI LIKELIHOOD

Ringkasan Materi Bab 2 Subbab 2.1 - 2.4

KELOMPOK 1

MUHAMMAD FADIL ( H 121 15 006 )

A. MUTHIAH NUR ANGRIANY ( H 121 15 307 )

Tanggal tugas : 06 September 2017

Tanggal kumpul : 13 September 2017

PRODI STATISTIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS HASANUDDIN
MAKASSAR
2018

1
Daftar Isi

Inferensi Likelihood ........................................................................................................................ 1

Daftar Isi ......................................................................................................................................... 2
Unsur Kemungkinan Kesimpulan ..................................................Error! Bookmark not defined.
2.1 Definisi Klasik ...................................................................................................................... 3
Model Diskrit .......................................................................................................................... 5
Model Kontinyu ...................................................................................................................... 5
Konvensi Matematika ............................................................................................................. 6
2.2 Contoh ................................................................................................................................... 6
2.3 Gabungan Likelihood......................................................................................................... 10
Hubungan Dengan Pendekatan Bayesian ............................................................................. 12
2.4 Likelihood Ratio ................................................................................................................. 13

2
Unsur-unsur Infrensi Likelihood
2.1 Definisi Klasik

Tujuan fungsi likelihood adalah untuk menyampaikan informasi tentang jumlah

yang tidak diketahui. 'Informasi' tidak lengkap, dan fungsinya akan mengungkapkan
tingkat ketidaklengkapan. Jumlah tidak diketahui dalam masalah statistik dapat berupa
parameter tetap, dengan masalah estimasi yang terkait, atau nilai acak yang tidak diamati;
Dalam masalah prediksi sebenarnya dua hal yang tidak diketahui dapat dengan mudah
dicampur. Kami akan mempertimbangkan definisi perluasan yang memecahkan masalah
prediksi di Bagian 16.2.
Ingat dulu mode standar pemikiran matematika deduktif: diberikan model
probabilistik dan nilai parameter yang kita dapatkan deskripsi data. Dalam mode deduktif
kita mendapatkan konsekuensi dari asumsi tertentu. Misalnya, jika kita melakukan
eksperimen binomial dengan parameter n = 10 dan = 1/3, dan menunjukkan X menjadi
jumlah keberhasilan, maka ( = 0) = 0,0282, dll. Ini berarti jika kita mengulang
percobaan 10.000 kali, kami berharap sekitar 282 dari mereka tidak akan menghasilkan
kesuksesan.
Sekarang anggaplah kita melempar koin sebanyak 10 kali dan mengamati = 8
kepala. Berdasarkan informasi ini saja, berapakah probabilitas kepala ? (Artinya, dengan
asumsi kita sama sekali tidak tahu apa-apa tentang hal itu sebelum percobaan). Informasi
tentang tidak lengkap, jadi akan ada beberapa ketidakpastian. Sekarang, tidak bisa
nol dan sangat tidak mungkin sangat kecil Kita dapat mengatakan ini, karena, secara
deduktif kita tahu ( = 8) adalah nol atau sangat kecil Sebaliknya, = 0,6 atau =
0,7 kemungkinan terjadi, karena ( = 8) = 0.1209 atau 0,2335. Dengan demikian,
kita telah menemukan cara deduktif untuk membandingkan perbedaan :
membandingkan probabilitas data yang diamati dengan nilai yang berbeda . Sebagai
fungsi dari parameter yang tidak diketahui

() = ( = 8)

disebut fungsi likelihood: lihat Gambar 2.1. Plot menunjukkan (J tidak mungkin kurang
dari 0,5 atau lebih besar dari 0,95, namun lebih mungkin berada di antara keduanya.
Dengan data sendiri (dan tidak ada informasi lain), kita harus memilih nilai antara 0,5 dan
0,95 pada nilai di luar ini.
Dengan cara yang sederhana dan deduktif kita telah menemukan jumlah numerik untuk
mengekspresikan urutan preferensi . Tentu saja kita masih belum tahu persisnya dimana
adalah, tapi kami telah menangkap informasi yang diberikan dalam data dengan

3
menunjukkan di mana kemungkinan akan jatuh. Ketidakpastian dalam data itu melekat,
dan itulah yang disampaikan dalam fungsi likelihood.

Gambar 2.1: Kemungkinan fungsi probabilitas keberhasilan dalam percobaan binomial

dengan = 10 dan = 8. Fungsi dinormalisasi untuk memiliki satuan maksimum.

Kemungkinan memberi kita ukuran preferensi relatif untuk berbagai nilai

parameter. Dengan model, kemungkinan () adalah kuantitas yang tepat dan obyektif,
maka ukuran 'keyakinan rasional'; itu objektif dalam arti bahwa itu ada di luar preferensi
subjektif. Ini adalah fakta penting tentang fungsi likelihood karena ini berarti bahwa
jumlah yang kita hitung dari fungsinya juga tepat dan objektif. Dalam prakteknya, apa
yang kita lakukan atau bagaimana kita bertindak mengingat informasi dari kemungkinan
adalah masalah lain.
Ada kecenderungan pengajaran klasik untuk segera berfokus pada maksimal
kemungkinan dan mengabaikan fungsinya sendiri. Itu bukan proses berpikir yang
bermanfaat mengenai apa yang ingin kita pelajari dari data. Barnard dkk. (1962)
bersikap tegas bahwa seseorang harus mencoba kebiasaan membuat sketsa fungsi
kemungkinan untuk beberapa saat untuk menyadari betapa membantu mereka. Ini adalah
fungsi likelihood keseluruhan yang menjadi pembawa informasi pada , bukan
maximizer-nya. Pada contoh di atas kemungkinan dimaksimalkan pada 0,8, namun ada
kisaran nilai yang hampir sama kemungkinannya. Pada Bagian 2.5 kita akan
memeriksa secara lebih rinci peran perkiraan kemungkinan maksimum.
Definisi 2.1 Dengan asumsi model statistik yang parameterized oleh tetap dan tidak
diketahui, kemungkinan () adalah probabilitas data obschied dianggap sebagai
fungsi .
Data generik mencakup sekumpulan pengamatan yang mungkin kita dapatkan
dari percobaan kompleksitas apapun: serangkaian nilai dan bukan pengukuran yang tepat,
vektor nilai, matriks, deretan matrik, deret waktu atau gambar 2D Parameter generik
juga bisa serumit model yang dibutuhkan; khususnya bisa menjadi vektor nilai. Di bab-

4
bab selanjutnya kita akan memulai sebuah tur besar untuk menunjukkan kekayaan dunia
kemungkinan dari model mainan sederhana hingga studi yang sangat kompleks.
Model Diskrit
Tidak ada ambiguitas tentang probabilitas data yang diamati dalam model diskrit,
karena ini adalah kuantitas nol yang didefinisikan dengan baik. Untuk contoh binomial
diatas, fungsi likelihood adalah
() = ( = )

= ( ) (1 )

Gambar 2.2 menunjukkan empat fungsi likelihood yang dihitung dari empat percobaan
binomial dengan = 10 dan = 0,2,5, 10. Interpretasi fungsi bersifat langsung.
Misalnya, bila = 0, kemungkinan terkonsentrasi mendekati nol, menunjukkan bukti
kuat bahwa sangat mendekati nol.

Gambar 2.2: Kemungkinan fungsi probabilitas keberhasilan fJ dalam empat percobaan binomial
dengan = 10 dan = 0,2,5,10. Fungsi dinormalisasi agar memiliki unit maksimal.

Model Kontinyu
Sedikit masalah teknis muncul saat berhadapan dengan hasil yang
berkesinambungan, karena secara teoritis probabilitas dari setiap nilai titik adalah nol.
Kita dapat mengatasi masalah ini dengan mengakui bahwa dalam kehidupan nyata hanya
ada ketepatan yang terbatas : mengamati adalah kependekan dari pengamatan

( 2 , + 2), dimana adalah batas presisi. Cukup kecil, untuk mengamati
kemungkinan

() = { ( , + )}
2 2

+
2
= () () (2.1)


2

5
Untuk tujuan membandingkan dalam model (), kemungkinan hanya bermakna
sampai konstanta sewenang-wenang (lihat Bagian 2.4), jadi kita dapat
mengabaikannya. Oleh karena itu, dalam semua model kontinyu dimana hasil
dilarutkan dengan baik ketepatan kita hanya akan menggunakan fungsi kepadatan ()
untuk menghitung kemungkinan.
Dalam banyak aplikasi, hasil terus-menerus tidak diukur dengan presisi yang baik.
Bisa juga terjadi bahwa hasilnya telah dikategorikan ke dalam beberapa kelas, jadi
datanya melibatkan rentang nilai Dalam pengamatan studi klinis biasanya disensor: masa
pakai suatu subjek hanya diketahui lebih besar dari pada suatu titik tertentu. Dalam kasus
ini, pendekatan sederhana (2.1) tidak berlaku, dan integral harus dievaluasi secara tepat
atau Pendekatan lain yang lebih tepat digunakan.
Konvensi Matematika
Perlakuan variabel acak diskrit atau kontinu berbeda sedikit dalam teori
probabilitas, dan istilah 'kepadatan probabilitas' atau 'probabilitas' akan diterapkan untuk
mencakup model diskrit dan kontinu. Dalam kebanyakan kasus, kemungkinan adalah
kepadatan probabilitas dilihat sebagai fungsi parameter. Definisi asli penting bila data
keduanya diskrit dan kontinu, atau bila kita membandingkan model yang terpisah.
Ketika kita mengatakan bahwa kita 'mengintegrasikan' kepadatan ini berarti (i) integrasi
biasa ketika kita berhadapan dengan variabel acak kontinu :

()

atau (ii) penjumlahan ketika berhadapan dengan diskrit

()

dimana () adalah beberapa fungsi kepadatan. Ketika kita membahas sebuah contoh
tertentu, kita bisa menggunakan integrasi atau penjumlahan, tergantung pada konteksnya,
namun harus dipahami bahwa gagasan yang dipertimbangkan biasanya mencakup kasus
kontinyu dan diskrit.

2.2 Contoh

Contoh 2.1 : Misalkan 100 bibit ditanam dan diketahui hanya benih 10 yang
berkecambah. Jumlah benih perkecambahan pasti tidak diketahui. Maka informasi
tentang diberikan oleh fungsi likelihood.
() = ( 10)

6
 10
100 (1
= ( ) )

=0

Gambar 2.3 (a) membandingkan kemungkinan ini dengan kemungkinan berdasarkan = 5.

Gambar 2.3: () Fungsi kemungkinan dari dua percobaan binomial : = 100 dan
< 11, dan = 100 dan = 5. (b) Kemungkinan jumlah pelacur. (c) Kemungkinan
prevalensi genotipe tertentu. (d) Kemungkinan mean normal berdasarkan pengamatan
0,9 < < 4 (garis padat), = 2,45 (garis putus-putus), dan maksimum (5) = 3,5
(garis putus-putus). Semua kemungkinan ditetapkan untuk memiliki satuan maksimum.

Contoh 2.2 : Teknik yang berguna untuk menghitung populasi adalah menandai
subkumpulan populasi, kemudian mengambil sampel acak dari campuran individu yang
ditandai dan tidak bertanda. Teknik capture-recapture ini digunakan, misalnya untuk
menghitung jumlah hewan liar. Dalam aplikasi sensus, sebuah survei pasca pencacahan
dilakukan dan orang menganggap individu yang sebelumnya dihitung sebagai 'ditandai'
dan yang baru sebagai 'tidak ditandai'; proporsi individu baru dalam survei ini akan
memberikan perkiraan jumlah orang di bawah selama sensus. Untuk memperkirakan
jumlah orang yang menghadiri sebuah demonstrasi besar, pertama-tama kami bisa
mendistribusikan topi warna-warni, kemudian mengambil sampel acak dari kerumunan.
Sebagai contoh spesifik, untuk memperkirakan jumlah badgers () pada tertentu
daerah, Departemen Pertanian tag = 25 dari mereka. Kemudian menangkap = 60

7
badgers, dan menemukan 2 = 55 untagged dan 1 = 5 tagged ones. Dengan
mengasumsikan badgers tertangkap secara acak, kemungkinan N dapat dihitung
berdasarkan pada probabilitas hipergeometrik:
25 25
( )( )
() = (1 = 5) = 5 55 .

( )
60
Gambar 2.3 (b) menunjukkan fungsi likelihood untuk rentang .

Contoh 2.3 : Tim ahli genetika menyelidiki prevalensi genotipe langka tertentu, yang
membuat penampakan pertamanya pada subjek ke-53 yang dianalisis. Dengan asumsi
subjek independen, kemungkinan probabilitas prevalensi diberikan oleh probabilitas
geometrik
() = (1 )52 .
Para ilmuwan telah merencanakan untuk berhenti ketika mereka menemukan lima subjek
dengan genotipe minat, pada saat mana mereka menganalisis 552 subjek. Kemungkinan
diberikan oleh probabilitas binomial negatif
552 1 5 (1
() = ( ) )5525 .
51
Gambar 2.3 (c) menunjukkan kemungkinan ini dalam garis padat dan garis putus-putus.

Contoh 2.4 : Misalkan adalah sampel dari (, 1) ; kemungkinan adalah

1 1
()2
() = ( ) 2 .
2
Kurva putus-putus pada Gambar 2.3 (d) adalah kemungkinan berdasarkan pengamatan
= 2,45. Misalkan hanya diketahui 0,9 < < 4 ; maka kemungkinan adalah
() = (0.9 < < 4) = (4 ) (0.9 )
dimana () adalah fungsi distribusi normal standar. Kemungkinan ditunjukkan pada
garis padat pada Gambar 2.3 (d).
Misalkan 1 , , adalah sampel yang identik dan terdistribusi secara independen (iid)
dari (, ), dan hanya () maksimum yang dilaporkan, sementara yang lainnya hilang.
Fungsi distribusi () adalah

() = (() )

= ( , )
= {( )}

8
Jadi, kemungkinan berdasarkan pengamatan () adalah
1
() = (() ) = {(() )} (() )
Gambar 2.3 (d) menunjukkan kemungkinan garis putus-putus untuk = 5 dan () = 3,5.

Ada heuristik umum untuk menangani statistik pesanan untuk sampel iid dari densitas
kontinu (). Asumsikan presisi yang terbatas , dan bagikan garis sebenarnya ke
dalam grid biasa dengan lebar . Mengambil sampel iid 1 , , seperti melakukan
eksperimen multinomial: lempar bola ke sel dengan probabilitas () dan rekam
dimana mereka mendarat Misalnya, probabilitas statistik pesanan (1) , , () kira-kira

! (() )

Mengetahui hanya maksimum () , argumen multinomial segera menghasilkan

kemungkinan yang diberikan di atas. Jika hanya (1) dan () diberikan, kemungkinan
adalah
2
() = ( 1) 2 ((1) ) (() ){ (() ) ((1) )}

dimana () adalah fungsi distribusi yang mendasarinya.

Contoh 2.5 : Mari kita sekarang memecahkan paradoks pertukaran yang dijelaskan pada
Contoh 1.3 dengan menggunakan kemungkinannya. Perlakukan jumlah uang sebagai
parameter yang tidak diketahui dan 2. Saat melihat jumlahnya : di amplop,
kemungkinan adalah
( = ) = ( = | = )
= ( = | = )
= 0.5
Dan

( = ) = ( = | = )
2 2

= ( = 2| = )
2
= 0.5
yang berarti data tidak dapat memberi tahu kami preferensi lebih dari dua kemungkinan

nilai 8. Jumlah (tidak diketahui) pada amplop lain adalah ( = 2) atau
2
2( = ) dengan kemungkinan yang sama, bukan probabilitas, dan kita harus
berhenti di situ. Analisis kemungkinan menyediakan bahwa, jika hanya diberikan satu
informasi saja, tidak ada cara rasional untuk memilih satu amplop dari yang lain.

9
 Paradoks ini dihindari karena kita tidak dapat menggunakan rata-rata nilai likelihood
sebagai bobot.

2.3 Gabungan Likelihood

Definisi likelihood memberikan aturan sederhana untuk menggabungkan

likelihood dari dataset yang berbeda. Jika xl dan x2 adalah dataset independen dengan
probabilitas 1 , (1)dan 2 , (2 ) yang memiliki parameter ,maka likelihood
(kemungkinan) dari gabungan data tersebut adalah:

dimana 1 () dan 2 () adalah kemungkinan dari dataset individu. Pada Skala

log properti adalah properti aditif sederhana:

untuk menggabungkan informasi dari percobaan yang independen: cukup

tambahkan log-likelihoods. Sedangkan, untuk tujuan analitis dan komputasi, biasanya
lebih mudah untuk bekerja dalam skala log-likelihood.
Kasus yang paling sederhana terjadi jika xl dan x2 adalah iid sampel dari densitas
() yang sama , jadi

Atau

Maka, jika x1 , , xn adalah Iid sample dari densitas (), didapatkan :

Atau

10
Contoh 2.6 : jika x1 , , xn adalah Iid sample dari (, 2 ) dengan 2 yang
diketahui.
Kontribusi dari xi ke likelihood adalah :

Dan total log-likelihood adalah :

Contoh 2.7 : Misalkan kita memiliki dua sampel independen yang diambil dari
(, 1).Dari sampel pertama dilaporkan bahwa ukuran sampel adalah n1 = 5, dan
Maksimum (5) = 3.5. Sampel kedua memiliki ukuran n2 = 3, dan sampelnya hanya
dietahuii = 4. Dari contoh 2.4 maka :

Dan, karena adalah (, 1/3),

Log-likelihood dari kombinasi data adalah :

11
Grafik Likelihoodnya digambarkan pada gambar 2.4.

Gambar 2.4: grafik likelihood berdasarkan Maksimum (5) dari sampel pertama (garis putus-
putus), pada sampel mean = 4 dari sampel kedua (garis titik), dan pada gabungan data (garis
).

Hubungan Dengan Pendekatan Bayesian

Ingatlah bahwa dalam perhitungan Bayesian sebelumnya dimulai dengan
perhitungan () dan menghitung posterior

Di mana, untuk mengikuti pemikiran Bayesian, kita menggunakan (|)

(). Dengan membandingkan persamaan (2.3) dengan (2.2) kita melihat bahwa
metode Bayesian mencapai efek yang sama sebagai metode likelihood: menggabungkan
informasi dari sebelumnya dankemungkinan saat ini dengan perkalian sederhana.
Memperlakukan () sebelumnya sebagai 'kemungkinan sebelumnya' maka
posteriornya adalah Gabungan likelihood. jika sama sekali tidak mengetahui sebelum
mengamati X = x, kemungkinan sebelumnya adalah () 1 , dan fungsi likelihood
mengekpresikan informasi terkini pada setelah mengamati x. Menggunakan prior
seragam dan menskalakan fungsi untuk diintegrasikan ke satu, kerapatan posterior dan
fungsi likelihood akan sama.

12
2.4 Likelihood Ratio

Bagaimana kita membandingkan kemungkinan nilai parameter yang berbeda,

katakanlah 1 () dan 2 ()? Misalkan y adalah transformasi satu-ke-satu dari Data xi
yang diamati , jika x kontinyu

Maka likelihood berdasarkan pada data y baru adalah :

Karena hanya rasio yang penting, dalam model (), fungsi likelihood hanya
bermakna sampai konstanta perkalian. Ini berarti,Misalnya, dalam mengatur likelihood
dapat mengabaikan persyaratan yang tidak dilibatkan Parameternya. Proporsional
likelihood sama jika yang bersangkutan terbukti. Untuk membuatnya unik, biasanya
Menormalkan fungsi likelihood agar memiliki satuan maksimum, yaitu membagi fungsi
maksimal. Jika melaporkan nilai kemungkinan sebagai persentase itu dipahami sebagai
nilai yang dinormalisasi. Atau, kita dapat mengatur log-likelihood untuk memiliki nol
maksimum.
Contoh 2.8
Misalka x adalah sampel yang berdistribus binomial(n, ), dimana n diketahui. abaikan
istilah yang tidak relevan.

Atau

Dikatakan sebelumnya bahwa likelihood memberi ukuran rasional keyakinan atau

preferensi relatif. Bagaimana kita menafsirkan nilai sebenarnya dari fungsi likelihood
atau rasio likelihood? Dalam contoh binomial dengan n = 10 dan hasil x= 8, bagaimana
seharusnya bereaksi terhadap pernyataan tersebut

Apakah ada cara untuk mengkalibrasi nilai numerik ini dengan sesuatu yang
obyektif? Jawabannya adalah ya, tapi untuk saat ini kita akan mencoba menjawabnya
lebih subyektif dengan analogi.

13
 Misalkan ambil kartu secara acak dari setumpuk kartu N dan pertimbangkan dua
hipotesis berikut ini:
Ho: the deck berisi N kartu berbeda berlabel 1 sampai N.
H2: the deck berisi kartu serupa N berlabel seperti, katakanlah, 2.
Misalkan yang didapatkan kartu dengan label 2, maka ratio likelihoodnya dari
kedua hipotesisnya adalah:

Artinya, H2 adalah N = 209 kali lebih dari pada Ho. Itulah yang bisa Diukur
'keyakinan rasional' tentang = 0,8 dan = 0,3 berdasarkan pengamatan x = 8.
Interpretasi seperti ini, sayangnya, tidak bisa tahan kecuali dengan Penelitian teoritis
(Bagian 2.6), oleh karena itu hanya disebut dengan interpretasi subjektif.

14