Estimasi Titik

(Point Estimation)
Minggu ke 1-3

Prof. Dr. Sri Haryatmi, M. Sc.

Universitas Gadjah Mada

2014

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 1 / 33

DAFTAR ISI

1 Minggu 1
Pertemuan 1 : Pendahuluan
Estimasi Titik
Beberapa Metode Estimator
Metode Moment
Metode Maksimum Likelihood

2 Minggu 2
Minggu 2 : Metode Evaluasi Estimator
Sifat Takbias (Unbias)
Sesatan Kuadrat Rata-rata / MSE
Estimator Takbias Terbaik

3 Minggu 3
Minggu 3 : Konsistensi
Minggu 3 : Konsistensi
Sifat Sifat Asimtotis dari MLE

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 2 / 33

Minggu 1 : Pendahuluan

Statistika Inferensial
Untuk mengetahui karakteristik yang bersifat numerik dari suatu populasi,
observasi terhadap satu atau lebih variabel acak yang terkait perlu
dilakukan. Hasil observasi ini kemudian dianalisis dengan menggunakan
teknik-teknik tertentu untuk mengestimasi karakteristik (dalam model
parametrik disebut parameter) populasi atau menguji hipotesis tentang
populasi. Bagian statistika yang membahas teori estimasi dan uji hipotesis
dinamakan statistika inferensial (inferential statistics).

Estimasi parameter dibedakan menjadi dua macam, yaitu estimasi titik

dan estimasi interval. Bab ini membahas estimasi titik. Estimasi interval
dan uji hipotesis akan di bahas di bab-bab yang akan datang.

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 3 / 33

Estimasi Titik

Kongsep dari estimasi titik sangat sederhana. bila sampling berasal dari
populasi yang digambarkan melalui densitas f (x | θ), pengetahuan tentang
θ menghasilkan karakteristik mengenai keseluruhan populasi. Dengan kata
lain Estimasi Titik adalah suatu nilai (suatu titik) yang digunakan untuk
menduga suatu parameter populasi.

Definisi
Dalam statistik T = t(X1 , X2 , ..., Xn ) yang digunakan untuk
memperkirakan nilai dari τ (θ) adalah estimator dari τ (θ) dan nilai yang
diamati dalam statistik , t(x1 , x2 , ..., xn ) disebut estimate dari τ (θ).

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 4 / 33

 Perhatikan bahwa terdapat perbedaan antara estimate dan estimator.
Suatu estimator adalah fungsi sampel. sedangkan estimate adalah nilai
terealisasi dari estimator yaitu bilangan yang didapat bila sempel benar
benar terambil.

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 5 / 33

Beberapa Metode Estimator

1 Metode Moment.
2 Metode Maksimum Likelihood.

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 6 / 33

Metode Moment (Method of Moment Estimator/MME)

Adalah Metode yang diciptakan oleh Karl Pearson pada tahun 1800 dan
merupakan metode tertua dalam menentukan estimator titik.Ide utama
dari metode momen adalah menyamakan karakteristik sampel tertentu
seperti mean dan varians untuk nilai-nilai yang diharapkan populasi yang
bersesuaian dan kemudian menyelesaikan persamaan yang dihasilkan untuk
mendapatkan nilai perkiraan parameter tidak diketahui

Definisi
jika X1 , X2 , ..., Xn adalah sampel random dari populasi dengan fungsi
densitas f (x; θ1 , θ2 , ..., θn ) , maka moment populasi ke k didifinisikan
sebagai µk = E (X k )

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 7 / 33

Definisi
Misalkan X1 , X2 , ..., Xn adalah sampel random dari populasi dengan fungsi
densitas f (x; θ1 , θ2 , ..., θk ). Estimator metode moment didapat dengan
menyamarkan k moment sampel pertama pada k moment sampel populasi
dan menyelesaikan sistem persamaan simultan yang dihasilkan (
diselesaikan untuk θ1 , θ2 , ..., θk ).

Contoh :
Misalkan X1 , X2 , ..., Xn adalah sampel random dari populasi yang
berdistibusi Poisson dengan parameter λ . Dengan metode moment
tentukan estimator untuk λ.

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 8 / 33

 Penyelesaian :
X v P(λ)
Maka fungsi densitasnya f (x | θ) = e −λ λx!x , x = 1, 2, ....
E (x) = xe −λ λx!x
P
λx−1
= λ x−1=0 e −λ x−1!
P
=λ

Karena hanya satu parameter yang akan diestimasi maka hanya diperlukan
satu pesamaan dan langsung diperolah estimator titiknya.

1 P
E (X ) = n Xi

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 9 / 33

Contoh :
Misalkan X1 , X2 , ..., Xn merupakan sampel acak dari sebarang distribusi
dengan mean µ dan Variansi σ 2 maka dengan mudah dapat ditunjukkan
bahwa
Σni=1 (Xi −Xn )2
µ̃ = X dan σ̃ 2 = n

n−1 2
Perhatikan bahwa σ̃ 2 = n S dimana S 2 adalah sampel varians.

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 10 / 33

Metode Maksimum Likelihood

Metode kedua dalam estimasi parameter dari suatu distribusi probabilitas

didasarkan pada fungsi likelihood. Sejauh ini metode Maksimum
Likelihood adalah metode yang paling populer dalam menghasilkan
estimator. untuk mendapatkan metode maksimum likelihood akan di
berikan definisi fungsi likelihood sebagai berikut:
Definisi
Fungsi densitas bersama dari n variable random X1 , X2 , ..., Xn dengan nilai
pengamatan x1 , x2 , ..., xn dinotasikan dengan f (x1 , x2 , ..., xn ; θ) dan disebut
fungsi likelihood. Untuk x1 , x2 , ..., xn tetap adalah fungsi dari θ dan
dinotasikan dengan L(θ).Jika X1 , X2 , ..., Xn adalah sampel random dari
fungsi densitas f (x1 ; θ) , maka fungsi likelihoodnya adalah:
L(θ) = f (x1 ; θ), ..., f (xn ; θ) = Πnn−1 f (xn ; θ)

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 11 / 33

Definisi
Misalkan L(θ) = f (x1 ; θ), ..., f (xn ; θ) = Πnn−1 f (xn ; θ), θΩ Adalah Fungsi
densitas bersama X1 , X2 , ..., Xn dan bila diberikan himpunan dari
pengamatan x1 , x2 , ..., xn nilai θ̂ dalam Ω yang memaksimumkan L(θ)
disebut penduga maksimum likelihood dari θ. Dalam hal ini θ̂ merupakan
nilai dari θ yang memenuhi f (x1 , x2 , ..., xn ; θ̂) = maxθΩ f (x1 , x2 , ..., xn ; θ)

Sesungguhnya ide dasar dari metode maksimum likelihood adalah mencari

nilai parameter yang memberi kemungkinan (likelihood) yang paling besar
untuk mendapatkan data yang terobservasi sebagai estimator.

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 12 / 33

 Langkah Langkah Menentukan Estimator
Maksimum Likelihood :
1 Tentukan fungsi likelihood.
2 Bentuk log likelihood.
3 Tentukan turunan dari bentuk log likelihood dan
meyamakan turunannya sama dengan nol .
4 Bentuk persamaan likelihood.

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 13 / 33

Contoh :
Misalkan X1 , X2 , ..., Xn merupakan sampel acak dari distribusi
x −θ
Poisson,X ∼ POI (θ) dengan fungsi densitas f (x; θ) = θ Xe ! , x = 1, 2, ...
Fungsi likelihood
Pn
θ i=1 x e −θn
L(θ) = Πni=1 f (x; θ) = Πni=1 X !

dan fungsi log likelihood

Pn
ln L(θ) = i=1 xi ln θ − nθ− ∈ Πni=1 X !

Persamaan maksimum likelihoodnya adalah

∂ Pn xi
∂θ ln L(θ) = i=1 θ −n =0

yang mempunyai penyelesaian θ̂ = Xn

Jadi MLE dari θ adalah θ̂ = Xn .
Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 14 / 33
 Contoh :
Banyak cacat dalam suatu lini produksi ditemukan mengikuti distribusi
Poisson dengan suatu rata-rata ? yang tidak diketahui. Dua sampel
random diambil dan banyaknya unit-unit yang cacat adalah 10 dan 12.
Tentukan estimasi kemungkinan maksimum (MLE) dari µ ?

Jawab:
Probabilitas yang mempunyai x unit dari suatu distribusi Poisson adalah
x −µ
P(x) = µ Xe ! , x = 1, 2, ...
Probabilitas yang mempunyai 10 dan 12 cacat berturut-turut adalah:
10 e −µ 12 e −µ
P(10) = µ 10! dan P(12) = µ 12!

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 15 / 33

Fungsi likelihood l[x, µ] adalah perkalian dari P(10) dan P(12), yaitu:
10 e −µ µ12 e −µ 22 e 2−µ
l[x, µ] = µ 10! x 12! = µ10!12!

Evaluasi dari persamaan di atas untuk nilai-nilai yang berbeda dari µ dapat
disederhanakan dengan mengambil logaritma dari l[x, µ]. Misal
L[x, µ] = logl[x, µ]

dan logaritma dari fungsi likelihood adalah

L[µ] = 22 log µ − 2µ − log(10!12!)

Derivatif dari L[µ] terhadap µ adalah

∂l[µ] 22
∂µ = µ − 2 = 0

22
Jadi estimasi terbaik dari µ̂ adalah 2 = 11

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 16 / 33

Minggu 2 : Metode Evaluasi Estimator

Estimator titik untuk parameter θ melalui pendekatan klasik yaitu metode

moment dan metode maksimum likelihood, mungkin diperoleh estimator
yang berbeda. Masalahnya sekarang adalah bagimana memilih salah satu
estimator terbaik yang memenuhi sifat sifat kebaikan suatu estimator.
Dalam presentasi ini akan diperkenalkan patokan dasar untuk
mengevaluasi estimator dan meyelidiki kelakuan beberapa estimator
terhadap kreteria tertentu.

Metode Evaluasi Estimator :

1 Sifat Takbias (Unbias).
2 Sesatan Kuadrat Rata-rata(mean square Error/MSE).
3 Estimator Takbias Terbaik.
4 Konsistensi.

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 17 / 33

Sifat Takbias (Unbias)

Sifat takbias ini merupakan sifat baik dari suatu estimator yang dipeoleh
melalui pendekatan klasik, dalam pemilihan estimator terbaik salah
satunya harus memenuhi sifat takbias ini.

Definisi
Sebuah estimator T dikatakan estimator tak bias untuk τ (θ) , Jika
E (T ) = τ (θ)

untuk semua θΩ Jika tidak demikian T dikatakan estimator bias untuk
τ (θ).

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 18 / 33

 Contoh :
Jika X1 , X2 , ..., Xn merupakan sampel acak dari sebarang distribusi dengan
mean µ = E (Xi ) dan variansi σ 2 = Var (Xi ) maka menurut Teorema X
dan S 2 masing-masing adalah estimator tak bias untuk µ dan σ 2 karena
E (X ) = µ dan E (S 2 ) = σ 2

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 19 / 33

Sesatan Kuadrat Rata-rata(mean square Error/MSE)

Definisi
kesalahan kuadrat rata-rata (MSE) dari estimator T [x] dari parameter θ
adalah fungsi θ yang didifinisikan dengan Eθ [T (x) − θ]2 . dengan mudah
dapat kita lihat bahwa Eθ [T (x) − θ]2 = varT (x) + (Bias(T (x)))2 dengan
Bias(T (x)) = Eθ T (x) − θ

Jadi , MSE mempunyai dua komponen , variansi yang mengukur

variabilitas estimator ( precision ) dan bias mengukur akuransi dari
estimator . jadi untuk estimator takbias kita mempunyai

Eθ [T (x) − θ]2 = varT (x)

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 20 / 33

 Teorema
MSE (T ) = Var (T ) + [Bias(T )]2

Bukti gunakan sebagai latihan:

Meskipun banyak estimator takbias yang masuk akal dari pandagan MSE ,
kita harus berhati hati bahwa pengontrolan bias tika otomatis menjadi
pengontrolan bias. Pada khususnya, sering terjadi timbal balik antara
variansi dan bias sedemikian hingga sedikit kenaikan bias dapat ditukar
dengan penurunan yang lebih besar dari variansi , yag hasilnya dapat
diperbaiki pada MSE .

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 21 / 33

Estimator Takbias Terbaik

Pada umumnya , MSE adalah fungsi dari parameter. sehingga tidak ada
estimator terbaik untuk θ .

Salah satu penyebab adalah MSE dari estimator saling berpotongan yang
berati kebaikan dari estimator hanya bersifat lokal . salah satu cara untuk
mengatasi tidak adanya estimator terbaik adalah melalui pembatasan pada
kelas estimator. salah satu pembatasan yang kita bahas adalah melalui
kelas takbias.

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 22 / 33

 Definisi
Sebuah estimator T ∗ dikatakan estimator tak bias dengan variansi
minimum secara uniform (uniformly minimum variance unbiased estimator
/ UMVUE ) untuk τ (θ) jika
i. T ∗ estimator tak bias untuk τ (θ) dan
ii. Untuk sebarang estimator tak bias T untuk τ (θ) , Var(T ∗ )<Var(T )
untuk semua θΩ
Dalam kasus tertentu UMVUE untuk τ (θ) dapat ditemukan dengan
menggunakan batas bawah Cramer-Rao (Cramer-Rao lower bound /
CRLB).

Teorema ( CRLB )
Jika T adalah estimator tak bias untuk τ (θ), maka :
[τ 0 (θ)]2
Var (T ) ≥ ∂
nE [ ∂θ ] ln f (X ;θ)]

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 23 / 33

Contoh :
Misalkan X1 , X2 , ..., Xn merupakan sampel acak dari sebarang distribusi
eksponensial, X ∼ EXP(θ) dan τ (θ) = θ Karena
∂ x−θ
∂θ ln f (X ; θ) = θ2
maka dapat ditunjukkan bahwa
∂ 2
E [ ∂θ ] = θ12
2
sehingga CRLB untuk τ (θ) sama dengan θn jelas bahwa X merupakan
estimator tak bias untuk τ (θ) = θ Selanjutnya dapat ditunjukkan bahwa
2
Var (X ) = θn Kesimpulannya X merupakan UMVUE untuk τ (θ)

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 24 / 33

 Definisi
Misalkan T dan T ∗ merupakan estimator tak bias untuk τ (θ) Efisisensi
relatif dari T terhadap
∗
T ∗ didefinisikan sebagai
re(T , T ∗ ) = Var (T )
Var (T )

T ∗ dikatakan efisien jika re(T , T ∗ ) ≤ 1 untuk semua estimator tak bias T

untuk τ (θ) dan semua θεΩ . Jika T ∗ adalah estimator efisien untuk τ (θ)
Maka efisiensi dari estimator tak bias T untuk τ (θ) didefinisikan sebagai :
e(T ) = re(T , T ∗ )

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 25 / 33

Minggu 3 : Konsistensi

Sejauh ini kreteria yang kita bahas adalah kreteria sampel berhingga.
sebaliknya konsistensi adalah sifat asimtotis , yaitu mengambarkan sifat
astimator bila ukuran sampel menjadi tak berhingga. ini hanya satu dari
kreteria yang kita bahas.

Konsistensi adalah sifat barisan estimator , bukan dari estimator tunggal

walapun biasanya disebut suatu estimator konsisten. Bila kita
mengobservasi X1 , X2 , ..., Xn menurut densitas f (x; θ) kita dapat
meng-kontruksi barisan estimator Tn = Tn (X1 , X2 , ..., Xn ) dengan
melakukan prosedur estimasi yang sama untuk ukuran sampel n. Sebagai
contoh x¯1 = x1 , x¯2 = x12x2 dan seterusnya. selanjutnya kita dapan
mendifinisikan barisan konsisten.

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 26 / 33

 Difinisi
Barisan estimator Tn = Tn (X1 , X2 , ..., Xn ) adalah barisan estimator
dikatakan konsisten untuk τ (θ), bila untuk setiap  > 0 dan untuk setiap
θΩ

limn→∞ P(|Tn − τ (θ)| < ) = 1

ekuvalen dengan

limn→∞ P(|Tn − τ (θ)| > ) = 0

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 27 / 33

Difinisi
Barisan estimator Tn untuk τ (θ) dikatakan MSE konsisten jika

limn→∞ E ([Tn − τ (θ)]2 = 0

untuk setiap θΩ

Barisan estimator Tn untuk τ (θ) dikatakan tak bias asimtotik jika

limn→∞ E ([Tn ) = τ (θ)

untuk setiap θΩ

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 28 / 33

 Teorema
Bila Tn barisan estimator dari parameter θ yang memenuhi :
i. limn→∞ var (Tn ) = 0
ii. limn→∞ Bias(Tn ) = 0.

maka Tn adalah barisan estimator parameter θ konsisten.

Bukti gunakan sebagai latihan

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 29 / 33

Teorema
Bila Tn barisan estimator dari parameter θ. misalkan a1 , a2 , ... dan
b1 , b2 , ... barisan konstante yang memenuhi :

i. limn→∞ an = 0
ii. limn→∞ bn = 0.

maka barisan Un = an Tn + bn adalah barisan konsisten dari estimator

θ.
Bukti gunakan sebagai latihan

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 30 / 33

 Difinisi
Misalkan Tn dan Tn∗ merupakan estimator tak bias asimtotik untuk τ (θ).
Efisisensi relatif asimtotik dari Tn dan Tn∗ didefinisikan sebagai :
(T ∗ )
are(T , T ∗ ) = Var
Var (T )

Barisan Tn∗ dikatakan efisien secara asimtotik jika are(T , T ∗ ) ≤ 1 untuk

semua barisan estimator takbias asimtotik Tn untuk τ (θ) dan semua θΩ.
Jika Tn∗ adalah barisan estimator efisien secara asimtotik untuk τ (θ) maka
efisiensi asimtotik dari barisan estimator takbias asimtotik Tn untuk untuk
τ (θ) didefinisikan sebagai
ae(Tn ) = are(T , T ∗ )

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 31 / 33

Sifat Sifat Asimtotis dari MLE

Dalam keadaan tertentu , dapat ditunjukan bahwa praduga kemungkinan

maksimum atau MLE mempunyai sifat sifat yang diinginkan. Secara
spesifik, bila syarat syarat reguler tertentu dipenuhi, maka penyelesain
likelihood θˆn mempunyai sifat sifat sebagai berikut :

i. θ̂n ada dan tunggal

ii. θ̂n estimator kongsiten untuk θ.
iii. θ̂n berdistribusi normal asimtotis dengan mean θ dan variansi
1 ∂ 2
n E [ ∂θ log f (x; θ)]
iv. θ̂n efisien secara asimtotis dalam arti var (θ̂n ) secara asimtotis dengan
CLRB dari θ.

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 32 / 33

 Catatan :
perhatikan bahwa efisien asimtotis θ̂n terlihat dari fakta bahwa variansi
asimtotis sama dengan CLRB untuk estimator takbias dari θ . jadi untuk n
besar secara hampiran

θ̂n ≈ N(θ, CLRB)

Selanjutnya berdasarkan teorema usefull bila g (θ) fungsi θ dengan

derivatif tidak nol, maka g (θ̂n ) juga berdistribusi normal asimtotis dengan
mean g (θ) dan variansi (g 0 (θ))2 CLRB. perhatikan juga bahwa variansi
asimtotik dari g (θ̂n ) sama dengan CLRB untuk variansi estimator tak bias
dari g (θ) dengan kata lain g (θ̂n ) juga efisien secara asimtotis

Prof. Dr. Sri Haryatmi, M. Sc. (UGM) Daftar Isi 2014 33 / 33