Anda di halaman 1dari 32

Catatan Kuliah

MA3081 STATISTIKA MATEMATIKA


“We love Statistics”

disusun oleh
Khreshna I.A. Syuhada, MSc. PhD.

Kelompok Keilmuan STATISTIKA - FMIPA


Institut Teknologi Bandung
2013
Daftar Isi

1 Peubah Acak dan Fungsi Distribusi 1


1.1 Fungsi Distribusi . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Unsur Peluang . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Ekspektasi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Distribusi Bivariat . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5 Distribusi Bersyarat . . . . . . . . . . . . . . . . . . . . . . . . 7
1.6 Fungsi Pembangkit Momen . . . . . . . . . . . . . . . . . . . . 9

2 Distribusi Sampel 1
2.1 Pengantar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
2.2 Sampel Acak . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
2.3 Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2.4 Distribusi Sampel . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.5 Statistik Terurut . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.6 Statistic Cukup . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.7 Teorema Limit Pusat . . . . . . . . . . . . . . . . . . . . . . . . 8

3 Penaksiran 1
3.1 Pengantar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
3.2 Penaksir Likelihood Maksimum . . . . . . . . . . . . . . . . . . 2
3.3 Penaksir MM . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
3.4 Sifat Penaksir dan Kesalahan Penaksiran . . . . . . . . . . . . . 4
3.4.1 Sifat penaksir . . . . . . . . . . . . . . . . . . . . . . . . 4
3.4.2 Kesalahan Penaksiran . . . . . . . . . . . . . . . . . . . 5
3.5 Sifat Konsisten dan CRLB . . . . . . . . . . . . . . . . . . . . . 6
3.5.1 Sifat Konsisten . . . . . . . . . . . . . . . . . . . . . . . 6
3.5.2 CRLB . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3.6 Penaksiran Selang . . . . . . . . . . . . . . . . . . . . . . . . . . 10

i
BAB 1

Peubah Acak dan Fungsi


Distribusi

1.1 Fungsi Distribusi

Definisi:
Misalkan X peubah acak. Fungsi distribusi (kumulatif) dari X adalah

FX (x) = P (X ≤ x)

Contoh:
1. Misalkan X ∼ Bin(3, 0.5), maka fungsi distribusi F (x) adalah...
2. Misalkan X peubah acak dengan ‘support’ S = [a, b], b > 0. Misalkan
peluang X akan berada di selang S proporsional terhadap panjang se-
lang. Dengan kata lain,

P (x1 ≤ X ≤ x2 ) = λ (x2 − x1 ),

untuk a ≤ x1 ≤ x2 ≤ b. Untuk menentukan λ, misalkan x1 = a dan


x2 = b. Maka,

P (a ≤ X ≤ b) = 1 = λ (b − a) ⇒ λ = 1/(b − a)

Fungsi distribusinya adalah...


Peubah acak X dikatakan berdistribusi Uniform, X ∼ U (a, b).

Sifat-sifat fungsi distribusi:


• F (−∞) = 0 dan F (∞) = 1

1
• F merupakan fungsi tidak turun; F (a) ≤ F (b) untuk a ≤ b

• F adalah fungsi kontinu kanan; limϵ→0+ F (x + ϵ) = F (x)

Misalkan X peubah acak dengan fungsi distribusi F (x).


• Jika b ≥ a, maka P (a < X ≤ b) = F (b) − F (a)

• Untuk setiap x, P (X = x) = limϵ→0+ P (x − ϵ < X ≤) = F (x) − F (x−)


(Perhatikan notasi F (x−) dan kasus apabila fungsi distribusi kontinu
kiri)

Definisi:
Distribusi dari peubah acak X dikatakan KONTINU jika fungsi distribusi dis-
etiap x kontinu dan fungsi distribusi tersebut dapat diturunkan.

Misalkan X peubah acak kontinu dengan fungsi distribusi FX (x).


• Misalkan g(X) fungsi naik satu-satu kontinu. Untuk y yang berada di
daerah hasil dari g, fungsi invers x = g −1 (y) ada. Misalkan Y = g(X).
Fungsi distribusi dari Y adalah...

• Misalkan g(X) fungsi turun satu-satu kontinu. Untuk y yang berada di


daerah hasil dari g, fungsi invers x = g −1 (y) ada. Misalkan Y = g(X).
Fungsi distribusi dari Y adalah...

• Misalkan X ∼ U (0, 1) dan Y = g(X) = hX + k, h < 0. Maka

X = g −1 (Y ) = · · ·

FX (x) = · · ·
FY (y) = · · ·
Y ∼ ···

Latihan:
1. Misalkan X peubah acak kontinu yang memiliki fungsi distribusi FX (x)
yang naik murni. Misalkan Y = FX (X). Tentukan distribusi dari Y .

2. Misalkan U peubah acak berdistribusi U (0, 1). Misalkan FX (x) fungsi


distribusi yang naik murni dari X. Tentukan fungsi distribusi dari peubah
acak FX−1 (U ).

3. Misalkan U1 , U2 , . . . , Un sampel acak dari U (0, 1). Bangkitkan sampel


acak dari FX (x) (ambil contoh misalnya untuk FX (x) = 1 − e−λ x , x > 0)

MA3081 Stat.Mat. 2 K. Syuhada, PhD.


Misalkan X peubah acak kontinu dengan fungsi distribusi FX (x). Misalkan
Y = g(X) fungsi kontinu tidak monoton. Kita ketahui bahwa pada fungsi
yang monoton,

FY (y) = P (Y ≤ y) = P (g(X) ≤ y)

dimana dalam hal ini setiap solusi inverse x = g −1 (y) digunakan untuk menen-
tukan FY (y) dengan menggunakan FX (g −1 (y)). Untuk X ∼ U (−1, 2) dan
g(X) = Y = X 2 , kita dapatkan fungsi distribusi dari Y :

FY (y) = · · ·

1.2 Unsur Peluang

Misalkan X peubah acak kontinu, △x bilangan positif kecil. Definisikan

h(a, b) =def P (a ≤ X ≤ a + b) = FX (a + b) − FX (a)

Untuk h(x, △x) = P (x ≤ X ≤ x + △x), maka deret Taylor-nya disekitar


△x = 0 adalah

h(x, △x) = F (x + △x) − F (x)


d
= h(x, 0) + h(x, △x) △x=0 △x + o(△x)
d△x
=
=

dimana
o(△x)
lim =0
△x→0 △x

Fungsi
[ ]
d
dF (x) = F (x) △x
dx

disebut DIFERENSIAL. Dalam statistika, diferensial dari fungsi distribusi


adalah UNSUR PELUANG (yang merupakan pendekatan terhadap h(x, △x)).
d
Unsur peluang adalah fungsi linier dari dx F (x).

Contoh:
Misalkan F (x) = 1 − e−3x untuk x ≥ 0. Apakah F (x) suatu fungsi distribusi?

MA3081 Stat.Mat. 3 K. Syuhada, PhD.


Hitung unsur peluang di x = 2. Cari pendekatan untuk P (2 ≤ X ≤ 2.01).

Densitas rata-rata pada selang (x, x + △x) didefinisikan:

P (x ≤ X ≤ x + △x)
Density rata-rata =def
△x

Sedangkan fungsi densitas peluang atau fungsi peluang (f.p) di x adalah limit
densitas rata-rata saat △x → 0:

P (x ≤ X ≤ x + △x)
f.p = f (x) =def lim
△x→0 △x
=
=
d
= F (x)
dx
Catatan: Unsur peluang dituliskan sebagai dF (x) = f (x)△x.

Sifat-sifat fungsi peluang:

• f (x) ≥ 0 untuk semua x


∫∞
• −∞ f (x) = 1

Hubungan antara fungsi peluang dan fungsi distribusi:


d
f (x) = F (x)
dx
∫ x
F (x) = f (u)du
−∞
∫ b
P (a < X < b) = ... = ... = ... = F (b) − F (a) = f (x)dx
a

Latihan:

1. Misalkan λ bilangan riil positif. Jika F (x) = 1 − e−λx , maka f (x) = · · ·

2. Jika X ∼ U (a, b) maka F (x) = · · · dan f (x) = · · ·

3. *Misalkan f (x) = c/(1 + x2∫) untuk −∞ < x < ∞ dan c konstanta.



Fungsi f (x) tak negatif dan −∞ (1 + x2 )−1 dx = π. Berapa nilai c agar
f (x) menjadi fungsi peluang? Tentukan fungsi distribusinya.

MA3081 Stat.Mat. 4 K. Syuhada, PhD.


Misalkan X peubah acak kontinu dengan fungsi peluang f (x) dan Y = g(X)
fungsi yang terdiferensial bernilai tunggal. Maka fungsi peluang dari Y :

d −1
fY (y) = fX (g (y)) g (y)
−1
dy

untuk ‘support’ Y = g(X). Komponen

d −1
J(y) = g (y)
dy
adalah transformasi Jacobian.

Misalkan g(x) memiliki lebih dari satu fungsi invers maka unsur peluang yang
terpisah harus dihitung untuk setiap fungsi invers. Contoh, misalkan X ∼
U (−1, 2) dan Y = g(X) = X 2 . Maka untuk y ∈ [0, 1], terdapat 2 fungsi invers
yaitu · · · , dan satu fungsi invers untuk y ∈ (1, 4] yaitu · · · . Fungsi peluang
dari Y adalah

f (y) = · · ·

1.3 Ekspektasi

Misalkan X peubah acak dengan fungsi peluang f (x). Nilai harapan atau
ekspektasi dari X, jika ada, adalah
∫ ∞
E(X) = µX = f (x)dx
−∞

Catatan: nilai ekspektasi dikatakan ada jika nilai integral adalah hingga.

Misalkan X p.a. dengan f.p. f (x). Maka nilai harapan/ekspektasi dari g(X),
jika ada, adalah
∫ ∞
E[g(X)] = g(x)f (x)dx
−∞
.

Operator integral bersifat linier. Jika g1 (X) dan g2 (X) fungsi-fungsi yang
memiliki ekspektasi dan a, b, c konstanta, maka

E[ag1 (X) + bg2 (X) + c] = aE[g1 (X)] + bE[g2 (X)] + c

MA3081 Stat.Mat. 5 K. Syuhada, PhD.


Contoh/Latihan:

1. Jika distribusi X simetrik di sekitar c dan nilai harapannya ada maka


E(X) = c.

2. Misalkan X ∼ U (a, b). Tunjukkan bahwa distribusi tersebut simetrik


disekitar (a + b)/2.

3. Misalkan X berdistribusi Cauchy dengan fungsi peluang


1
f (x) = [ ],
(x−µ)2
σπ 1 + σ2

dengan µ, σ konstanta yang memenuhi |µ| < ∞ dan σ ∈ (0, σ). Tun-
jukkan bahwa fungsi peluang simetrik di sekitar µ namun ekspektasinya
bukanlah µ.

4. Misalkan X ∼ Exp(λ). Nilai harapan/ekspektasi dari X adalah...

1.4 Distribusi Bivariat

Suatu fungsi fX,Y (x, y) dikatakan fungsi peluang bivariat jika

• fX,Y (x, y) ≥ 0, untuk semua x, y


∫∞ ∫∞
• −∞ −∞ fX,Y (x, y) dx dy = 1

Jika fX,Y (x, y) fungsi peluang bivariat maka


∫ x ∫ y
FX,Y (x, y) = P (X ≤ x, Y ≤ y) = fX,Y (u, v) dvdu
−∞ −∞

Sifat-sifat fungsi distribusi bivariat:

1. FX,Y (x, ∞) = FX (x)

2. FX,Y (∞, y) = FY (y)

3. FX,Y (∞, ∞) = 1

4. FX,Y (−∞, y) = FX,Y (x, −∞) = FX,Y (−∞, −∞) = 0


∂2
5. fX,Y (x, y) = ∂x∂y
FX,Y (x, y)

MA3081 Stat.Mat. 6 K. Syuhada, PhD.


fX,Y (x, y)△x△y adalah unsur peluang bersama,

P (x ≤ X ≤ x + △x, y ≤ Y ≤ y + △y) = fX,Y (x, y)△x△y + o(△x△y)

Contoh/Latihan:
1. Jika (X, Y ) ∼ U (a, b, c, d) maka fX,Y (x, y) = · · ·
2. Untuk soal no 1 di atas, misalkan a = c = 0, b = 4, d = 6 maka

P (2.5 ≤ X ≤ 3.5, 1 ≤ Y ≤ 4) = · · ·

P (X 2 + Y 2 > 16) = · · ·

3. Jika fX,Y (x, y) = 6/5(x + y 2 ) untuk x ∈ (0, 1) dan y ∈ (0, 1). Tentukan
P (X + Y < 1).

Untuk menentukan fungsi peluang marginal, integralkan “peubah yang tidak


diinginkan”:
∫ ∞
fX (x) = fX,Y (x, y) dy
−∞
∫ ∞
fY (y) = fX,Y (x, y) dx
−∞
∫ ∞ ∫ ∞
fX,Y (x, y) = fW,X,Y,Z (w, x, y, z) dwdz
−∞ −∞

Pada fungsi peluang fX,Y (x, y) = 6/5(x + y 2 ) diperoleh

fX (x) = · · ·

fY (y) = · · ·
dan ekspektasi
∫ ∞ ∫ ∞
E(g(X, Y )) = E(X) = g(x, y) fX,Y (x, y) dx dy = · · ·
−∞ −∞

1.5 Distribusi Bersyarat

Misalkan fX,Y (x, y) adalah fungsi peluang bersama, maka fungsi peluang Y ,
diberikan X = x, adalah

fX,Y (x, y)
fY |X (y|x) =def ,
fX (x)

MA3081 Stat.Mat. 7 K. Syuhada, PhD.


asalkan fX (x) > 0.

Contoh: Misalkan X dan Y memiliki distribusi bersama

fX,Y (x, y) = 8xy, 0 < x < y < 1,

maka

fX (x) = · · ·

E(X r ) = · · ·
fY (y) = · · ·
E(Y r ) = · · ·
fX|Y (x|y) = · · ·
fY |X (y|x) = · · ·
E(X r |Y = y) = · · ·
E(Y r |X = x) = · · ·

Misalkan (X, Y ) adalah peubah acak berpasangan dengan fungsi peluang bersama
fX,Y (x, y). Pandang persoalan memprediksi Y setelah X = x terobservasi.
Prediktor dinotasikan sebagai ŷ(x). Prediktor terbaik didefinisikan sebagai
fungsi Ŷ (X) yang meminimumkan
[ ]2 ∫ ∞ ∫ ∞
E Y − Ŷ (X) = (y − ŷ(x))2 fX,Y (x, y) dydx
−∞ −∞

Prediktor terbaik adalah ŷ(x) = E(Y |X = x).

Contoh/Latihan:

1. Misalkan X dan Y memiliki distribusi bersama

fX,Y (x, y) = 8xy, 0 < x < y < 1,

maka

fY |X (y|x) = · · ·

ŷ(x) = · · ·

2. Misalkan (Y, X) berdistribusi normal bivariat dengan E(Y ) = µY , E(X) =


µX , V ar(Y ) = σY2 , V ar(X) = σX
2
, Cov(X, Y ) = ρX,Y σX σY . Distribusi

MA3081 Stat.Mat. 8 K. Syuhada, PhD.


bersyarat Y , diberikan X, adalah

(Y |X = x) ∼ · · ·

3. Tunjukkan bahwa
[ ]
EX fY |X (y|X) = fY (y)

4. Buktikan
{ [ ]} [ ]
EX E h(Y )|X = E h(Y )

5. Buktikan
[ ] [ ]
V ar(Y ) = EX V ar(Y |X) + V ar E(Y |X)

6. Misalkan X dan Y memiliki distribusi bersama


3y 2
fX,Y (x, y) = , 0<y<x<1
x3
Maka

fY (y) = · · ·

E(Y r ) = · · · , E(Y ) = · · · , V ar(Y ) = · · ·


fX (x) = · · ·
fY |X (y|x) = · · ·
E(Y r |X = x) = · · · , E(Y |X = x) = · · · , V ar(Y |X = x) = · · ·
V ar(E(Y |X)) = · · ·
E(V ar(Y |X)) = · · ·

1.6 Fungsi Pembangkit Momen

Misalkan X peubah acak kontinu, fungsi pembangkit momen dari X adalah


∫ ∞
tX
MX (t) = E(e ) = etx f (x)dx,
−∞

asalkan ekspektasi ada untuk t disekitar 0. Jika semua momen dari X tidak
ada, maka fungsi pembangkit momen juga tidak ada. Fungsi pembangkit

MA3081 Stat.Mat. 9 K. Syuhada, PhD.


momen berkaitan dengan fungsi pembangkit peluang

MX (t) = GX (et )

asalkan GX (t) ada untuk t disekitar 1. Jika MX (t) adalah fungsi pembangkit
peluang maka MX (0) = 1.

Contoh/Latihan:

1. Jika fX (x) = λe−λx I0,∞ (x), maka

MX (t) = · · ·

2. Jika MX (t) ada maka

Ma+bX (t) = · · ·

3. Jika
∑ Xi , i = 1, . . . , n saling bebas, MXi (t) ada untuk setiap i, dan S =
Xi , maka

MS (t) = · · ·

4. Fungsi pembangkit momen bersifat unik. Setiap distribusi memiliki


fungsi pembangkit momen yang unik, dan setiap fungsi pembangkit
momen berkorespondensi dengan tepat satu distribusi. Akibatnya, jika
fungsi pembangkit momen ada maka fungsi pembangkit momen tersebut
secara unik menentukan distribusinya. Beri contoh.

5. Pandang turunan dari MX (t) yang kemudian dievaluasi di t = 0. Apa


yang dapat anda katakan? Dapatkah kita mendapatkan momen orde
tinggi?

6. Dapatkah hasil diatas digunakan untuk distribusi diskrit? Ambil contoh


distribusi Geometrik dengan parameter p.

7. Misalkan Y ∼ U (a, b). Gunakan fungsi pembangkit momen untuk men-


dapatkan momen pusat
(( )r )
a+b
E((Y − µY ) ) = E
2
Y −
2

MA3081 Stat.Mat. 10 K. Syuhada, PhD.


BAB 2

Distribusi Sampel

2.1 Pengantar
• Parameter adalah suatu karakteristik dari populasi
• Statistik adalah suatu karakteristik dari sampel
• Statistik adalah fungsi dari sampel;

T = g(X1 , X2 , . . . , Xn ).
2
Fungsi T adalah peubah acak; contoh T = X̄ atau T = SX .
• Distribusi sampel adalah distribusi dari statistik; distribusi sampel dari
X̄ adalah distribusi dari X̄.

2.2 Sampel Acak

Misalkan X1 , X2 , . . . , Xn sampel acak berukuran n (random sample of size n).


Fungsi peluang n-variat nya adalah

n
fX1 ,X2 ,··· ,Xn (x1 , x2 , . . . , xn ) = fXi (xi )
i=1

Contoh/Latihan:
1. Misalkan X1 , X2 , . . . , Xn sampel acak dari distribusi Eksponensial den-
gan parameter θ. Fungsi peluang n-variatnya adalah...
2. Misalkan X1 , X2 , . . . , Xn sampel acak dari distribusi Uniform pada selang
(a, b). Fungsi peluang n-variatnya adalah...

1
2.3 Likelihood

Misalkan fungsi peluang n-variat bergantung pada parameter yang tidak dike-
tahui θ. Fungsi peluang tersebut ditulis sebagai

fX1 ,X2 ,...,Xn (x1 , . . . , xn |θ1 , . . . , θk )

atau

fX (x|θ)

Contoh/Latihan:

1. Misalkan X1 , X2 , . . . , Xn sampel acak dari distribusi N (µ, σ 2 ). Fungsi


peluang n-variat yang bergantung pada parameternya ditulis sebagai...

Definisi
Fungsi likelihood adalah ukuran yang menyatakan sebarapa sering nilai θ,
diberikan bahwa x telah terobservasi. Fungsi likelihood BUKAN suatu pelu-
ang. Fungsi likelihood diperoleh dengan (i) menukar peran θ dan x dalam
fungsi peluang n-variat, dan (ii) membuang suku yang tidak bergantung pada
θ. Notasi:

L(θ) = L(θ|x) ∝ fX (x|θ)

Contoh/Latihan:

1. Misalkan X1 , X2 , . . . , Xn sampel acak dari distribusi Eksponensial den-


gan parameter θ. Fungsi likelihoodnya adalah...

function likefunction;

% this function calculates the likelihood function of distribution


%
% created by K Syuhada, 25/2/2013

clear
clc

n = input(’n = ’); % size of random sample

MA3081 Stat.Mat. 2 K. Syuhada, PhD.


% data
x = exprnd(0.5,n,1);
sumx = sum(x);

% parameter of exponential distribution


lambda = 0.5:0.05:5;

for i = 1:length(lambda)
L(i) = (lambda(i)^n)*exp(-lambda(i)*sumx);
end

plot(lambda,L)

2. Misalkan X1 , X2 , . . . , Xn sampel acak dari distribusi Uniform pada selang


(π, b). Fungsi likelihoodnya adalah...

Prinsip Likelihood
Jika dua percobaan, yang melibatkan model dengan parameter θ, memberikan
likelihood yang sama, maka inferensi terhadap θ haruslah sama.

Ilustrasi
Pandang percobaan 1 dimana sebuah koin dilantunkan sebanyak n kali secara
bebas. Misalkan p adalah peluang muncul MUKA dan X peubah acak yang
menyatakan banyaknya MUKA yang muncul. Fungsi peluang dari X adalah...
Untuk n = 20, X = 6, fungsi likelihoodnya adalah...

Pandang percobaan 2 dimana sebuah koin dilantunkan hingga diperoleh MUKA


sebanyak 6 kali secara bebas. Misalkan Y peubah acak yang menyatakan
banyaknya lantunan yang dibutuhkan agar diperoleh enam MUKA. Fungsi
peluang dari y adalah... Misalkan sukses ke-6 terjadi pada lantunan ke-20.
Fungsi likelihoodnya adalah...

Dari 2 percobaan diatas, misalkan kita ingin melakukan uji hipotesis:

H0 : p = 0.5 versus H0 : p < 0.5

Nilai signfikansinya atau p-value adalah...

2.4 Distribusi Sampel

Misalkan X1 , X2 sampel acak berukuran 2 dari distribusi Bernoulli dengan


parameter sukses p. Misalkan Y = X1 + X2 . Kita akan menentukan distribusi

MA3081 Stat.Mat. 3 K. Syuhada, PhD.


peluang Y (gunakan konsep peluang total),

P (Y = y) = P (X1 + X2 = y)
∑y
= P (X1 + X2 = y|X2 = y − x1 )P (X2 = y − x1 )
x1 =0
∑ y
= P (X1 = x1 |X2 = y − x1 )P (X2 = y − x1 )
x1 =0
∑ y
= P (X1 = x1 )P (X2 = y − x1 )
x1 =0
∑ y
= px1 (1 − p)1−x1 py−x1 (1 − p)1−(y−x1 ) , y = 0, 1, 2,
x1 =0

dengan pangkat dari p dan/atau (1 − p) bernilai positif.

Perhatikan bahwa jika kita mempunyai peubah acak, sebut Y , berdistribusi


Binomial dengan parameter (2, p) maka fungsi peluangnya adalah

P (Y = y) = Cy2 py (1 − p)2−y , y = 0, 1, 2

yang memberikan distribusi peluang sama dengan sebelumnya.

Misalkan X1 ∼ B(1, p). Fungsi pembangkit momen untuk X1 adalah

MX1 (t) = E(etX1 ) = pet + (1 − p).

Misalkan X2 berdistribusi identik dan saling bebas dengan X1 . Misalkan Y =


X1 + X2 ,

MY (t) = MX1 +X2 (t) = E(etX1 )E(etX2 )


( )2
= pet + (1 − p)

yang merupakan f.p.m untuk distribusi Binomial dengan parameter (2, p).

Diskusi:
Selidiki sifat distribusi jumlah n peubah acak saling bebas dan berdistribusi
Poisson dengan parameter λ.

Misalkan X1 , X2 , . . . , Xn sampel acak berukuran n dari distribusi Poisson den-


gan parameter λ. Peubah acak Xi , i = 1, . . . , n saling bebas dan berdistribusi

MA3081 Stat.Mat. 4 K. Syuhada, PhD.


identik dengan fungsi peluang n-variat:
∏n
e−λ λxi e−nλ λy
P (X = x) = = ∏n ,
i=1
xi ! i=1 xi !
∑ ∑
dengan y = xi . Dapat ditunjukkan juga Y = Xi cukup. Distribusi
sampel dari Y adalah

e−nλ (nλ)y
fY (y|θ) = .
y!

Diskusi:
Bagaimana distribusi peluang untuk Y = X1 + X2 jika Xi saling bebas dan
berdistribusi (identik) kontinu?

Misalkan Xi , i = 1, 2 p.a kontinu yang saling bebas dan berdistribusi identik


dengan fungsi distribusi F . Misalkan Y = X1 + X2 ,

FY (y) = P (Y ≤ y) = P (X1 + X2 ≤ y)
= P (X1 ≤ y − X2 )
∫ ∞ ∫ y−x2
= fX1 ,X2 (x1 , x2 ) dx1 dx2
−∞ −∞
∫ ∞ ∫ y−x2
= fX1 (x1 ) dx1 fX2 (x2 ) dx2
−∞ −∞
∫ ∞
= FX1 (y − x2 ) fX2 (x2 ) dx2
−∞

Fungsi peluangnya adalah

fY (y) = fX1 +X2 (y)


∫ ∞
d
= FX1 (y − x2 ) fX2 (x2 ) dx2
dy −∞
∫ ∞
d
= FX1 (y − x2 ) fX2 (x2 ) dx2
−∞ dy
∫ ∞
= fX1 (y − x2 ) fX2 (x2 ) dx2
−∞

Misalkan Xi ∼ U (0, θ). Peubah acak-peubah acak Xi tersebut saling bebas


dan berdistribusi identik, dengan fungsi peluang:

fX (x|θ) =

MA3081 Stat.Mat. 5 K. Syuhada, PhD.


Statistik T = X(n) cukup dan memiliki fungsi distribusi:

P (X(n) ≤ x) =

dan fungsi peluang:

f(x) =

2.5 Statistik Terurut

Misalkan X1 , . . . , Xn sampel acak berukuran n dari suatu populasi yang berdis-


tribusi tertentu, dengan fungsi peluang fX dan fungsi distribusi FX . Pandang
X(k) , statistik terurut ke-k. Untuk menentukan fX(k) (x), pertama partisikan

I1 = (−∞, x]; I2 = (x, x + dx]; I3 = (x + dx, ∞).

Fungsi peluang fX(k) (x) adalah peluang mengamati sejumlah k − 1 dari X di


I1 , tepat sebuah X di I2 , dan sejumlah n − k dari X di I3 :
( )
n ( )k−1 ( )1 ( )n−k
fX(k) (x) ≈ FX (x) fX (x)dx 1 − FX (x)
k − 1, 1, n − k

yang dengan metode diferensial maka kita peroleh


( )
n ( )k−1 ( )n−k
fX(k) (x) = FX (x) 1 − FX (x) fX (x)
k − 1, 1, n − k

Contoh/Latihan:

1. Fungsi peluang dari statistik terurut terkecil/terbesar adalah...

2. Statistik terurut ke-k pada distribusi U (0, 1) memiliki fungsi peluang...

2.6 Statistic Cukup

Diskusi:

• Ruang sampel adalah himpunan semua hasil yang mungkin dari per-
cobaan

• Ruang sampel adalah himpunan semua nilai yang mungkin dari X

MA3081 Stat.Mat. 6 K. Syuhada, PhD.


• Sebuah statistik membagi atau membuat partisi untuk ruang sampel.
Setiap partisi berkorespondensi dengan sebuah nilai yang berbeda dari
statistik tersebut. Jika statistik CUKUP, maka karakteristik data yang
kita perhatikan hanyalah partisi tempat sampel berada

Definisi -1
Suatu statistik T = t(X) adalah CUKUP atau sufficient untuk suatu keluarga
distribusi fX (x|θ) JIKA dan HANYA JIKA fungsi likelihoodnya bergantung
terhadap X hanya melalui T:

L(θ) = h(t(X), θ)

Definisi -2
Suatu statistik T = t(X) adalah CUKUP untuk suatu keluarga distribusi
fX (x|θ) JIKA dan HANYA JIKA distribusi bersyarat dari X TIDAK BERGAN-
TUNG pada θ:

fX|T (x|t, θ) = h(x)

Definisi -3
Suatu statistik T = t(X) adalah CUKUP untuk suatu keluarga distribusi
fX (x|θ) JIKA dan HANYA JIKA fungsi peluangnya dapat difaktorkan sebagai:

fX (x|θ) = g(t(x)|θ) h(x)

Contoh/Latihan:

1. Misalkan Xi untuk i = 1, . . . , n saling


∑nbebas dan berdistribusi identik
Bernoulli(p). Tunjukkan bahwa Y = i=1 Xi adalah statistik cukup.

2. Misalkan X1 , . . . , Xn sampel acak


∑n berdistribusi Poisson dengan parame-
ter λ. Tunjukkan bahwa T = i=1 Xi adalah statistik cukup.

3. Misalkan Xi untuk i = 1, . . . , n saling bebas dan berdistribusi identik


N(µ, 1). Tunjukkan bahwa Y = X̄ adalah statistik cukup.

4. Misalkan X1 , . . . , Xn sampel acak berdistribusi


∑n Gamma dengan param-
eter (α, λ). Tunjukkan bahwa T = i=1 ln(Xi ) adalah statistik cukup.

5. Pandang sampel acak berukuran n dari U (a, b), dengan a diketahui. Tun-
jukkan bahwa T = X(n) adalah statistik cukup.

MA3081 Stat.Mat. 7 K. Syuhada, PhD.


6. Pandang sampel acak berukuran n dari N (µ, σ 2 ), dengan µ, σ 2 tidak
diketahui. Tunjukkan bahwa statistik T berikut adalah cukup:
( 2 )
SX
T =

2.7 Teorema Limit Pusat

Teorema
Misalkan X1 , . . . , Xn sampel acak berukuran n dari populasi dengan mean µX
2
dan variansi σX . Distribusi dari

X̄ − µX
Zn = √
σX / n

konvergen ke N (0, 1) untuk n → ∞.

Catatan:
• Hal penting dari Teorema Limit Pusat (Central Limit Theorem) adalah
bahwa kekonvergenan dari Zn ke distribusi normal akan terjadi apapun
bentuk distribusi dari X.
• Kita dapat memanipulasi sedemikian hingga

X̄ ∼ N (µX , σX
2
/n),

asalkan n besar.
• Ekspresi lain dari TLP adalah
(√ )
n (X̄ − µX )
lim P ≤ c = Φ(c)
n→∞ σX

• Pandang: X1 + · · · + Xn ,
( n )

E Xi = n µX ,
i=1
( n )

2
V ar Xi = n σX ,
i=1
(∑n )
Xi − n µX
lim P i=1
√ ≤c = Φ(c)
n→∞ n σX

MA3081 Stat.Mat. 8 K. Syuhada, PhD.


• Seberapa besar n harus kita pilih agar X̄ berdistribusi normal? n = 1?
Bergantung pada distribusi dari data (parent distribution)!
Misalkan X ∼ Exp(θ). Distribusi ini memiliki kemencengan (skewness)
dan kelancipan (kurtosis):

E(X − µX )3
κ3 = √ = 2,
3
σX

dan
E(X − µX )4
κ4 = 4
− 3 = 6,
σX
2
dengan µX = 1/θ dan σX = 1/θ2 . Mean sampel X̄ berdistribusi Ga(n, nθ).
Kemencengan (skewness) dan kelancipan (kurtosis) dari X̄ adalah

E(X̄ − µX̄ )3 2
κ3 = √ =√ ,
3
σX n

dan
E(X̄ − µX̄ )4
κ4 = 4
− 3 = 6/n,
σX

Misalkan X ∼ B(n, p) (ingat bahwa distribusi X tersebut sama dengan dis-


tribudi dari sejumlah n peubah acak Bernoulli(p)). Untuk n besar,
( )
p(1 − p)
p̂ ∼ N p,
n
(√ )
n(c − p)
P (p̂ ≤ c) ≈ Φ √
p(1 − p)
X ∼ N (np, np(1 − p))
( )
1 1
P (X = x) = P x − ≤ X ≤ x + , x = 0, 1, . . . , n
2 2
( ) ( )
x + 0.5 − np x − 0.5 − np
≈Φ √ −Φ √ ,
np(1 − p) np(1 − p)
dimana menambah dan mengurangi dengan 0.5 disebut “continuity correc-
tion”.

Koreksi kekontinuan untuk pendekatan normal terhadap fungsi distribusi dari

MA3081 Stat.Mat. 9 K. Syuhada, PhD.


X dan p̂ adalah
( )
1
P (X ≤ c) = P X ≤ x + , x = 0, 1, . . . , n
2
( )
x + 0.5 − np
≈Φ √
np(1 − p)
dan
( )
1
P (p̂ ≤ c) = P p̂ ≤ c + , c = 0/n, 1/n, . . . , n/n
2n
(√ )
n(c + 0.5/n − p)
≈Φ √
p(1 − p)

MA3081 Stat.Mat. 10 K. Syuhada, PhD.


BAB 3

Penaksiran

3.1 Pengantar

Misalkan X1 , X2 sampel acak berukuran 2 dari distribusi Bernoulli dengan


parameter sukses p. Misalkan Y = X1 + X2 . Kita akan menentukan distribusi
peluang Y dan Y2 .

Misalkan X1 ∼ B(1, p). Fungsi pembangkit momen untuk X1 adalah

MX1 (t) = E(etX1 ) = pet + (1 − p).

Misalkan X2 berdistribusi identik dan saling bebas dengan X1 . Misalkan Y =


X1 + X2 ,

MY (t) = MX1 +X2 (t) = E(etX1 )E(etX2 )


( )2
= pet + (1 − p)

yang merupakan f.p.m untuk distribusi Binomial dengan parameter (2, p).
Jadi, Y ∼ B(2, p).

Bagaimana dengan distribusi Y2 ? Misalkan Z = Y2 ; nilai yang mungkin untuk


Z adalah 0, 12 , 1. Distribusi peluang untuk Z adalah

P (Z = 0) = P (Y = 0) = (1 − p)2
1
P (Z = ) = P (Y = 1) = 2p(1 − p)
2
P (Z = 1) = P (Y = 2) = p2 .

Catatan: Z tidak berdistribusi binomial.

1
Perhatikan bahwa mean dan variansi dari Z adalah
1
E(Z) = (0)(1 − p)2 + ( )(2p(1 − p)) + (1)(p2 ) = p
2
p(1 − p)
Var(Z) = E(Z 2 ) − (E(Z))2 =
2

Bagaimana dengan distribusi


X1 + X2 + · · · + Xn
n
untuk n yang cukup besar?
(lihat Teorema Limit Pusat)

3.2 Penaksir Likelihood Maksimum

Misalkan kita punyai sampel acak berdistribusi Bernoulli dengan parameter p.


Bagaimana kita dapat menentukan nilai p?

Misalkan L(θ) adalah fungsi likelihood (fungsi dari parameter θ). Kita dapat
menentukan nilai θ yang memaksimumkan L(θ). Penaksir untuk θ, yaitu θ̂
disebut Penaksir Likelihood Maksimum (maximum likelihood estimator, MLE).
Penaksir suatu parameter adalah fungsi dari peubah acak.

Untuk sampel acak berdistribusi Bernoulli (p), fungsi likelihood-nya adalah:


∑ ∑
L(p) = p xi
(1 − p)n− xi
, 0 < p < 1.

Untuk menentukan nilai p yang memaksimumkan L(p), transformasikan L(p)


menjadi log L(p):
∑ ( ∑ )
ℓ(p) = log L(p) = xi log(p) + n − xi log(1 − p),

kemudian hitung turunan pertama ℓ(p) terhadap p:


∑ ∑
dℓ(p) xi n − xi
= − .
dp p 1−p
Normalisasi dari turunan pertama tersebut memberikan nilai

xi
p= ,
n

MA3081 Stat.Mat. 2 K. Syuhada, PhD.


yang mana sebagai penaksir ditulis sebagai berikut:

Xi
p̂ = = X̄.
n
(PR: Tunjukkan bahwa p ini memaksimumkan L(p) dengan menghitung tu-
runan kedua).

Contoh/Latihan:
Misalkan X1 , . . . , Xn sampel acak berdistribusi U (0, θ). Tentukan θ yang
memaksimumkan L(θ). Dengan kata lain, tentukan penaksir θ̂ untuk θ.

3.3 Penaksir MM

Adakah cara lain untuk menaksir parameter distribusi? Perhatikan kembali


sampel acak berdistribusi Bernoulli dengan parameter p. Kita tahu bahwa

E(X) = p

dan momen sampel pertamanya


X1 + X2 + · · · + Xn
m1 = .
n
Dengan demikian, penaksir untuk p adalah
X1 + X2 + · · · + Xn
p̂ = = X̄.
n

Misalkan sampel acak berdistribusi Gamma dengan parameter (α, β). Momen
pertama dan kedua dari X (momen populasi) adalah, berturut-turut,

E(X) = αβ

dan

E(X 2 ) = α(α + 1)β 2 .

Sementara itu, momen sampel pertama dan kedua adalah


X1 + X2 + · · · + Xn
m1 = .
n

MA3081 Stat.Mat. 3 K. Syuhada, PhD.


dan
X12 + X22 + · · · + Xn2
m2 = .
n
Dengan menyamakan momen populasi dan momen sampel, kita peroleh pe-
naksir
m21
α̂ =
m2 − m21

dan
m2 − m21
β̂ = .
m1

3.4 Sifat Penaksir dan Kesalahan Penaksiran


3.4.1 Sifat penaksir

Setelah kita mendapatkan penaksir θ̂, kita dapat menentukan sifat baik pe-
naksir. Salah satunya adalah sifat TAK BIAS. Penaksir θ̂ dikatakan tak bias
apabila

E(θ̂) = θ.

Untuk contoh sampel acak Bernoulli,


( )
X1 + · · · + Xn
E(p̂) = E
n
1
= E(X1 + · · · + Xn )
n
1( )
= E(X1 ) + · · · + E(Xn )
n
1
= (p + · · · + p)
n
=p

Jadi, penaksir p̂ = X̄ adalah penaksir tak bias untuk p.


Catatan: Jika suatu penaksir θ̂ bersifat bias maka selisih nilai ekspektasi dan
nilai θ tidak nol, atau

E(θ̂ − θ) ̸= 0.

MA3081 Stat.Mat. 4 K. Syuhada, PhD.


3.4.2 Kesalahan Penaksiran

Pada penaksiran parameter θ, misalnya, penaksir θ̂ adalah fungsi peubah acak.


Nilai taksirannya “TIDAK” akan pernah sama dengan nilai parameternya.

Misalkan T = T (X) adalah penaksir untuk θ. Didefinisikan:

bT = E(T − θ) = E(T ) − θ,

dan

V ar(T ) = σT2 = E(T − µT )2 = E(T ) − θ; µT = E(T ),

adalah bias dan variansi dari penaksir T . Selain itu, didefinisikan pula, MSE
atau Mean Square Error,

MSET (θ) = E(T − θ)2 = V ar(T ) + b2T ,

Misalkan X1 , . . . , Xn sampel acak dari N (µ, σ 2 ). Penaksir untuk σ 2 adalah

1 ∑
n
2
S = (Xi − X̄)2 ,
n − 1 i=1

dan/atau

1 ∑
n
V = (Xi − X̄)2 ,
n i=1

Bias and MSE dari kedua penaksir adalah

bS 2 = · · · , b V = · · ·

dan

MSES 2 = · · · , MSEV = · · ·

Perhatikan bahwa M SES 2 > M SEV meskipun S 2 tak bias.

Catatan: Penaksir dari deviasi standar dari suatu penaksir disebut “standard
error” atau SE.
(Latihan: hitung SE dari penaksir p̂ pada sampel acak Bernoulli)

MA3081 Stat.Mat. 5 K. Syuhada, PhD.


3.5 Sifat Konsisten dan CRLB
3.5.1 Sifat Konsisten

Salah satu sifat dari penaksir yang baik adalah sifat tak bias. Kita akan mem-
pelajari sifat baik yang lain yaitu konsisten. Namun sebelumnya, perhatikan
Ketaksamaan Chebyshev berikut: Misalkan X peubah acak dengan fungsi
peluang fX (x). Misalkan h(X) fungsi non-negatif dari X dan ekpektasinya
ada; k adalah konstanta positif. Maka

E(h(X))
P (h(X) ≥ k) ≤ .
k

Bukti:
Misalkan R = {x; x ∈ SX ; h(x) ≥ k}. Maka

E(h(X)) = h(x) fX (x) dx
∫ SX

≥ h(x) fX (x) dx

R

≥k fX (x) dx
R
= k P (h(X) ≥ k).

Jadi,

E(h(X))
≥ P (h(X) ≥ k).
k

Aplikasi 1 Ketaksamaan Chebyshev. Misalkan E(X) = µX dan V ar(X) =


2
σX < ∞. Maka
[ ]
|X − µX |2 1
P 2
≥ k ≤ 2.
2
σX k

Bukti:
Pilih
(X − µX )2
h(X) = 2
.
σX

MA3081 Stat.Mat. 6 K. Syuhada, PhD.


Dapat kita tunjukkan bahwa E(h(X)) = 1. Juga,
( )
|X − µX |
P ≥k
σX
= P (|X − µX | ≥ k σX )
( )
|X − µX |2 1
=P 2
≥ k ≤ 2,
2
σX k

dengan Ketaksamaan Chebyshev. Jadi,


1
P (|X − µX | < k σX ) ≥ 1 − .
k2

Aplikasi 2 Ketaksamaan Chebyshev. Misalkan T peubah acak (penaksir dari


parameter θ) dengan E(T ) = µT dan V ar(T ) = σT2 < ∞. Maka

MSEX (θ)
P [|X − θ| < ϵ] ≥ 1 − .
ϵ2

Bukti:
Pilih

h(X) = (X − θ)2 .

Maka E(h(T )) = M SET (θ), dan

P (|T − θ| ≥ ε)
= P (|T − θ|2 ≥ ε2 )
M SET (θ)
≤ , dengan Ketaksamaan Chebyshev
ε2
σ 2 + (E(T ) − θ)2
= T
ε2
Jadi,

M SET (θ)
P (|T − θ| < ε) ≥ 1 − .
ε2

Konsisten
Barisan dari penaksir-penaksir, {Tn }, disebut KONSISTEN untuk θ jika

lim P (|Tn − θ| < ϵ) = 1,


n→∞

untuk setiap ϵ > 0.

MA3081 Stat.Mat. 7 K. Syuhada, PhD.


Konvergen dalam Peluang
Definisi: Barisan dari penaksir-penaksir, {Tn }, KONVERGEN dalam PELU-
ANG untuk θ jika barisan tersebut konsisten untuk θ. Notasi:

Tn →prob θ.

Contoh/Latihan: (Hukum Bilangan Besar) Jika X̄ adalah mean sampel dari


suatu s.a berukuran n dengan mean µX , maka

X̄ →prob µX .

Bukti:
Mean sampel dari s.a berukuran n dari populasi dengan mean dan variansi
2
hingga memiliki mean µX dan variansi σX /n. Akibatnya,
2
M SEX̄ (µX ) = σX̄ + b2X̄ = σX
2
/n + 0,

dan

lim M SEX̄ (µX ) = 0,


n→∞

yang menunjukkan bahwa X̄ adalah MSC. Jadi,

X̄ →prob µX .

Konsisten MS
Sebuah penaksir untuk θ dikatakan “Mean Square Consistent” jika

lim MSETn (θ) = 0.


n→∞

Buktikan bahwa jika sebuah penaksir memiliki sifat MSC maka penaksir terse-
but konsisten.

Bukti:
Misalkan Tn penaksir untuk θ. Asumsikan bahwa Tn memiliki mean dan vari-
ansi hingga. Menurut Ketaksamaan Chebyshev,

M SETn (θ)
P (|Tn − θ| < ε) ≥ 1 − ,
ε2
dimana ε adalah sebarang konstanta positif. Diketahui Tn adalah MSC, yaitu

M SETn (θ)
lim = 0,
n→∞ ε2

MA3081 Stat.Mat. 8 K. Syuhada, PhD.


Jadi,

lim P (|Tn − θ| < ε) ≥ 1.


n→∞

3.5.2 CRLB

Ketaksamaan Cramer-Rao
Misalkan peluang bersama X1 , . . . , Xn adalah fX (x|θ), dimana θ bersifat skalar
dan support dari X tidak bergantung pada θ. Misalkan statistik T (X) adalah
penaksir tak bias untuk fungsi (yang terdiferensial) dari θ; E(T ) = g(θ). Maka,

(∂g(θ)/∂θ)2
V ar(T ) ≥ ,

dengan
( )2
∂ ln fX (X|θ)
Iθ = E .
∂θ

Kuantitas Iθ disebut informasi Fisher dan merupakan indeks yang menyatakan


banyaknya informasi yang dimiliki oleh X tentang θ.
Suku
(∂g(θ)/∂θ)2

disebut Batas Bawah Cramer-Rao atau Cramer-Rao Lower Bound.
Contoh/Latihan: Misalkan sampel acak berukuran n dari P oi(λ). Apakah
penaksir MLE untuk λ memuat/memenuhi/mencapai CRLB?
Solusi:
Fungsi informasi Fisher adalah Iθ = n/λ. Penaksir MLE dari λ adalah X̄
dan penaksir ini tak bias. Peubah acak Poisson dengan parameter λ memiliki
variansi λ. Jadi, V arX̄ = λ/n. Dengan demikian, CRLB untuk penaksiran λ
adalah

( ∂λ λ)2
CRLB = = λ/n.
n/λ

Jadi, penaksir MLE untuk λ memuat CRLB.


Contoh/Latihan:
1. Pandang sampel acak eksponensial dengan mean 1/θ. Apakah penaksirnya
mencapai CRLB?

MA3081 Stat.Mat. 9 K. Syuhada, PhD.


2. Misalkan sampel acak berukuran n dari Geo(θ). Apakah penaksir MLE
untuk θ memuat/memenuhi/mencapai CRLB?

Efisiensi
Efisiensi dari penaksir tak bias dari g(θ) adalah rasio dari CRLB terhadap
variansi dari penaksir. Misalkan T penaksir tak bias untuk g(θ), maka efisiensi
dari T adalah
CRLB
Efisiensi = ,
V ar(T )

Jika rasio sama dengan satu, maka penaksir dikatakan efisien.

Contoh/Latihan:
Misalkan sampel acak berukuran n dari Geo(p). Tentukan efisiensi dari pe-
naksir untuk p.

3.6 Penaksiran Selang

Sejauh ini, penaksiran beserta sifat baiknya yang kita bahas adalah penaksiran
titik. Apakah yang anda ketahui tentang penaksiran selang?

MA3081 Stat.Mat. 10 K. Syuhada, PhD.