Catkuliah StatMat5 PDF
Catkuliah StatMat5 PDF
disusun oleh
Khreshna I.A. Syuhada, MSc. PhD.
2 Distribusi Sampel 1
2.1 Pengantar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
2.2 Sampel Acak . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
2.3 Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2.4 Distribusi Sampel . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.5 Statistik Terurut . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.6 Statistic Cukup . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.7 Teorema Limit Pusat . . . . . . . . . . . . . . . . . . . . . . . . 8
3 Penaksiran 1
3.1 Pengantar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
3.2 Penaksir Likelihood Maksimum . . . . . . . . . . . . . . . . . . 2
3.3 Penaksir MM . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
3.4 Sifat Penaksir dan Kesalahan Penaksiran . . . . . . . . . . . . . 4
3.4.1 Sifat penaksir . . . . . . . . . . . . . . . . . . . . . . . . 4
3.4.2 Kesalahan Penaksiran . . . . . . . . . . . . . . . . . . . 5
3.5 Sifat Konsisten dan CRLB . . . . . . . . . . . . . . . . . . . . . 6
3.5.1 Sifat Konsisten . . . . . . . . . . . . . . . . . . . . . . . 6
3.5.2 CRLB . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3.6 Penaksiran Selang . . . . . . . . . . . . . . . . . . . . . . . . . . 10
i
BAB 1
Definisi:
Misalkan X peubah acak. Fungsi distribusi (kumulatif) dari X adalah
FX (x) = P (X ≤ x)
Contoh:
1. Misalkan X ∼ Bin(3, 0.5), maka fungsi distribusi F (x) adalah...
2. Misalkan X peubah acak dengan ‘support’ S = [a, b], b > 0. Misalkan
peluang X akan berada di selang S proporsional terhadap panjang se-
lang. Dengan kata lain,
P (x1 ≤ X ≤ x2 ) = λ (x2 − x1 ),
P (a ≤ X ≤ b) = 1 = λ (b − a) ⇒ λ = 1/(b − a)
1
• F merupakan fungsi tidak turun; F (a) ≤ F (b) untuk a ≤ b
Definisi:
Distribusi dari peubah acak X dikatakan KONTINU jika fungsi distribusi dis-
etiap x kontinu dan fungsi distribusi tersebut dapat diturunkan.
X = g −1 (Y ) = · · ·
FX (x) = · · ·
FY (y) = · · ·
Y ∼ ···
Latihan:
1. Misalkan X peubah acak kontinu yang memiliki fungsi distribusi FX (x)
yang naik murni. Misalkan Y = FX (X). Tentukan distribusi dari Y .
FY (y) = P (Y ≤ y) = P (g(X) ≤ y)
dimana dalam hal ini setiap solusi inverse x = g −1 (y) digunakan untuk menen-
tukan FY (y) dengan menggunakan FX (g −1 (y)). Untuk X ∼ U (−1, 2) dan
g(X) = Y = X 2 , kita dapatkan fungsi distribusi dari Y :
FY (y) = · · ·
dimana
o(△x)
lim =0
△x→0 △x
Fungsi
[ ]
d
dF (x) = F (x) △x
dx
Contoh:
Misalkan F (x) = 1 − e−3x untuk x ≥ 0. Apakah F (x) suatu fungsi distribusi?
P (x ≤ X ≤ x + △x)
Density rata-rata =def
△x
Sedangkan fungsi densitas peluang atau fungsi peluang (f.p) di x adalah limit
densitas rata-rata saat △x → 0:
P (x ≤ X ≤ x + △x)
f.p = f (x) =def lim
△x→0 △x
=
=
d
= F (x)
dx
Catatan: Unsur peluang dituliskan sebagai dF (x) = f (x)△x.
Latihan:
d −1
J(y) = g (y)
dy
adalah transformasi Jacobian.
Misalkan g(x) memiliki lebih dari satu fungsi invers maka unsur peluang yang
terpisah harus dihitung untuk setiap fungsi invers. Contoh, misalkan X ∼
U (−1, 2) dan Y = g(X) = X 2 . Maka untuk y ∈ [0, 1], terdapat 2 fungsi invers
yaitu · · · , dan satu fungsi invers untuk y ∈ (1, 4] yaitu · · · . Fungsi peluang
dari Y adalah
f (y) = · · ·
1.3 Ekspektasi
Misalkan X peubah acak dengan fungsi peluang f (x). Nilai harapan atau
ekspektasi dari X, jika ada, adalah
∫ ∞
E(X) = µX = f (x)dx
−∞
Catatan: nilai ekspektasi dikatakan ada jika nilai integral adalah hingga.
Misalkan X p.a. dengan f.p. f (x). Maka nilai harapan/ekspektasi dari g(X),
jika ada, adalah
∫ ∞
E[g(X)] = g(x)f (x)dx
−∞
.
Operator integral bersifat linier. Jika g1 (X) dan g2 (X) fungsi-fungsi yang
memiliki ekspektasi dan a, b, c konstanta, maka
dengan µ, σ konstanta yang memenuhi |µ| < ∞ dan σ ∈ (0, σ). Tun-
jukkan bahwa fungsi peluang simetrik di sekitar µ namun ekspektasinya
bukanlah µ.
3. FX,Y (∞, ∞) = 1
Contoh/Latihan:
1. Jika (X, Y ) ∼ U (a, b, c, d) maka fX,Y (x, y) = · · ·
2. Untuk soal no 1 di atas, misalkan a = c = 0, b = 4, d = 6 maka
P (2.5 ≤ X ≤ 3.5, 1 ≤ Y ≤ 4) = · · ·
P (X 2 + Y 2 > 16) = · · ·
3. Jika fX,Y (x, y) = 6/5(x + y 2 ) untuk x ∈ (0, 1) dan y ∈ (0, 1). Tentukan
P (X + Y < 1).
fX (x) = · · ·
fY (y) = · · ·
dan ekspektasi
∫ ∞ ∫ ∞
E(g(X, Y )) = E(X) = g(x, y) fX,Y (x, y) dx dy = · · ·
−∞ −∞
Misalkan fX,Y (x, y) adalah fungsi peluang bersama, maka fungsi peluang Y ,
diberikan X = x, adalah
fX,Y (x, y)
fY |X (y|x) =def ,
fX (x)
maka
fX (x) = · · ·
E(X r ) = · · ·
fY (y) = · · ·
E(Y r ) = · · ·
fX|Y (x|y) = · · ·
fY |X (y|x) = · · ·
E(X r |Y = y) = · · ·
E(Y r |X = x) = · · ·
Misalkan (X, Y ) adalah peubah acak berpasangan dengan fungsi peluang bersama
fX,Y (x, y). Pandang persoalan memprediksi Y setelah X = x terobservasi.
Prediktor dinotasikan sebagai ŷ(x). Prediktor terbaik didefinisikan sebagai
fungsi Ŷ (X) yang meminimumkan
[ ]2 ∫ ∞ ∫ ∞
E Y − Ŷ (X) = (y − ŷ(x))2 fX,Y (x, y) dydx
−∞ −∞
Contoh/Latihan:
maka
fY |X (y|x) = · · ·
ŷ(x) = · · ·
(Y |X = x) ∼ · · ·
3. Tunjukkan bahwa
[ ]
EX fY |X (y|X) = fY (y)
4. Buktikan
{ [ ]} [ ]
EX E h(Y )|X = E h(Y )
5. Buktikan
[ ] [ ]
V ar(Y ) = EX V ar(Y |X) + V ar E(Y |X)
fY (y) = · · ·
asalkan ekspektasi ada untuk t disekitar 0. Jika semua momen dari X tidak
ada, maka fungsi pembangkit momen juga tidak ada. Fungsi pembangkit
MX (t) = GX (et )
asalkan GX (t) ada untuk t disekitar 1. Jika MX (t) adalah fungsi pembangkit
peluang maka MX (0) = 1.
Contoh/Latihan:
MX (t) = · · ·
Ma+bX (t) = · · ·
3. Jika
∑ Xi , i = 1, . . . , n saling bebas, MXi (t) ada untuk setiap i, dan S =
Xi , maka
MS (t) = · · ·
Distribusi Sampel
2.1 Pengantar
• Parameter adalah suatu karakteristik dari populasi
• Statistik adalah suatu karakteristik dari sampel
• Statistik adalah fungsi dari sampel;
T = g(X1 , X2 , . . . , Xn ).
2
Fungsi T adalah peubah acak; contoh T = X̄ atau T = SX .
• Distribusi sampel adalah distribusi dari statistik; distribusi sampel dari
X̄ adalah distribusi dari X̄.
Contoh/Latihan:
1. Misalkan X1 , X2 , . . . , Xn sampel acak dari distribusi Eksponensial den-
gan parameter θ. Fungsi peluang n-variatnya adalah...
2. Misalkan X1 , X2 , . . . , Xn sampel acak dari distribusi Uniform pada selang
(a, b). Fungsi peluang n-variatnya adalah...
1
2.3 Likelihood
Misalkan fungsi peluang n-variat bergantung pada parameter yang tidak dike-
tahui θ. Fungsi peluang tersebut ditulis sebagai
atau
fX (x|θ)
Contoh/Latihan:
Definisi
Fungsi likelihood adalah ukuran yang menyatakan sebarapa sering nilai θ,
diberikan bahwa x telah terobservasi. Fungsi likelihood BUKAN suatu pelu-
ang. Fungsi likelihood diperoleh dengan (i) menukar peran θ dan x dalam
fungsi peluang n-variat, dan (ii) membuang suku yang tidak bergantung pada
θ. Notasi:
Contoh/Latihan:
function likefunction;
clear
clc
for i = 1:length(lambda)
L(i) = (lambda(i)^n)*exp(-lambda(i)*sumx);
end
plot(lambda,L)
Prinsip Likelihood
Jika dua percobaan, yang melibatkan model dengan parameter θ, memberikan
likelihood yang sama, maka inferensi terhadap θ haruslah sama.
Ilustrasi
Pandang percobaan 1 dimana sebuah koin dilantunkan sebanyak n kali secara
bebas. Misalkan p adalah peluang muncul MUKA dan X peubah acak yang
menyatakan banyaknya MUKA yang muncul. Fungsi peluang dari X adalah...
Untuk n = 20, X = 6, fungsi likelihoodnya adalah...
P (Y = y) = P (X1 + X2 = y)
∑y
= P (X1 + X2 = y|X2 = y − x1 )P (X2 = y − x1 )
x1 =0
∑ y
= P (X1 = x1 |X2 = y − x1 )P (X2 = y − x1 )
x1 =0
∑ y
= P (X1 = x1 )P (X2 = y − x1 )
x1 =0
∑ y
= px1 (1 − p)1−x1 py−x1 (1 − p)1−(y−x1 ) , y = 0, 1, 2,
x1 =0
P (Y = y) = Cy2 py (1 − p)2−y , y = 0, 1, 2
yang merupakan f.p.m untuk distribusi Binomial dengan parameter (2, p).
Diskusi:
Selidiki sifat distribusi jumlah n peubah acak saling bebas dan berdistribusi
Poisson dengan parameter λ.
e−nλ (nλ)y
fY (y|θ) = .
y!
Diskusi:
Bagaimana distribusi peluang untuk Y = X1 + X2 jika Xi saling bebas dan
berdistribusi (identik) kontinu?
FY (y) = P (Y ≤ y) = P (X1 + X2 ≤ y)
= P (X1 ≤ y − X2 )
∫ ∞ ∫ y−x2
= fX1 ,X2 (x1 , x2 ) dx1 dx2
−∞ −∞
∫ ∞ ∫ y−x2
= fX1 (x1 ) dx1 fX2 (x2 ) dx2
−∞ −∞
∫ ∞
= FX1 (y − x2 ) fX2 (x2 ) dx2
−∞
fX (x|θ) =
P (X(n) ≤ x) =
f(x) =
Contoh/Latihan:
Diskusi:
• Ruang sampel adalah himpunan semua hasil yang mungkin dari per-
cobaan
Definisi -1
Suatu statistik T = t(X) adalah CUKUP atau sufficient untuk suatu keluarga
distribusi fX (x|θ) JIKA dan HANYA JIKA fungsi likelihoodnya bergantung
terhadap X hanya melalui T:
L(θ) = h(t(X), θ)
Definisi -2
Suatu statistik T = t(X) adalah CUKUP untuk suatu keluarga distribusi
fX (x|θ) JIKA dan HANYA JIKA distribusi bersyarat dari X TIDAK BERGAN-
TUNG pada θ:
Definisi -3
Suatu statistik T = t(X) adalah CUKUP untuk suatu keluarga distribusi
fX (x|θ) JIKA dan HANYA JIKA fungsi peluangnya dapat difaktorkan sebagai:
Contoh/Latihan:
5. Pandang sampel acak berukuran n dari U (a, b), dengan a diketahui. Tun-
jukkan bahwa T = X(n) adalah statistik cukup.
Teorema
Misalkan X1 , . . . , Xn sampel acak berukuran n dari populasi dengan mean µX
2
dan variansi σX . Distribusi dari
X̄ − µX
Zn = √
σX / n
Catatan:
• Hal penting dari Teorema Limit Pusat (Central Limit Theorem) adalah
bahwa kekonvergenan dari Zn ke distribusi normal akan terjadi apapun
bentuk distribusi dari X.
• Kita dapat memanipulasi sedemikian hingga
X̄ ∼ N (µX , σX
2
/n),
asalkan n besar.
• Ekspresi lain dari TLP adalah
(√ )
n (X̄ − µX )
lim P ≤ c = Φ(c)
n→∞ σX
• Pandang: X1 + · · · + Xn ,
( n )
∑
E Xi = n µX ,
i=1
( n )
∑
2
V ar Xi = n σX ,
i=1
(∑n )
Xi − n µX
lim P i=1
√ ≤c = Φ(c)
n→∞ n σX
E(X − µX )3
κ3 = √ = 2,
3
σX
dan
E(X − µX )4
κ4 = 4
− 3 = 6,
σX
2
dengan µX = 1/θ dan σX = 1/θ2 . Mean sampel X̄ berdistribusi Ga(n, nθ).
Kemencengan (skewness) dan kelancipan (kurtosis) dari X̄ adalah
E(X̄ − µX̄ )3 2
κ3 = √ =√ ,
3
σX n
dan
E(X̄ − µX̄ )4
κ4 = 4
− 3 = 6/n,
σX
Penaksiran
3.1 Pengantar
yang merupakan f.p.m untuk distribusi Binomial dengan parameter (2, p).
Jadi, Y ∼ B(2, p).
P (Z = 0) = P (Y = 0) = (1 − p)2
1
P (Z = ) = P (Y = 1) = 2p(1 − p)
2
P (Z = 1) = P (Y = 2) = p2 .
1
Perhatikan bahwa mean dan variansi dari Z adalah
1
E(Z) = (0)(1 − p)2 + ( )(2p(1 − p)) + (1)(p2 ) = p
2
p(1 − p)
Var(Z) = E(Z 2 ) − (E(Z))2 =
2
Misalkan L(θ) adalah fungsi likelihood (fungsi dari parameter θ). Kita dapat
menentukan nilai θ yang memaksimumkan L(θ). Penaksir untuk θ, yaitu θ̂
disebut Penaksir Likelihood Maksimum (maximum likelihood estimator, MLE).
Penaksir suatu parameter adalah fungsi dari peubah acak.
Contoh/Latihan:
Misalkan X1 , . . . , Xn sampel acak berdistribusi U (0, θ). Tentukan θ yang
memaksimumkan L(θ). Dengan kata lain, tentukan penaksir θ̂ untuk θ.
3.3 Penaksir MM
E(X) = p
Misalkan sampel acak berdistribusi Gamma dengan parameter (α, β). Momen
pertama dan kedua dari X (momen populasi) adalah, berturut-turut,
E(X) = αβ
dan
dan
m2 − m21
β̂ = .
m1
Setelah kita mendapatkan penaksir θ̂, kita dapat menentukan sifat baik pe-
naksir. Salah satunya adalah sifat TAK BIAS. Penaksir θ̂ dikatakan tak bias
apabila
E(θ̂) = θ.
E(θ̂ − θ) ̸= 0.
bT = E(T − θ) = E(T ) − θ,
dan
adalah bias dan variansi dari penaksir T . Selain itu, didefinisikan pula, MSE
atau Mean Square Error,
1 ∑
n
2
S = (Xi − X̄)2 ,
n − 1 i=1
dan/atau
1 ∑
n
V = (Xi − X̄)2 ,
n i=1
bS 2 = · · · , b V = · · ·
dan
MSES 2 = · · · , MSEV = · · ·
Catatan: Penaksir dari deviasi standar dari suatu penaksir disebut “standard
error” atau SE.
(Latihan: hitung SE dari penaksir p̂ pada sampel acak Bernoulli)
Salah satu sifat dari penaksir yang baik adalah sifat tak bias. Kita akan mem-
pelajari sifat baik yang lain yaitu konsisten. Namun sebelumnya, perhatikan
Ketaksamaan Chebyshev berikut: Misalkan X peubah acak dengan fungsi
peluang fX (x). Misalkan h(X) fungsi non-negatif dari X dan ekpektasinya
ada; k adalah konstanta positif. Maka
E(h(X))
P (h(X) ≥ k) ≤ .
k
Bukti:
Misalkan R = {x; x ∈ SX ; h(x) ≥ k}. Maka
∫
E(h(X)) = h(x) fX (x) dx
∫ SX
≥ h(x) fX (x) dx
∫
R
≥k fX (x) dx
R
= k P (h(X) ≥ k).
Jadi,
E(h(X))
≥ P (h(X) ≥ k).
k
Bukti:
Pilih
(X − µX )2
h(X) = 2
.
σX
MSEX (θ)
P [|X − θ| < ϵ] ≥ 1 − .
ϵ2
Bukti:
Pilih
h(X) = (X − θ)2 .
P (|T − θ| ≥ ε)
= P (|T − θ|2 ≥ ε2 )
M SET (θ)
≤ , dengan Ketaksamaan Chebyshev
ε2
σ 2 + (E(T ) − θ)2
= T
ε2
Jadi,
M SET (θ)
P (|T − θ| < ε) ≥ 1 − .
ε2
Konsisten
Barisan dari penaksir-penaksir, {Tn }, disebut KONSISTEN untuk θ jika
Tn →prob θ.
X̄ →prob µX .
Bukti:
Mean sampel dari s.a berukuran n dari populasi dengan mean dan variansi
2
hingga memiliki mean µX dan variansi σX /n. Akibatnya,
2
M SEX̄ (µX ) = σX̄ + b2X̄ = σX
2
/n + 0,
dan
X̄ →prob µX .
Konsisten MS
Sebuah penaksir untuk θ dikatakan “Mean Square Consistent” jika
Buktikan bahwa jika sebuah penaksir memiliki sifat MSC maka penaksir terse-
but konsisten.
Bukti:
Misalkan Tn penaksir untuk θ. Asumsikan bahwa Tn memiliki mean dan vari-
ansi hingga. Menurut Ketaksamaan Chebyshev,
M SETn (θ)
P (|Tn − θ| < ε) ≥ 1 − ,
ε2
dimana ε adalah sebarang konstanta positif. Diketahui Tn adalah MSC, yaitu
M SETn (θ)
lim = 0,
n→∞ ε2
3.5.2 CRLB
Ketaksamaan Cramer-Rao
Misalkan peluang bersama X1 , . . . , Xn adalah fX (x|θ), dimana θ bersifat skalar
dan support dari X tidak bergantung pada θ. Misalkan statistik T (X) adalah
penaksir tak bias untuk fungsi (yang terdiferensial) dari θ; E(T ) = g(θ). Maka,
(∂g(θ)/∂θ)2
V ar(T ) ≥ ,
Iθ
dengan
( )2
∂ ln fX (X|θ)
Iθ = E .
∂θ
Efisiensi
Efisiensi dari penaksir tak bias dari g(θ) adalah rasio dari CRLB terhadap
variansi dari penaksir. Misalkan T penaksir tak bias untuk g(θ), maka efisiensi
dari T adalah
CRLB
Efisiensi = ,
V ar(T )
Contoh/Latihan:
Misalkan sampel acak berukuran n dari Geo(p). Tentukan efisiensi dari pe-
naksir untuk p.
Sejauh ini, penaksiran beserta sifat baiknya yang kita bahas adalah penaksiran
titik. Apakah yang anda ketahui tentang penaksiran selang?