Nunung Nurhayati Teori Peluang (PAM 2231)-Unsoed

Bab 4
Teorema Limit Pusat

4.1 Sampel Acak, Statistik, dan Estimator

Sampel acak. Barisan variabel acak X1 , X2 , . . . , Xn dikatakan sampel acak beruku-
ran n, jika barisan variabel acak tersebut iid, atau independen dan masing-masing berasal
dari distribusi yang identik.

Statistik. Statistik adalah variabel acak yang merupakan fungsi dari sampel acak
X1 , X2 , . . . , Xn . Beberapa contoh dari statistik, misalnya rata-rata sampel, variansi sam-
pel, modus sampel, median sampel, persentil sampel, statistik uji, dan lain-lain. Mencari
mean dan variansi dari statistik T = T (X1 , . . . , Xn ) dapat dilakukan 2 cara:

1. Cari distribusi gabungannya, kemudian cari

E[T ] dan Var(T ) = E[T 2 (E[T ])2 ].

2. Jika T fungsi linier dari X1 , . . . , Xn , maka mean dan variansi dapat dicari dengan
memanfaatkan sifat-sifat ekspektasi, yaitu:

(a) Misal T = ni=1 ai Xi maka mean dari T :

P

n
X
E[T ] = ai E[Xi ]
i=1

dengan syarat E[|Xi |] < untuk i = 1, 2, . . . , n.

(b) Misal T = ni=1 ai Xi dan W = ni=1 bi yi , dengan E[|Xi |] < dan E[|Yi |] <
P P
untuk i = 1, 2, . . . , n, maka
n X
X m
cov(T, W ) = ai bj cov(Xi , Yj ).
i=1 j=1

Akibatnya,
n
X X
Var(T ) = cov(T, T ) = a2i Var(Xi ) + 2 ai aj cov(Xi , Xj ).
i=1 i<j

dan jika X1 , . . . , Xn independen

n
X
Var(T ) = a2i Var(Xi ).
i=1

1
Nunung Nurhayati Teori Peluang (PAM 2231)-Unsoed

Estimator. Misal X1 , X2 , . . . , Xn sampel acak dari distribusi yang mempunyai cdf

F (x; ), dengan menyatakan parameter yang termuat di ruang parameter . Statis-
tik yang digunakan untuk mengestimasi parameter disebut estimator untuk , secara
umum dinotasikan dengan . Estimator dikenal juga dengan istilah penaksir atau pen-
duga. Banyak metode untuk mendapatkan estimator suatu parameter, di antaranya
metode momen, metode likelihood maksimum, netode Bayes, metode kuadrat terkecil
(pada analisis regresi), dan metode lainnya.

Estimator tak bias. Statistik dikatakan estimator tak bias (unbiased ) untuk pa-
rameter , jika E[] = .

Contoh 4.1.1 (Rata-rata sampel). Jika X1 , X2 , . . . , Xn sampel acak dari distribusi

variabel acak X dengan mean dan variansi 2 , maka rata-rata sampel adalah statistik
n
1X
X= Xi .
n
i=1

Rata-rata sampel X merupakan estimator tak bias untuk mean sebab

" n # n
1X 1X
E[X] = E Xi = E[Xi ] = . 
n n
i=1 i=1

Contoh 4.1.2 (Variansi sampel). Jika X1 , X2 , . . . , Xn sampel acak dari distribusi

variabel acak X dengan mean dan variansi 2 , maka variansi sampel adalah statistik
n n
!
2 1 X 2 1 X
2 2
S = (Xi X) = Xi nX .
n1 n1
i=1 i=1

Variansi sampel S merupakan estimator tak bias untuk 2 sebab

n
!
2 1 X
2 2
E[S ] = E[Xi ] nE[X ]
n1
i=1
1
= {n 2 + n2 n[( 2 /n) + 2 ]} = 2 .
n1

dengan baris terakhir diperoleh karena E[X 2 ] = 2 + 2 .

1 Pn
Sementara itu, statistik V = n i=1 (Xi X)2 merupakan estimator tak bias untuk 2
sebab
n1 2
E[V ] = 6= 2 . 
n

2
Nunung Nurhayati Teori Peluang (PAM 2231)-Unsoed

Estimator yang Konsisten. Berdasarkan definisinya, estimator adalah variabel acak

yang merupakan fungsi dari sampel acak berukuran n. Ukuran sampel n dapat mempe-
ngaruhi nilai estimasinya. Perhatikan barisan estimator berikut:

1 = (X1 )
2 = (X1 , X2 )
..
.
n = (X1 , X2 , . . . , Xn )

Barisan {n } dapat dipandang sebagai barisan variabel acak dengan indeks ukuran sam-
pel n. Ketika n yang membesar berakibat n dekat ke (parameter sebenarnya),
maka estimator tersebut dikatakan konsisten. Permasalahannya apa artinya dekat
pada Teori Peluang? Apakah ada kaitannya dengan konsep kekonvergenan? Jawaban-
nya ya, tetapi definisi kekonvergenan barisan variabel acak pada Teori Peluang agak
sedikit berbeda dengan pengertian kekonvergenan barisan bilangan di Kalkulus atau
di Analisis. Definisi kekonvergenan dan estimator yang konsisten secara formal akan
diberikan di Subbab 3.7.2.

Latihan

Soal No. 4, 5, 7-10, 12, 13, 17-19, 22-24, dan 26 (Hogg, et al. 2005, hal. 201-203)

4.2 Konvergen dalam Peluang

Pada Teori Peluang, barisan variabel acak {Xn } yang dekat ke X untuk n yang besar,
dapat diartikan sebagai barisan variabel acak {Xn } yang konvergen dalam peluang ke
X.

Definisi 1 Misal {Xn } barisan variabel acak dan X variabel acak yang terdefinisi pada
suatu ruang sampel. Barisan variabel acak {Xn } dikatakan konvergen dalam peluang
p
ke X, dinotasikan Xn X, jika untuk setiap > 0,

lim P (|Xn X| ) = 0 (1)

n

yang ekivalen dengan

lim P (|Xn X| < ) = 1
n

Pada Definisi 1, X disebut limit dari barisan {Xn }. Jika limitnya berupa konstanta
(variabel acak degenerate atau varibel acak dengan satu nilai yang mungkin, misal a),
p
maka dapat ditulis Xn a. Seandainya, barisan variabel acaknya semuanya merupakan
konstanta misal {an } maka pengertian kekonvergenan pada bilangan riil an a ekivalen
p
dengan an a.

3
Nunung Nurhayati Teori Peluang (PAM 2231)-Unsoed

Interpretasi konvergen dalam peluang. Peristiwa {|Xn X| } pada persamaan

(1) ekivalen dengan peristiwa
{Xn X atau Xn X }
atau peristiwa
{Xn X atau Xn X }
Akibatnya, peristiwa {|Xn X| } ekivalen dengan peristiwa
Xn 6 (X , X + )
Di sini, selang (X , X +) dapat dikatakan sebagai lingkungan buka untuk X dengan
radius .
p
Dengan demikian, pengertian Xn X dapat diinterpretasikan bahwa untuk n besar dan
untuk setiap > 0, hampir tidak mungkin Xn berada di luar lingkungan (X , X + ).
Hal ini juga ekivalen dengan pernyataan bahwa untuk n besar, hampir dipastikan bahwa
Xn berada dalam lingkungan (X , X + ).

Sifat-sifat konvergen dalam peluang. Misal {Xn }, {Yn } masing-masing barisan

variabel acak, dan X, Y variabel acak.
p p p
1. Jika Xn X dan Yn Y, maka Xn + Yn X + Y.
p p
2. Jika Xn X dan a suatu konstanta, maka aXn aX.
p p
3. Jika Xn X dan g fungsi bernilai riil yang kontinu di titik a, maka g(Xn ) g(a).
p
Sebagai contoh, jika Xn a maka
p
Xn2 a2 ,
p
1/Xn 1/a, jika a 6= 0,
p p
Xn a, jika a 0,
karena fungsi kuadrat, fungsi kebalikan, dan fungsi akar merupakan fungsi yang
kontinu di masing-masing domainnya.
p p p
4. Jika Xn X dan Yn Y, maka Xn Yn XY.

Sifat-sifat tersebut dapat digunakan untuk membuktikan sifat konvergen dalam peluang.
Selain itu, pembuktian sifat konvergen dalam peluang juga dapat dilakukan menggunakan
Teorema Chebyshev yang dinyatakan pada teorema berikut:
Teorema 2 (Teorema Chebyshev) Misal distribusi variabel acak X mempunyai mean
dan variansi 2 < , maka untuk setiap k > 0,
1
P (|X | k) (2)
k2
yang ekivalen dengan
1
P (|X | < k) 1 .
k2

4
Nunung Nurhayati Teori Peluang (PAM 2231)-Unsoed

Jika dimisalkan k = , maka persamaan (2) menjadi

2
P (|X | ) .
2

Hukum Bilangan Besar. Terkait dengan perilaku rata-rata sampel X untuk ukuran
sampel besar, terdapat dua teorema penting dalam statistika yaitu, Hukum Lemah
Bilangan Besar atau Weak Law of Large Number (WLLN) dan Hukum Kuat Bilangan
Besar atau Strong Law of Large Number (SLLN). Dua hukum tersebut sama-sama
menyatakan bahwa untuk sampel besar, rata-rata sampel X dekat ke .

Perbedaan WLLN dan SLLN terletak pada asumsi barisan variabel yang digunakan.
Pada WLLN barisan variabel acak yang digunakan diasumsikan iid dengan mean dan
variansi 2 < . Sementara, pada SLLN asumsi yang dikenakan pada barisan variabel
acak diperkuat, dalam arti SLLN tetap mempertahankan asumsi independen tetapi per-
syaratan distribusi identik tidak digunakan lagi, cukup disyaratkan mempunyai distribusi
dengan mean sama yaitu < .

Berikut teorema yang menyatakan WLLN. Rumusan SLLN tidak diberikan di sini, namun
bagi yang tertarik dapat merujuk Chung (1968).

Teorema 3 (Hukum Lemah Bilangan Besar) Misal {Xn } barisan Pnvariabel acak iid
2
dari distribusi dengan mean dan variansi < . Jika X n = 1/n i=1 Xi , maka
p
Xn

Bukti. Dari Akibat 1 di Subbab 3.4 (handout kuliah) telah diperoleh bahwa X n mem-
punyai mean dan variansi 2 /n. Akibatnya, menurut Teorema Chebyshev untuk setiap
> 0 berlaku
  2
P (|X n | ) = P |X n | ( n/)(/ n) 2 0. 
n
Secara tidak langsung Hukum Lemah Bilangan Besar pada Teorema 3 menyatakan bahwa
rata-rata sampel X merupakan estimator yang konsisten untuk . Pengertian kekonsis-
tenan secara formal diberikan pada definisi berikut:

Definisi 4 Misal X variabel acak dengan cdf F (x, ), . Misalkan pula X1 , . . . , Xn

sampel dari distribusi X. Statistik Tn dikatakan estimator konsisten jika
p
Tn .

Contoh 4.2.1 (Kekonsistenan variansi sampel). Misal X1 , . . . , Xn sampel acak

dari suatu distribusi dengan mean dan variansi 2 . Pada Teorema 3 telah ditunjukkan

5
Nunung Nurhayati Teori Peluang (PAM 2231)-Unsoed

p
bahwa X n . Untuk menunjukkan variansi sampel konvergen dalam peluang ke 2 ,
perlu diasumsikan E[X14 ] < , sehingga Var(S) < . Variansi sampel dapat ditulis
n n
!
1 X n 1 X 2
Sn2 = (Xi X n )2 = Xi2 X n .
n1 n1 n
i=1 i=1

Menurut Teorema 3,
n
1X 2 p p
Xi E[X12 ] dan Xn
n
i=1

dan dari Sifat (4),

2 p
X n 2 .
Akibatnya
n
!
n 1X 2 2 p
Xi X n 1.(E[X12 ] = 2 ) = 2
n1 n
i=1

Jadi variansi sampel merupakan estimator konsisten untuk 2 . 

Dengan cara serupa dapat ditunjukkan pula bahwa V = n1 ni=1 (Xi X)2 juga estimator
P
konsisten untuk 2 . Berarti, variansi 2 mempunyai 2 estimator yang konsisten, yaitu S 2
dan V. Namun, S 2 estimator lebih baik dari V karena selain konsisten, S 2 juga bersifat
tak bias. Lainnya halnya dengan V, yang gagal menjadi tak bias karena
n1 2
E[V ] = 6= 2 .
n
Dapat dihitung, bias dari V adalah
2 2
   
2 2 n1 2 2 2
bias(V ) = E(V ) = = = .
n n n
Namun demikian, untuk sampel besar, V bersifat tak bias secara asimtotik (asymp-
totically unbiased ) karena untuk n , bias(V ) 0.

Kekonsistenan merupakan sifat penting untuk suatu estimator. Suatu estimator dikatakan
jelek (poor estimator ) jika estimator tersebut tidak konsisten sehingga nilainya tidak per-
nah dekat ke nilai sebenarnya ketika ukuran sampelnya bertambah besar. Lain halnya
dengan sifat tak bias yang masih boleh digantikan sifat tak bias secara asimtotik. Seba-
gai contoh, untuk kasus sampel besar, variansi 2 dapat diestimasi dengan S 2 atau bisa
juga diestimasi dengan V.

Latihan

1. Misal Yn berdistribusi B(n, p).

(a) Tunjukkan Yn /n konvergen dalam peluang ke p. Hasil ini merupakan salah

satu bentuk dari hukum lemah bilangan besar.

6
Nunung Nurhayati Teori Peluang (PAM 2231)-Unsoed

(b) Tunjukkan 1 Yn /n konvergen dalam peluang ke 1 p.

(c) Tunjukkan (Yn /n)(1 Yn /n) konvergen dalam peluang ke p(1 p).

2. Misal Wn variabel acak dengan mean dan variansi b/np , dengan p > 0, , dan
b konstanta (bukan fungsi dari n.) Buktikan Wn konvergen dalam peluang ke .
Petunjuk: Gunakan Teorema Chebyshev.

3. Misal X1 , . . . , Xn variabel acak iid dengan pdf bersama

 (x)
e , x > , < <
f (x) =
0, xlainnya

Distribusi dengan pdf ini disebut distribusi eksponensial geser (shifted exponen-
tial ). Misal Yn = min{X1 , . . . , Xn }. Tunjukkan Yn konvergen dalam peluang ke ,
dengan terlebih dahulu menentukan cdf dan pdf dari Yn .

4. Untuk soal No. 3, tentukan mean dari Yn . Apakah Yn estimator tak bias untuk ?
Tentukan estimator tak bias untuk yang didasarkan pada Yn .