Hukum Bilangan Besar

Hukum bilangan besar atau Large Law of Large Numbers (LLN) adalah teorema yang
menyatakan bahwa pada percobaan yang dilakukan secara berulang, maka semakin
banyak perulangannya akan terjadi kestabilan ke nilai harapan suatu peubah acak.
Dalam hal, dengan barisan peubah acaknya Xi, i = 1, 2, , n yang konvergen ke X, maka
semakin besar n, nilai harapannya akan konvergen ke E(X).
Pertaksamaan
Seringkali pertaksamaan berikut berguna untuk menentukan estimasi dari nilai harapan.
(1) Batas eksponensial

1 + x exp(x)

(2) Pertaksaman Tchebysheff

P(X a)

E( X 2 )
a2

(3)Pertaksamaan Markov
Jika f(.) : fungsi takturun dan taknegatif dalam [a, ), maka
E ( f ( X ))
P(X a)
f (a)
(4) Pertaksamaan Bienayme-Tchebycheff :
Peubah acak X, yang mempunyai momen absolut orde n (i.e momen absolutnya ada),
E(|X|n), maka akan berlaku
X n

P(|X| < a) E
a

dengan a : bilangan real

Dalam hal n = 2, kita gantikan X dengan E E(X) = X m1 dan kita ambil a = t (di sini
: simpangan, t : bil real pos), maka pertidaksamaan di atas dapat dinyatakan sebagai
1
P(|X m1| > t ) 2
t
Teorema :
Diberikan peubah acak X dgn mean dan simpangan baku .
Maka > 0 berlaku
P(|X - | )
(pertaksamaan Tchebycheff2 )
Bukti :
Kita ketahui bhw 2 = Var(X) =

(x
i

2
2

) 2 f ( xi ) . (1)

Pada penjumlahan di atas, kita abaikan suku-suku seperlunya supaya |xi - | < . Dengan
demikian (1) menjadi
2 * ( xi ) 2 f ( xi )
i

(Penjumlahan bertanda *menyatakan bhw penjumlahan untuk i |xi - | < ).

Nilai penjumlahan bertanda * tsb tidak akan lebih besar apabila |xi - | digantikan
dengan ,
i.e 2 * 2 f ( xi ) = 2 * f ( xi ) (2)
Pada (2)

i
*

f ( xi ) adalah merupakan P(|X - | ).

Dengan demikian maka 2 2.P(|X - | ).

Apabila kedua kedua ruas dibagai dengan 2 akan memberikan

2
P(|X - | ) 2

. (3)

Apabila kita ambil = t (dengan t : bilangan real pos) ,maka (3) akan memberikan
pertaksamaan Bienaym-Tchebycheff :
1
P(|X - | t) 2
t
(5) Pertaksamaan Jensen
Untuk peubah acak X, dengan fungsi f(.) konveks, maka
f(E(X)) E(f(X))
(4)
Misalkan bhw f(x) : suatu fungsi konveks i.e d2f/dx2 > 0 x.
Jika f(x) konveks, maka :
x

f(x) = f(a) +

f ' (t )dt

(teori fundamental kalkulus)

a
x

f(a) +

f ' (a)dt

(aproksimasi Taylor orde pertama)

= f(a) + (x-a)f(a)
Untuk peubah acak X,
f(a) + (X-a)f(a) f(X)
E[f(a) + (X-a)f(a)] E[f(X)]
dengan a = E(X),
memberikan

f(E(X) + (E(X) E(X)) f(E(X)) E[f(X)]

f(E(X)) E[f(X)]

Konvergensi barisan peubah acak

Konvergen lemah (Weak law of large numbers)
Teorema :
Diberikan barisan peubah acak X1, X2, , Xn yang i.i.d dengan mean dan
X X 2 ..... X n
simpangan baku , dengan S n 1
. Maka > 0 berlaku
n
lim P(| S n | ) = 0 atau lim P(| S n | ) = 1
(5)
n

Catatan:
(i) Dikatakan bhw X1, X2, , Xn bersifat i.i.d (independent indentically distributed), jika
X1, X2, , Xn saling bebas dan berdistribusi sama, i.e FX n Fx1 n
(ii) Dengan (5) tersebut di atas, menyatakan bahwa bahwa S n (rata-rata barisan peubah
acak) akan sama dengan (mean)
Bukti teorema:
Kita ketahui bhw
E ( X 1 ) E ( X 2 ) ..... E ( X n ) n
=
=
n
n
Oleh karena X1, X2, , Xn bersifat i.i.d, maka
Var(X1 + X2 + + Xn) = Var(X1) + Var (X2) + + Var(Xn) = n2 .

E (S n ) =

Dari teorema Tchebycheff, diperoleh P(|X - | )

2
.
n 2

Dengan demikian untuk n , akan diperoleh lim P(| S n | ) = 0, > 0. ..(6)

n

Catatan :
Dalam hal kontinu, kita tinggal menggantikan penjumlahan dengan integral (kenapa
berlaku demikian ?)
Konvergensi lemah tsb di atas, sering disebut dengan Konvergensi dalam Probabilitas,
dan sering ditulis sebagai :

Pada buku JC Taylor, (5) dinyatakan sebagai :

lim P(| S n | ) = 0
n

(6) dinyatakan sebagai :

untuk > 0, P(|Xn X| . ) 0, untuk n

Konvergen dalam ukuran

Barisan fungsi terukur X1, X2, , Xn konvergen (dalam ukuran) ke fungsi terukur X,
jika untuk > 0,
({|Xn-X| }) 0, untuk n
dan sering ditulis sebagai

(m : measure (ukuran))
Dalam ruang probabilitas (,F,P), dengan barisan peubah acak X1, X2, , Xn (terukur),
konvergen dalam probabilitas adalah sama dengan konvergen dalam uukuran

Konvergensi Kuat ( Strong Law of Large Numbers)

Teorema :
Diberikan barisan peubah acak X1, X2, , Xn yang i.i.d dengan mean i ,
maka untuk n :

dengan mn = n , > 0.
Pernyataan tersebut dapat dinyatakan pula sebagai:
Barisan peubah acak X1, X2, , Xn akan konvergen (secara kuat) ke peubah acak
X, jika
P( lim X n X ) = 1.
n

Hal ini sering disebut dengan konvergen hampir pasti (almost sure convergence disingkat
a.s convergence), dan ditulis sebagai:

Konvergensi dalam Ruang Lp

p
Barisan peubah acak X1, X2, , Xn yang i.i.d disebut konvergen dalam ruang L
jika
E(| Xn X|p ) 0, untuk n
Catatan:
Dalam ruang terujur (S, , ), diberikan fungsi terukur f : S R.
Ruang Lp, merupakan himpunan f yang bersifat:

||f||p = | f | p d
S

1/ p

<

, dengan 1 p

integral Lebesque berhingga

Teorema Limit Sentral

Merupakan teorema akhir dalam pembahasan teori probabilitas, yang merupakan

kelanjutan dari Hukum Bilangan Besar (khususnya hukum lemah).

Teorema Hukum Lemah Bil Besar:

Misal X1, X2, ....., Xn n buah p.a bebas dengan mean dan variansi yang sama yaitu dan
2 dan Sn = X1+ X2 + ..... + Xn .
Untuk bil real (tetap) , berlaku
S

lim P | n | ) = 1
n
n

2
Dalam hal ini, dengan EXi = , var (Xi) = , maka
S
prob n mendekati untuk n yg semakin besar adalah 1
n
Teorema limit sentral.
Terdapat beberapa klasifikasi teorema limit sentral, yang dibedakan menurut sifat
distribusi barisan peubah acaknya.
A.Barisan peubah acaknya saling bebas dan berdistribusi sama (i.i.d).
Terdapat beberapa versi.
Teorema (versi 1) :
Misalkan {Xi , i=1,2, ..n} barisan peubah acak i.i.d dengan mean = 0, dan variansi 2=
1. Apabila Sn = X1+ X2 + ..... + Xn , maka
Sn
konvergen lemah ke distribusi normal baku (i.e N(0,1))
n
Bukti : (biasanya menggunakan fungsi karakteristik)
Nyatakan X sebagai fungsi karakteristik p.a X.
X mempunyai momen kedua berhingga, oleh karenanya X mempunyai derivatif
kedua yg kontinu.
Dengan menggunakan teorema Taylor:
X(t) = X(0) + X(0).t + X(0)t2/2 + R(t),
dengan R(t) : suku sisa atau residu, yang dalam hal ini
|R(t)/t2 0 untuk |T| 0
Dengan demikian, X(t) = 1 -t2/2 + R(t).
Selanjutnya,
Sn/m (t) = Sn(t/n ) = (X(t/n))n

t2
t
= 1
R( )
n
2n
t
Oleh karena untuk n , maka
0.
n

Sehingga Sn/m (t)

t2
2

Sn

Ini menunjukkan bahwa

konvergen ke N(0,1)
n
(pertanyaan: mengapa konvergensinya lemah ?)

Teorema (versi 2):

... dengan asumsi yang sama, maka
S n n

N(0,1)

Teorema (versi 3):

{Xi , i=1,2, ..n} barisan peubah acak i.i.d dengan mean , dan variansi 2.
X X 2 .... X n
Nyatakan X n = 1
n
Jila n adalah bilangan besar, maka p.a

X n mendekati hukum normal N ,

n

Catatan:
(i)Apakah perbedaan ketiga versi di atas ?.
(ii)Masih terdapat banyak versi yang lain.
(iii)f(x) berdistribusi N(, 2), i.e

1
f(x) =

dengan transformasi t =

(t) =

( x )2

, akan menjadikan

1
2

t2
2

(distribusi N(0,1))

Pertanyaan :
Bagaimana teorema tsb dinyatakan dalam bukunya JC Taylor berikut
pembuktiannya ? (hal.275)

B.Barisan peubah acaknya tidak diketahui sifat distribusinya

Coba Anda pelajari :
1.Kondisi Lyapunov
2.Kondisi Lindeberg
(bukunya JC Taylor hal 277-281)

Tambahan :
Untuk memahami (intuitif) terjadinya keadaan pada teoerema limit sentral, sebaiknya
Anda melakukan simulasi dengan menggunakan program komputer (sebagai tugas)

Apabila kita telah melakukan simulasi di atas, kita dapat melihat bahwa n semakin besar
akan mendekati distribusi normal.

Aproksimasi Binomial oleh Normal

Teorema:
Untuk n yg besar dan p tidak dekat dgn 0 juga tidak dekat dengan 1,
B(n,p) N(, 2 ) , dengan = np dan = npq , dalam hal ini q = 1-p

X = Sn =

X 1 X 2 .... X n
n

X N(,2 )

Tugas Baca
Dikatakan bahwa distribusi binomial akan mendekati distribusi normal untuk n yang
besar. Banyak orang berusaha membuktikan secara matematis, namun sampai saat ini
dianggap belum memuaskan.
Dibawah ini diberikan tulisan dengan menggunakan hampiran (aproksimasi)

Normal approximation to the binomial distribution

Error in the normal approximation to the binomial distribution
The binomial distribution can often be well approximated by a normal distribution. But
how can you know when the approximation will be good? Most textbooks are vague on
this point, saying n should be large or np should be large. How large? Why?

These notes will look carefully at the error in the normal approximation to the binomial
distribution. We will look at how the error varies as a function of the binomial parameters
n and p and demonstrate how the continuity correction improves the approximation.
Central Limit Theorem
A binomial(n, p) random variable X can be thought of as the sum of n Bernoulli random
variables Xi. Applying the Central Limit Theorem to this sum shows that FX, the CDF
(cumulative distribution function) of X, is approximately equal to FY, the CDF of a
normal random variable Y with the name mean and variance as X. That is, Y has mean
np and variance npq where q = 1-p.
But how good is the approximation? The Berry-Essen theorem gives an upper bound on
the error. It says the error is uniformly bounded by C /3n where C is a constant less
than 0.7655, = E(|Xi - p|3) and is the standard deviation of Xi. It's easy to calculate =
pq(p2 + q2) and = (pq) for the Bernoulli random variables Xi. Therefore the error in
the normal approximation to a binomial(n, p) random variable is bounded by C(p2 + q2)
/(npq).
Error as a function of n

For fixed p, the bound C(p2 + q2) /(npq) from the Berry-Essen theorem says that the
maximum error decreases proportional to 1/n. Hence the recommendation that the
approximation be used for large n.
Error as a function of p

The term (p2 + q2) /(pq) is smallest when p = 1/2. This suggests that for a given value of
n, the normal approximation is best when p is near 1/2. However, the function (p2 + q2)
/(pq) is unbounded as p approaches either 0 or 1.
Assume p < 1/2 (or else reverse the rolls of p and q). For 0 < p < 1/2, one can show that
(p2 + q2) /(pq) < 1/p. Therefore the approximation error is bounded by a constant times
1/(np), hence the suggestion that np should be "large."
So a conservative estimate on the error is 0.7655/(np) when p < 1/2.
Examples
The following plot shows the error in the normal approximation to the CDF of a
binomial(10, 0.5) random variable. Here we are computing FX(n) - FY(n) for n = 0, 1, ...,
10.

Next we compute the error again, but using the continuity correction, FX(n) - FY(n+1/2).

The continuity correction lowers the maximum error from 0.123 to 0.00267, making the error 47
times smaller.
We expect the error would be larger for p = 0.1 than it was for p = 0.5 above. Indeed this is the
case. For a binomial(10, 0.1) random variable, the maximum error in the normal approximation is
0.05 even when using the continuity correction.
For another example we consider a binomial(100, 0.1) random variable. The following graph
gives the approximation without continuity correction.

And here is the error when using the continuity correction.

In this case, n is larger and the benefit of the continuity correction is not as large. Still, the
correction reduces the error by a factor of 4.8.

Approximating the PMF

Up to this point we have only looked at approximating the CDF. Now we look at approximating
the probability of individual points, i.e. we look at the probability mass function (PMF).
The naive approximation would be to approximate fX(n) with fY(n). However, the continuity
correction requires we approximate fX(n) by the integral

As the examples above suggest, the continuity correction greatly improves the accuracy of the
approximation.

10

Other normal approximations

The Camp-Paulson approximation for the binomial distribution function also uses a normal
distribution but requires a non-linear transformation of the argument. The result is an
approximation that can be one or two orders of magnitude more accurate.
See also notes on the normal approximation to the beta, gamma, Poisson, and student-t
distributions.

Camp-Paulson normal approximation to the binomial distribution

If X ~ Binomial(n, p) the Central Limit Theorem provides an approximation to the CDF FX. This
approximation is given by
FX(k) ((k + 0.5 - np)/ (npq)).
Here is the CDF of a standard normal (Gaussian) random variable and q = 1-p. The central
limit theorem approximation is studied in these notes. The Camp-Paulson approximation
improves on the classical approximation by using a non-linear transformation of the argument k.
This approximation uses

FX(k) ((c - )/)

where
c = (1-b)r1/3,
= 1 - a,
= (br2/3 + a),
a = 1/(9n-9k),
b = 1/(9k+9), and
r = (k+1)(1-p)/(np-kp).
Johnson and Kotz prove that the error in the Camp-Paulson approximation is never more than
0.007/ (npq). The Camp-Paulson approximation is often one or two orders of magnitude more
accurate than the classical approximation arising directly from the Central Limit Theorem.
For more information, see "Some Suggestions for Teaching About Normal Approximation to
Poisson and Binomial Distribution Functions" by Scott M. Lesch and Daniel R. Jeske, The
American Statistician, August 2009, Vol 63, No 3.
See also notes on the normal approximation to the beta, binomial, gamma, and student-t
distributions.
Saran :
Untuk Anda yang tertarik pada pendekatan hampiran Normal, Anda dapat mulai membaca dari
artikel (lama) dari Peter Hall, Improving the normal approximation when constructing one-side
confidence intervals for binomial or Poisson parameters, Biometrika (1982), 60, 3, pp 647-652

11

12