Pertemuan 01-02 - Regresi Linier Sederhana

Regresi LinierSederhana
RudiSalam
Sekolah Tinggi Ilmu Statistik
rudisalam@stis.ac.id 1
Outline
1. Hubungan antara variabel
2. Modelregresi dan kegunaannya
3. Modelregresi liniersederhana dengan distribusi
erroryangtidak ditentukan
4. Datapada analisis regresi
5. Overviewanalisis regresi
6. Estimasi fungsi regresi
7. Estimasi varians error
8. Modelregresi dengan errornormal
Pengantar
Analisisregresiadalahmetodologistatistikyang
memanfaatkanhubunganantaraduaataulebih
variabelkuantitatifsehinggasuatu responatau
variabel outcome dapatdiprediksidariyanglain.
Metodologiinisecaraluasdigunakandalam
bisnis,ilmuilmusosialdanperilaku,ilmu
biologi,dandisiplinilmulainnya.
Pengantar
Beberapa contoh aplikasi:
Penjualanprodukdapatdiprediksidengan
memanfaatkanhubunganantarapenjualandanjumlah
pengeluaraniklan.
Kinerjakaryawanpadapekerjaandapatdiprediksi
denganmemanfaatkanhubunganantarakinerjadan
sederetan tesbakat.
Ukurankosakataanakdapatdiprediksidengan
memanfaatkanhubunganantaraukurankosakatadan
usiaanakdanjumlahpendidikanorangtua.
Lamatinggaldirumahsakitdari pasienbedahdapat
diprediksidenganmemanfaatkanhubunganantara
waktudirumahsakitdantingkatkeparahanoperasi.
1
HUBUNGANANTARAVARIABEL
Pengantar
Konsephubunganantaraduavariabel, seperti
antarapendapatandanpengeluaran,adalah
salahsatuyang bentuk hubungan yang umum.
Akandibedakanantarahubunganfungsional
(hubungan matematis) danhubunganstatistik
(hubungan probabilistik).
Hubungan Fungsional
Suatu hubunganfungsionalantaradua
variabeldinyatakandenganrumus
matematika.
JikaXadalah variabelindependen danY
adalah variabeldependen,hubungan
fungsionalnya berbentuk:
Y f X
Hubungan Fungsional
Contoh:
Misalkan terdapat hubungan antara nilai
penjualan suatu produk dengan harga tetap (Y)
dengan banyaknya unityangterjual (X).Jika
harga jual perunitnya adalah $2,hubungan
tersebut dituliskan dalam persamaan:
Y=2X
Hubungan Fungsional
Grafik hubungan fungsional
Banyaknya unitterjual dan dollar
penjualan selama tiga periode
terakhir adalah (dengan harga
tetap $2):
Terlihat bahwa semua titik berada pada garis hubungan

fungsional.Ini adalah karakteristik semua hubungan fungsional.
Hubungan Statistik
Tidak seperti hubungan fungsional,hubungan
statistik bukanlah hubungan yangsempurna.
Bentuk hubungannya :Y=f(X)+
Secara umum,observasi pada hubungan
statistik tidak jatuh secara tepat pada kurva
hubungan.
Hubungan Statistik
Contoh 1:
Suatu spareparttertentu diproduksi oleh Westwood
Companysebulan sekali dalam lotdengan bermacam
ukuran sesuai permintaan.Berikut adalah dataukuran
lot(Xi)dan jumlah jamkerja (Yi)untuk 10produksi
terakhir dengan kondisi yangsama.
i 1 2 3 4 5 6 7 8 9 10
Xi 30 20 60 80 40 50 60 30 70 60
Yi 73 50 128 170 87 108 135 69 148 132
Hubungan Statistik
Scatterdiagram/plot
Jamkerja dibuat sebagai variabel
respon Ydan lotsizesebagai
variabel independen atau prediktor
X.
Dalam terminologi statistik,tiap
tiap titik pada scatterplotmewakili
suatu observasi atau percobaan.
Darigambar sangat terlihat bahwa
terdapat hubungan antara lotsize
dan jamkerja.
Semakin besar lotsize,semakin
lamajamkerja
Hubungan Statistik
Scatterplot+garis hubungan
Garis hubungan memberikan
indikasi kecenderungan
umum dimana jamkerja
bervariasi dengan perubahan
lotsize.
Sebagian besar datatidak
berada secara tepat pada
garis hubungan statistik.
Hubungan Statistik
Scatterplot+garis hubungan
Titiktitik scatterdisekitar
garis mewakili variasi jam
kerja yangtidak berhubungan
dengan ukuran lot,dan
biasanya dinyatakan sebagai
sesuatu dengan sifat random.
Hubungan statistik bisa sangat
bermanfaat walaupun tidak
mempunyai ketepatan
hubungan fungsional.
Hubungan Statistik
Contoh 2:
Gambar berikut memperlihatkan dataumur dan level
steroiddari 17wanita sehat umur 8sd 25tahun.
Hubungan Statistik
Datasangat menunjukkan bahwa hubungan
statistik adalah curvelinear (tidak linier).
Seiring bertambah umur,levelsteroidjuga
meningkat sampai suatu titik dan kemudian
menurun.
Titiktitik disekitar kurva hubungan statistik
merupakan tipikal hubungan statistik.
ModelRegresi adalah modelstokhastik.
2
MODELREGRESIDAN
KEGUNAANNYA
Sejarah
AnalisisregresipertamakalidikembangkanolehSir
FrancisGaltondiakhirabadke19.Galtontelah
mempelajarihubunganantaratinggiorangtua dan
anakdanmencatatbahwatinggianakbaik yang
tinggiataupun pendektampaknya"kembali"atau
regress"pada rataratakelompok.Iamenilai
kecenderunganinimenjadiregresiuntuk"biasa
biasasaja."Galtonmengembangkandeskripsi
matematiskecenderungan dari regresiini dan
menjadi cikalbakalmodelregresisekarang.
Konsep Dasar
Suatu modelregresiadalahcaraformaluntuk
mengungkapkanduaunsurpentingdari
hubunganstatistik:
1. Suatu kecenderunganvariabelresponY
untuk bervariasi denganvariabelprediktorX
secarasistematis.
2. Suatu scattering titiktitik disekitarkurva
hubunganstatistik.
Konsep Dasar
Keduakarakteristik ini diwujudkandalammodel
regresidenganmendalilkanbahwa:
1. Pada populasi observasi yangberhubungan
dengan prosespenyampelan,terdapat
distribusipeluang Yuntuktiaptiap leveldari
X.
2. Rataratadari distribusi peluang inibervariasi
dalambeberapacarayangsistematisdengan
X.
Konsep Dasar
Contoh:
Perhatikan kembali datawestwood company.
Jumlah jamkerja Ydiperlakukan pada model
regresi sebagai variabel random.
Untuk tiaptiap ukuran lot(tiaptiap nilai X),
dipostulatkan distribusi peluang dari Y.
Konsep Dasar
Gambar distribusi peluang Yuntuk beberapa X
Tampak distribusi
peluang Ypada saat
X=30.Nilai aktual dari Y
dilihat sebagai pilihan
randomdari distribusi
peluang ini.
Grafik fungsi regresi
dinamakan kurva regresi.
Konsep Dasar
Ingat bahwa rataratadari distribusi peluang
mempunyai hubungan sistematik dengan level
dari X.
Hubungan sistematik ini dinamakan fungsi
regresi Yterhadap X.
Untuk fungsi regresi yanglinier,berimplikasi
bahwa nilai ekspektasi dari Ybervariasi secara
linierdengan X.
Konsep Dasar
Pada suatu nilai Xtertentu akan terdapat banyak
kemungkinan nilainilai Y(Yakan terdistribusi
mengikuti suatu fungsi peluang tertentu Distribusi
Normal)dengan Nilai ratarataE(Y)dan Nilai varians
2 tertentu
Nilai ratarataE(Y)diasumsikan berubah secara
sistematik mengikuti perubahan nilai X,yang
digambarkan dalam bentuk garis linier
Nilai varians 2pada setiap nilai Xakan sama
ModelRegresi
MODELREGRESI Misal:
AcaknyaYdisebabkan X Y UntukX=1
karenaacaknyaeror 1 3
1 3,4
1 2,8
Bentuk sebaran Y=bentuk 2 5 2,83,03,4Y
sebaran eror 2 5,4
2 4,7
UntukX=2
Memeriksabentuksebaran
Y=memeriksabentuk
sebaraneror
4,75,05,4Y
ModelRegresi
Y
Y 2,8 3 3,4 4,7 5 5,4 6,6 7 7,3 8,5 9 9,3
X 1 1 1 2 2 2 3 3 3 4 4 4
Data
Dosis
Pupuk Rataan Y=1+2X NilaiHarapan
NilaiTengah
ModelRegresi
GARISREGRESI
Y 9
7 Persamaan Garis Regresi
5 Y=1+2X
3
MODELREGRESI
1
X Y 1 2X
0 1 2 3 4
Konsep Dasar
Gambar untuk modelregresi yangtidak linier.
1.28
Konsep Dasar
Modelregresi bisa berbeda dalam bentuk fungsi
regresinya seperti pada gambar (yanglinierdan tidak
linier),dalam bentuk distribusi peluang dari Y,dan hal
lainnya.
Apapun variasinya,konsep distribusi peluang dari Yjika
diketahui Xmerupakan pasangan formaldari scatter
empiris dalam hubungan statistik.
Dengan cara yangsama,kurva regresi,yang
menggambarkan hubungan antara rataratadistribusi
peluang dan X,merupakan pasangan dari
kecenderungan umum Yuntuk bervariasi dengan X
secara sistematis dalam hubungan statistik.
Membangun ModelRegresi
1. Pemilihan Variabel Independen
2. Bentuk Fungsional dari Hubungan Regresi
3. Jangkauan Model
1.30
Pemilihan Variabel Independen
Ketika modeldibuat,maka kita akan mereduksi
kenyataan,sehingga hanya variabel bebas tertentu
yangbisa dimasukkan ke dalam modelregresi.
Masalah utamanya adalah memilih sekumpulan
variabel bebas yangbaikuntuk kepentingan analisis.
Pertimbangan utama dalam menentukan variabel
terpilih adalah memilih variabel yangmempunyai
kontribusi dalam mengurangi variasi yangtersisa pada
Ysetelah ada variabel bebas lainyangtelah masuk
dalam modelregresi.
Adanya hubungan kausal.
Bentuk Fungsional dari Hubungan
Regresi
Pilihan bentuk fungsional dari hubungan
regresi terikat dengan pilihan variabel bebas.
Teori yangrelevan bisa mengindikasikan
bentuk fungsional yangtepat.
Seringnya,bentuk fungsional hubungan
regresi tidak diketahui secara advance(secara
teori hubungannya sangat kompleks),tapi
fungsi regresi linieratau kuadratik bisa
digunakan sebagai pendekatan.
Jangkauan Model
Cakupan modeldibatasi berdasarkan interval
nilai dari variabel bebas.
Jangkauan ditentukan baik oleh desain
investigasi atau rentang dari datayang
dimiliki.
Misal rentang nilai xadalah $4.95sampai
$6.95,maka jangkauan dari modelterbatas
pada rentang dari mendekati $5sampai
mendekati $7.
Kegunaan Analisis Regresi
Analisisregresimempunyai tigatujuanutama:
(1) Deskripsi
(2) Kontrol
(3) Prediksi
Dalam praktik,beberapatujuananalisisregresi
seringnya overlap.
Kegunaan Analisis Regresi
Contoh overlappada datawestwood:
Pengetahuan mengenai hubungan antara jam
kerja dan lotsizepada produksi yangsudah
dilakukan memungkinkan manajemen
memprediksi jamkerja untuk produksi
berikutnya,untuk estimasi biaya dan jadwal
produksi.
Setelah produksi selesai,manajemen dapat
membandingkan jamkerja sesungguhnya dengan
jamkerja hasil prediksi sebagai kontrol
administrasi
Regresi dan Kausalitas
Meskipun analisis regresi berkaitan dengan
ketergantungan dari suatu variabel kepada
variabel lain,tidak berarti bahwa hal itu
merupakan hubungan sebab akibat (causation).
Sebuah hubungan statistik,meskipun kuat dan
sugestive,akan tetapi tidak pernah dapat
membentuk suatu hubungan sebab akibat,
karena hubungan sebab akibat berasal dari teori
atau sumber lain.
Jadi sebuah hubungan statistik tidak dapat
dilogika sebagai hubungan sebab akibat.
Untuk menggambarkan hubungan sebab
akibat (kausalitas),kita harus menggunakan
teori terlebih dahulu.Atau contoh lainyaitu
bahwa kita mengatakan pengeluaran
tergantung dari pendapatan adalah
berdasarkan teori ekonomi (bukan
pertimbangan statistik).
Akantetapi,analisis regresi juga berdasarkan
asumsi bahwa modelyangdigunakan dalam
analisis adalah sebuah modelyangbenar.
Oleh karena itu,arah hubungan sebab akibat
tersirat secara implisit dalam bentuk model
yangdipostulatkan (postulat:pernyataan yang
dianggap benar,sampai ada bukti yang
menyatakan bahwa pernyataan itu salah atau
aksioma).
Regresi dan Korelasi
Analisis korelasi berkaitan erat dengan regresi,
tetapi secara konsep berbeda dengan analisis
regresi.
Analisis korelasi adalah mengukur suatu
tingkat atau kekuatan hubungan linearantara
dua variabel.Koefisien korelasi adalah
mengukur kekuatan hubungan linear.
Analisis regresi mencoba untuk mengestimasi
atau memprediksikan nilai rataratasuatu
variabel yangsudah diketahui nilainya,
berdasarkan suatu variabel lainyangjuga
sudah diketahui nilainya.
Setiap regresi pasti ada korelasinya,tetapi
korelasi belum tentu dilanjutkan dengan
regresi.
Korelasi yangtidak dilanjutkan dengan regresi,
adalah korelasi antara dua variabel yangtidak
mempunyai hubungan kausal/sebab akibat,
atau hubungan fungsional.
Untuk menetapkan kedua variabel
mempunyai hubungan kausal atau tidak,maka
harus didasarkan pada teori atau konsep
konsep tentang dua variabel tersebut.
3
MODELRLSDENGANDISTRIBUSI
ERRORYANGTIDAKDITENTUKAN
Pernyataan FormalModel
Bentuk modelRLS: Yi 0 1 X i i ,
Dimana:
Yi adalah nilai variabel respon pada percobaan ke i
0 dan 1 adalah parameter
X i adalah konstanta, nilai variabel prediktor pada percobaan ke i
i adalah error random dengan rata-rata E i 0
dan varians 2 i 2 ; i dan j tidak berkorelasi sehingga
kovarian i , j 0 untuk semua i, j; i j
i 1, 2,3, , n
FeaturePenting dari Model
1. Respon Yipada percobaan kei merupakan
penjumlahan dari dua komponen :
(i) suatu konstanta 0 1 X i dan
i
(ii) errorterm.
Sebab itu,Yimerupakan variabel random.
2. Karena E i 0 ,maka
E Yi E 0 1 X i i 0 1 X i E i 0 1 X i
Dengan demikian,respon Yi,ketika levelX
pada percobaan kei adalah Xi,berasal dari
distribusi peluang yangrataratanya adalah
E Yi 0 1 X i
2. (Lanjutan)
Karena itu kita tahu bahwa fungsi regresi
Yi 0 1 X i i
untuk modeladalah
E Y 0 1 X karena fungsi regresi
menghubungkan rataratadistribusi peluang
dari Yjika diketahui Xpada levelX.
3. Respon Yipada percobaan kei berada diatas
atau dibawah nilai fungsi regresi oleh jumlah
errori.
4. Errortermi diasumsikan mempunyai
varians yangkonstan 2.Karena itu,respon
Yimempunyai varians konstan yangsama:
2 Yi 2
4. (Lanjutan)
Dariteorema ttg varians,maka
2 0 1 X i i 2 i 2
Yi 0 1 X i i
Dengan demikian,model
mengasumsikan bahwa distribusi peluang Y
mempunyai varians yangsama 2,tanpa
melihat leveldari variabel independen X.
5. Errortermdiasumsikan tidak berkorelasi.
Sebab itu,outcomepada satu sembarang
percobaan tidak mempunyai pengaruh pada
errortermuntuk sembarang percobaan
lainnya,apakah itu positif atau negatif,kecil
atau besar.Karena errortermi dan jtidak
berkorelasi,maka demikian juga dengan Yi
dan Yj.
6. Secara ringkas,modelregresi Yi 0 1 X i i
menunjukkan bahwa respon Yiberasal dari
distribusi peluang yangmempunyai ratarata
E Yi 0 1 X i dan varian 2,sama untuk
semua levelX.Lebih lanjut,sembarang dua
observasi Yidan Yj adalah juga tidak
berkorelasi.
Contoh
Misal modelregresi Yi 0 1 X i i bisa
diterapkan untuk datawestwood company
dengan hasil seperti berikut:
Yi 9,5 2,1X i i
Gambar berikut menyajikan fungsi regresi
E Y 9,5 2,1X
Contoh
Ilustrasi modelregresi linier Yi 0 1 X i i
Contoh
Misalkan pada percobaan kei ,suatu lot
dengan nilai Xi=45unitdiproduksi dan nilai
aktual dari jamkerja adalah Yi=108.Dalam
kasus ini,nilai erroradalah i =+4
E Yi 9,5 2,1 45 104
dan
Yi 108 104 4
Contoh
Gambar juga menampilkan distribusi peluang dari
Yketika X=45,dan mengindikasikan dari mana
pada distribusi ini observasi Yi=108berasal.
Catat lagi bahwa errori adalah deviasi Yidari
nilai rataratanya E{Yi}.
Gambar juga menampilkan distribusi peluang dari
Yketika X=25.
Ingat bahwa distribusi ini menunjukkan
variabilitas yangsama seperti distribusi peluang
ketika X=45.
Arti ParameterRegresi
Parameter0 dan 1 pada modelregresi disebut
koefisien.
1adalah slope dari garis regresi.Dia
mengindikasikan perubahan pada ratarata
distribusi peluang Ysetiap peningkatan Xper
unit/satuan.
0adalah intersep dari garis regresi.Jika scope
modelmenyertakan X=0,0 mempunyai arti
distribusi peluang Ypada X=0.ketika scopemodel
tidak memuat X=0,0 tidak mempunyai arti
tertentu.
Arti ParameterRegresi
Gambar arti parameterregresi
Bentuk LainModelRegresi
Jika X0 adalah variabel dummydengan nilai 1,
maka modelregresi liniersederhana
Yi 0 1 X i i
bisa dituliskan dalam bentuk
Yi 0 X 0 1 X i i dimana X 0 1
Bentuk LainModelRegresi
Bentuk lainyangbisa dibuat adalah
menggunakan X i X :
Yi 0 1 X i i
0 1 X i 1 X 1 X i
0 1 X i X 1 X i
0 1 X 1 X i X i
0* 1 X i X i
4
DATAPADAANALISISREGRESI
1.59
DataPada Regresi
Datapada analisis regresi bisa diperoleh dari
noneksperimental maupun eksperimental.
Datanoneksperimental dataobservasi
Dataeksperimental rancangan acak
lengkap
5
OVERVIEWANALISISREGRESI
1.61
Strategi
Analisis Regresi
6
ESTIMASIFUNGSIREGRESI
Mendapatkan Data
Biasanya kita tidak mengetahui nilai
parameterregresi 0 dan 1,dan perlu
melakukan estimasi terhadap keduanya
dengan menggunakan datasampel.
Datasampel bisa diperoleh dengan cara
eksperimen maupun noneksperimen.
Data(X,Y)adalah berpasangan.
Metode LeastSquares
Untuk mendapatkan goodestimator dari
parameterregresi 0 dan 1,akan digunakan
metode leastsquares.
Untuk tiaptiap observasi sample(Xi,Yi),
metode leastsquaresmenggunakan deviasi
dari Yi terhadap nilai ekspektasinya:
Yi 0 1 X i
Metode LeastSquares
Secara khusus,metode leastsquares
merupakan penjumlahan dari deviasi kuadrat
sebanyak n.
Kriteria ini dinyatakan dengan Q,dimana
n
Q Yi 0 1 X i
2
i 1
Metode LeastSquares
Menurut metode leastsquares,estimatordari
0 dan 1 masingmasing adalah b0 dan b1,
yangmeminimumkan kriteria Qdari observasi
sampel (Xi,Yi).
Dalam arti tertentu,estimatorb0 dan b1 akan
memberikangoodfit pada fungsiregresi
linear.
EstimatorLeastSquares
Estimatorb0 dan b1 yangmemenuhi kriteria
leastsquaresdapat dicari dengan dua cara:
1) prosedur pencarian numerik
2) pendekatan analitik.
Prosedur pencarian numerik digunakan untuk
melakukan evaluasi secara sistematis kriteria
leastsquaresQuntuk estimatorb0dan b1
yangberbedabeda sampai ditemukan nilai
yangmeminimunkan Q.
Pendekatan analitik :mencari nilai b0dan b1
yangmeminimumkan Qsecara analitik.
Pendekatan analitik lebih mudah dikerjakan
jika modelregresinya secara matematika tidak
kompleks.
Dapat ditunjukkan bahwa nilai b0 dan b1 yang
meminimumkan Quntuk sembarang
himpunan tertentu dari datasampel adalah
persamaan simultan berikut:
Y nb b X
i 0 1 i (a)
X Y b X b X
i i 0 i 1 i
2
(b)
Persamaan (a)dan (b)dinamakan persamaan

normal.
b0 dan b1 dinamakan estimatortitik dari 0
dan 1.
Kuantitas Xi,yi dan yanglainnya dihitung
dari observasi sampel (Xi,Yi).
Persamaan (a)dan (b)dapat diselesaikan
secara simultan untuk mencari b0dan b1
dengan kalkulus.
Jika diketahui observasi sampel (Xi,Yi),
kuantitas Qadalah fungsi dari 0dan 1.
Nilai 0dan 1yangmeminimumkan Qdapat
dilakukan dengan menurunkan Qterhadap 0
dan 1.
Q
2 Yi 0 1 X i
0
Q
2 X i Yi 0 1 X i
1
Turunan dibuat sama dengan nol dan dengan
menggunakan b0 dan b1 sebagai nilai khusus
dari 0 dan 1,diperoleh
2 Yi b0 b1 X i 0 Yi b0 b1 X i 0
Y nb b X 0
i 0 1 i
2 X i Yi b0 b X 0 X Y b b X 0
1 i i i 0 1 i
X Y b X b X
i i 0 i 1 i
2
0
Nilai b1 dan b0 yangdiperoleh adalah:
XY X Y
X X Y Y
i i
i i
b1 n
i i
Xi X X
2 2
i
2 i
X
n
b0 Yi b1 X i Y b1 X
1
n
Dimanadan
X Y adalah rataratadari
observasi Xidan Yi.
Sifat EstimatorLeastSquares
Teorema GaussMarkovmenyatakan:
Dibawah kondisi modelregresi Yi 0 1 X i i ,
estimatorleastsquaresb0 dan b1 adalah
unbiaseddan mempunyai varians yang
minimumdiantara semua estimatorlinier
yangunbiased.
Sehingga dari teorema ini dapat dinyatakan,
pertama: E b0 0
E b1 1
Kedua,teorema menyatakan bahwa distribusi
samplingdari b0 dan b1 mempunyai
variabilitas yanglebih kecil dibandingkan
dengan estimatorapapun yangdimiliki oleh
kelas estimatortertentu.
Sehingga estimatorleastsquaresakan lebih
presisi.
Kelas estimatordimanaestimatorleast
squaresadalah yangterbaikterdiri dari
semua estimatoryangunbiasedyang
merupakan fungsi linierdari observasi Y1,Y2,
,Yn.
Estimatorb0dan b1adalah fungsi linierdari
Yi.
Misalkan diketahui: b1
X X Y Y
i i
X X
2
i
Dapat dibuktikan bahwa

b1
X i X Yi
kiYi
akan ekivalen dengan
X X
2
i
Xi X
dimana ki
X X
2
i
Karena ki adalah konstanta (Xi juga konstanta),b1

adalah kombinasi linierdari Yidan sehingga
merupakan estimatoryanglinier(demikan juga b0).
Contoh
DataWestwoodCompany
ProductionRun,i LotSize,Xi ManHours,Yi
1 30 73
2 20 50
3 60 128
4 80 170
5 40 87
6 50 108
7 60 135
8 30 69
9 70 148
10 60 132
Contoh
Kalkulasi dasar untuk mendapatkan b0dan b1
Yi Xi XiYi Xi^2
73 30 2190 900
50 20 1000 400
128 60 7680 3600
170 80 13600 6400
87 40 3480 1600
108 50 5400 2500
135 60 8100 3600
69 30 2070 900
148 70 10360 4900
132 60 7920 3600
Total 1100 500 61800 28400
Contoh
Hasil:
Jadi,kita mengestimasi bahwa rataratajam

kerja meningkat sebesar 2jamuntuk tiap unit
peningkatan pada lotsize.
Estimasi Titik MeanRespon
Jika diketahui b0 dan b1 adalah estimator
parameterdari fungsi regresi E Y 0 1 X ,
maka estimasi fungsi regresinya adalah
Y b0 b1 X
Y
Dimana(baca Yhat/topi)adalah nilai
estimasi fungsi regresi pada levelvariabel
independen X.
Nilainilai pada variabel respon disebut respon
dan E(Y) disebut sebagai meanrespon.
Meanrespon adalah meandistribusi peluang
Yyangbersesuaian dengan levelXdari
variabel independen.
Y adalah estimasi titik dari meanrespon
ketika leveldari variabel independennya
adalah X.
Y adalah estimatoryangtidak biasdari E(Y)
dan mempunyai varians yangminimum.
Yi
Untuk observasi pada sampel,merupakan
nilai fitpada observasi kei sedangkan Yi
merupakan nilai observasi.
Contoh:
Daridatawestwood,b0 =10dan b1 =2
Sehingga estimasi fungsi regresinya adalah
Y 10.0 2.0 X
Contoh (lanjutan):
jika kita mencari rataratajamkerja ketika lot
sizeX=55,estimasi titiknya adalah:
Y 10, 0 2, 0 55 120
Jadi,kita mengestimasi bahwa rataratajam
kerja untuk prosesproduksi dengan X=55unit
adalah 120jam.
Residual
Residualkei adalah perbedaan antara nilai
Yi
observasi Yi dan nilai fityangbersesuaian.
Disimbolkan dengan ei.
ei Yi Yi Yi b0 b1 X i
Besaran residualditunjukkan oleh garis
vertikal antara nilai observasi Yi dan nilai fit Yi
pada estimasi garis regresi.
Residual
Penghitungan residual
Residual
Gambar residualuntuk
contoh Westwood
Company
Residual
Perlu dibedakan antara modelnilai errordan
residual.
i Yi E Yi dan ei Yi Yi
Pada error,deviasi adalah antara Yidan garis
regresi populasi yangtidak diketahui sehingga
nilai i tidak diketahui.
Pada residual,deviasi adalah antara Yidan
garis regresi fitsehingga ada nilainya.
Sifat Garis Regresi Fit
Garis regresi fityangdiperoleh dari metode least
squaremempunyai beberapa sifat yangperlu
diketahui:
1. Penjumlahan
n
dari residualadalah nol.
e
i 1
i 0
2. Sumsquareresidualadalah minimum.
n
i minimum
e 2
i 1
3. Penjumlah nilai observasi Yisama dengan
Yi
penjumlahan nilai fit.
n n
i i
Y
i 1
Y
i 1
Yi
Sebab itu,rataratasama dengan ratarata
Yiyaitu Y .
4. Penjumlahan residualtertimbang adalah nol
ketika residualpada percobaan kei
ditimbang dengan levelvariabel independen
percobaan kei.
n
X e
i 1
i i 0
5. Penjumlahan residualtertimbang adalah nol
ketika residualpada percobaan kei
ditimbang dengan nilai fitdari variabel
respon pada percobaan kei.
n
i ei 0
Y
i 1
6. Garis regresi selalu
melewati titik X , Y .
Gambar untuk
datawestwood
company
7
ESTIMASIVARIANSERROR
Estimasi Varians Error
Varians error2 perlu diestimasi untuk
berbagai maksud.
Seringnya,kita ingin mengetahui indikasi
variabilitas dari distribusi peluang Y.
Berbagai macam inferensia yangberhubungan
dengan fungsi regresi dan prediksi dari Y
membutuhkan estimasi varians 2.
Estimasi Titik dari 2
Ingat varians sampel populasi tunggal:
n
Y Y
2
i
sum of squares
s
2 i 1
mean square
n 1 derajat bebas
Sampel varians sering disebut meansquare.

Logika mencari estimatordari 2 pada model
regresi adalah sama seperti pada populasi
tunggal.
Ingat varians tiaptiap Yiadalah Yi
2 2
Ingat varians tiaptiap i adalah i

2 2
Pertama kita hitung sumsquaredeviasi dari Yi,

tetapi ingat bahwa Yiberasal distribusi
peluang yangberbeda dan dengan ratarata
yangberbeda,yangtergantung pada levelXi.
Jadi,deviasi dari observasi Yidihitung di
sekitar estimasi rataratanya, Yi
Sebab itu,deviasi Yiadalah residual:
Yi Yi ei
Sumsquaredari residualnya adalah

n n n
SSE Yi Yi Yi b0 b1 X i ei2
2 2
i 1 i 1 i 1
Derajat bebas yangberhubungan dengan SSE

adalah n2.
Derajat bebas hilang dua karena untuk
mendapatkan Yihattelah dilakukan estimasi
terhadap 0 dan 1.
Meansquaredari residualadalah:

n n n
Yi b0 b1 X i i
2
Yi Yi
2 2
e
SSE
MSE i 1
i 1
i 1
n2 n2 n2 n2
Dapat ditunjukkan bahwa MSEadalah

estimatorunbiaseddari 2 E MSE 2
Contoh pada datawestwood company:
SSE=60
Df =10 2=8
MSE=60/8=7.5
Estimasi titik yaitu standar deviasi dari
distribusi peluang Yuntuk sembarang X,
adalah 7,5=2,74jam.
8
MODELREGRESIDENGANERROR
NORMAL
Asumsi
Apapun bentuk fungsional dari distribusi i
dan Yi,metode leastsquaremenghasilkan
estimatortitik yangtidak biasbagi 0dan 1
dan mempunyai varians yangminimum
diantara semua estimatorliniertidak bias.
Asumsi bentuk fungsional dari distribusi i
adalah normal.
ModelRegresi
dengan ErrorNormal
Modelregresi dengan errornormal:
Yi 0 1 X i i
Dimana:
Yi adalah nilai variabel respon pada percobaan ke i
0 dan 1 adalah parameter
X i adalah konstanta, level variabel independen
pada percobaan ke i
i adalah independen N 0, 2
i 1, 2,3, , n
ModelRegresi
dengan ErrorNormal
Beberapa komentar:
i adalah variabel randomnormal
independen.
Karena i normalindependen,berimplikasi
pada Yidimana Yimerupakan variabel random
normalindependen.
RatarataYiadalah E Yi 0 1 X i
Varians Yiadalah V Yi 2
Estimasi Parameterdengan Metode
Maksimum Likelihood
Ketika bentuk fungsional dari distribusi
peluang errordiketahui,estimatordari
parameter0,1,dan 2 dapat diperoleh
dengan metode maksimum likelihood.
Metode ini memanfaatkan distribusi peluang
gabungan dari observasi sampel.
Ketika distribusi peluang gabungan dilihat
sebagai fungsi dari parameter,berdasarkan
observasi sampel tertentu,dinamakan fungsi
likelihood.
Maksimum Likelihood
Fungsi maksimum likelihooduntuk model
dengan errornormaldengan observasi sampel
Y1,Y2,,Yn adalah
Maksimum Likelihood
Nilai 0,1,dan 2 yangmemaksimumkan
fungsi likelihoodadalah estimatormaksimum
likelihood.
Estimatortersebut yaitu:
Parameter Estimatormaksimum likelihood
0 b0 Sama dengan
1 b1 metode leastsquare
Yi Yi
n
2 2 1 2
bias
n i 1
Beberapa Komentar
1. Karena b0dan b1hasil MLEdan OLSadalah
sama,maka properti OLSjugaakan melekat
pada MLE,yaitu:
Unbiased
Mempunyai varians minimumdiantara
semua estimatorlinieryangunbiased
Beberapa Komentar
2. Properti tambahan estimatorb0dan b1hasil
MLE:
Konsisten
Sufficient
Varians adalah minimumdalam suatu kelas
dari semua estimatoryangunbiased(linier
atau yanglain)
Beberapa Komentar
3. Nilai estimasi dari 0,0,dan 2yang
memaksimumkan fungsi likelihood
L( 0 , 1 , )
2
dengan menurunkan fungsi likelihood

tersebut terhadap parameteryangingin
diestimasi 0,0,dan 2dan membuatnya
sama dengan nol.
Soal
Soal

Pertemuan 01-02 - Regresi Linier Sederhana

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Pertemuan 01-02 - Regresi Linier Sederhana

Diunggah oleh

Hak Cipta:

Format Tersedia

Regresi LinierSederhana

Sekolah Tinggi Ilmu Statistik

Sekolah Tinggi Ilmu Statistik

Terlihat bahwa semua titik berada pada garis hubungan

Sekolah Tinggi Ilmu Statistik

7 Persamaan Garis Regresi

Sekolah Tinggi Ilmu Statistik

Sekolah Tinggi Ilmu Statistik

Sekolah Tinggi Ilmu Statistik

Sekolah Tinggi Ilmu Statistik

Persamaan (a)dan (b)dinamakan persamaan

Dapat dibuktikan bahwa

Karena ki adalah konstanta (Xi juga konstanta),b1

Jadi,kita mengestimasi bahwa rataratajam

Sekolah Tinggi Ilmu Statistik

Sampel varians sering disebut meansquare.

Ingat varians tiaptiap i adalah i

Pertama kita hitung sumsquaredeviasi dari Yi,

Derajat bebas yangberhubungan dengan SSE

Dapat ditunjukkan bahwa MSEadalah

Sekolah Tinggi Ilmu Statistik

dengan menurunkan fungsi likelihood

Anda mungkin juga menyukai