REGRESI LINEAR

SEDERHANA

Hendro Widjanarko
Manajemen
UPN “Veteran” Yogyakarta
Latar Belakang

 Terdapat kejadian– kejadian , kegiatan-

kegiatan, atau masalah- masalah yang saling
berhubungan satu sama lain
 Dibutuhkan analisis hubungan antara
kejadian tersebut
 Perlu dibahas mengenai bentuk hubungan
yang ada atau diperkirakan ada antara kedua
peubah tersebut
Pengertian
 Untuk mengukur besarnya pengaruh variabel bebas terhadap
variabel tergantung dan memprediksi variabel tergantung dengan
menggunakan variabel bebas. Gujarati (2006) mendefinisikan
analisis regresi sebagai kajian terhadap hubungan satu variabel
yang disebut sebagai variabel yang diterangkan (the explained
variabel) dengan satu atau dua variabel yang menerangkan (the
explanatory). Variabel pertama disebut juga sebagai variabel
tergantung dan variabel kedua disebut juga sebagai variabel
bebas. Jika variabel bebas lebih dari satu, maka analisis regresi
disebut regresi linear berganda. Disebut berganda karena
pengaruh beberapa variabel bebas akan dikenakan kepada
variabel tergantung.
Tujuan

Tujuan menggunakan analisis regresi ialah

 Membuat estimasi rata-rata dan nilai variabel
tergantung dengan didasarkan pada nilai
variabel bebas.
 Menguji hipotesis karakteristik dependensi

 Untuk meramalkan nilai rata-rata variabel

bebas dengan didasarkan pada nilai variabel
bebas diluar jangkaun sample.
Asumsi
Penggunaan regresi linear sederhana didasarkan pada asumsi
diantaranya sbb:
 Model regresi harus linier dalam parameter

 Variabel bebas tidak berkorelasi dengan disturbance term (Error)

.
 Nilai disturbance term sebesar 0 atau dengan simbol sebagai
berikut: (E (U / X) = 0
 Varian untuk masing-masing error term (kesalahan) konstan

 Tidak terjadi otokorelasi

 Model regresi dispesifikasi secara benar. Tidak terdapat bias

spesifikasi dalam model yang digunakan dalam analisis empiris.
 Jika variabel bebas lebih dari satu, maka antara variabel bebas
(explanatory) tidak ada hubungan linier yang nyata
Persyaratan Penggunaan Model
Regresi
Model kelayakan regresi linear didasarkan pada hal-hal sebagai
berikut:
 Model regresi dikatakan layak jika angka signifikansi pada
ANOVA sebesar < 0.05
 Predictor yang digunakan sebagai variabel bebas harus layak.
Kelayakan ini diketahui jika angka Standard Error of Estimate <
Standard Deviation
 Koefesien regresi harus signifikan. Pengujian dilakukan dengan
Uji T. Koefesien regresi signifikan jika T hitung > T table (nilai
kritis)
 Tidak boleh terjadi multikolinieritas, artinya tidak boleh terjadi
korelasi yang sangat tinggi atau sangat rendah antar variabel
bebas. Syarat ini hanya berlaku untuk regresi linier berganda
dengan variabel bebas lebih dari satu.
 Tidak terjadi otokorelasi. Terjadi otokorelasi jika angka Durbin dan Watson (DB)
sebesar < 1 dan > 3
 Keselerasan model regresi dapat diterangkan dengan menggunakan nilai r2
semakin besar nilai tersebut maka model semakin baik. Jika nilai mendekati 1
maka model regresi semakin baik. Nilai r2 mempunyai karakteristik diantaranya:
1) selalu positif, 2) Nilai r2 maksimal sebesar 1. Jika Nilai r2 sebesar 1 akan
mempunyai arti kesesuaian yang sempurna. Maksudnya seluruh variasi dalam
variabel Y dapat diterangkan oleh model regresi. Sebaliknya jika r2 sama
dengan 0, maka tidak ada hubungan linier antara X dan Y.
 Terdapat hubungan linier antara variabel bebas (X) dan variabel tergantung (Y)
 Varian harus berdistribusi normal
 Data berskala interval atau rasio
 Kedua variabel bersifat dependen, artinya satu variabel merupakan variabel
bebas (disebut juga sebagai variabel predictor) sedang variabel lainnya variabel
tergantung (disebut juga sebagai variabel response)
Linieritas

 Ada dua macam linieritas dalam analisis

regresi, yaitu linieritas dalam variabel dan
linieritas dalam parameter. Yang pertama,
linier dalam variabel merupakan nilai rata-
rata kondisional variabel tergantung yang
merupakan fungsi linier dari variabel
(variabel) bebas. Sedang yang kedua, linier
dalam parameter merupakan fungsi linier
parameter dan dapat tidak linier dalam
variabel.
Uji Hipotesis
 Pengujian hipotesis dapat didasarkan dengan menggunakan dua
hal, yaitu: tingkat signifikansi atau probabilitas (α) dan tingkat
kepercayaan atau confidence interval. Didasarkan tingkat
signifikansi pada umumnya orang menggunakan 0,05. Kisaran
tingkat signifikansi mulai dari 0,01 sampai dengan 0,1. Yang
dimaksud dengan tingkat signifikansi adalah probabilitas
melakukan kesalahan tipe I, yaitu kesalahan menolak hipotesis
ketika hipotesis tersebut benar. Tingkat kepercayaan pada
umumnya ialah sebesar 95%, yang dimaksud dengan tingkat
kepercayaan ialah tingkat dimana sebesar 95% nilai sample
akan mewakili nilai populasi dimana sample berasal. Dalam
melakukan uji hipotesis terdapat dua hipotesis, yaitu:
 H0 (hipotessis nol) dan H1 (hipotesis alternatif)
 Contoh uji hipotesis misalnya rata-rata
produktivitas pegawai sama dengan 10 (μ x=
10), maka bunyi hipotesisnya ialah:
 H0: Rata-rata produktivitas pegawai sama
dengan 10
 H1: Rata-rata produktivitas pegawai tidak
sama dengan 10
Hipotesis statistiknya:
 H0: μ x= 10
 H1: μ x > 10 Untuk uji satu sisi (one tailed) atau
 H1: μ x < 10
 H1: μ x ? 10 Untuk uji dua sisi (two tailed)

Beberapa hal yang harus diperhatikan dalam uji hipotesis ialah;

 Untuk pengujian hipotesis kita menggunakan data sample.
 Dalam pengujian akan menghasilkan dua kemungkinan, yaitu pengujian
signifikan secara statistik jika kita menolak H0 dan pengujian tidak signifikan
secara statistik jika kita menerima H0.
 Jika kita menggunakan nilai t, maka jika nilai t yang semakin besar atau menjauhi
0, kita akan cenderung menolak H0; sebaliknya jika nila t semakin kecil atau
mendekati 0 kita akan cenderung menerima H0.
 Menggunakan kurva untuk menguji hipotesis dapat digambarkan sebagai berikut:
a) Untuk uji dua sisi

95%

α = 2,5%
α = 2,5%
Area
penerimaan

0
a) Untuk uji sebelah kanan
95%

Area
penerimaan
α = 5%

0
 a) Untuk uji sebelah kiri

95%

Area
penerimaan
α = 5%

0
Karakteristik Model yang Baik
 Model dikatakan baik menurut Gujarati (2006), jika memenuhi beberapa kriteria
seperti di bawah ini:
 Parsimoni: Suatu model tidak akan pernah dapat secara sempurna menangkap
realitas; akibatnya kita akan melakukan sedikit abstraksi ataupun
penyederhanaan dalam pembuatan model.
 Mempunyai Identifikasi Tinggi: Artinya dengan data yang ada, parameter-
parameter yang diestimasi harus mempunyai nilai-nilai yang unik atau dengan
kata lain, hanya akan ada satu parameter saja.
 Keselarasan (Goodness of Fit): Tujuan analisis regresi ialah menerangkan
sebanyak mungkin variasi dalam variabel tergantung dengan menggunakan
variabel bebas dalam model. Oleh karena itu, suatu model dikatakan baik jika
eksplanasi diukur dengan menggunakan nilai adjusted r2 yang setinggi
mungkin.
 Konsitensi Dalam Teori: Model sebaiknya segaris dengan teori. Pengukuran
tanpa teori akan dapat menyesatkan hasilnya.
 Kekuatan Prediksi: Validitas suatu model berbanding lurus dengan kemampuan
prediksi model tersebut. Oleh karena itu, pilihlah suatu model yang prediksi
teoritisnya berasal dari pengalaman empiris.
Bentuk Hubungan ????

REGRESI
APA YANG DIUKUR DARI
HUBUNGAN TERSEBUT
 Bagaimana hubungan fungsional dua
kejadian tersebut atau bagaimana
persamaan matematis yang
mempresentasikan hubungan dua kejadian
tersebut ( analisis regresi)
 Bagaiman kekuatan atau keeratan
hubungan dua kejadian tersebut (analisis
korelasi)
Dua variabel dalam regresi

 Variabel bebas  X
 Variabel terikat  Y
UKURAN DALAM REGRESI

 Koefisien Regresi
 mengukur besarnya pengaruh X
terhadap Y
 Koefisien korelasi

 mengukur Kuat tidaknya hubungan X dan Y

UJI HIPOTESIS DALAM REGRESI

 uji keberartian koefisien regresi

 Uji keberartian model regresi / Uji linearitas
 Uji Korelasi
JENIS REGRESI LINEAR
SEDERHANA
 Linear positif
 Linear negatif
APA ITU GARIS REGRESI?

 Garis linear yang menunjukan pola hubungan

antara dua variabel misalnya variabel X dan
Y sebenarnya hanya merupakan garis
taksiran yang dipakai untuk mewakili pola
sebaran data tersebut
MODEL REGRESI LINEAR
SEDERHANA
Y = + X + 
Dimana
  adalah error random (kasalahan
pengganggu)
   N ( 0, 2 ).
 (Y  Yˆ )2

METODE KUADRAT TERKECIL

 kesalahan tidak dapat dihilangkan sama

sekali, maka resiko betapapun kecilnya
selalu ada.
 Resiko hanya bisa diperkecil dengan
memperkecil kesalahan
 persamaan garis regresi yang paling baik
adalah persamaan garis regresi yang
mempunyai total kuadrat kesalahan kecil
JUMLAH KUADRAT

 Jumlah kuadrat total (JKT)

 Jumlah kuadrat regresi (JKR)
 Jumlah kuadrat sesatan (JKS)
JUMLAH KUADRAT TOTAL (JKT)

2
1 
n 2 n n
J yy  S yy    yi  y    y i    yi 
2

i 1 i 1 n  i 1 
JUMLAHKUADRAT REGRESI (JKR)
n n

  yi  y    a  bxi   a  bx 
ˆ 2 2

i 1 i 1

n
  bx i  bx 
2

i 1
n
 b 2   xi  x 
2

i 1

= b2Jxx
= b Jxy
 JUMLAH KUADRAT SESATAN (JKS)
n n

 i i  i
y  ˆ
y  
2
 y  a  bx i  2

i 1 i 1

n
  i
 y
i 1
  y  bx   bx i  2

n
  i

i 1
y  y )  b ( x i  x  2

 ( y 
n
 i  y ) 2  2( y i  y )b( x i  x )  b 2 ( x i  x ) 2
i 1
LANJUTAN JKS
n n n

 y  y   2b  y  y x i  x   b  x  x
2
 i
2
i
2
i
i 1 i 1 i 1

 J yy  2bJ xy  b 2 J xx

 J yy  bJ xy

=Jyy - bJxy
HUBUNGAN JKT, JKR, JKS

 JKT = JKR + JKS

DERAJAT KEBEBASAN(DK)
MASING-MASING JK
 Derajat kebebasan untuk JKT adalah n -1
 Derajat kebebasan untuk JKR adalah 1
 Derajat kebebasan untuk JKS adalah n -2
HUBUNGAN DK

 (n -1) = (n -2) + 1
RATA-RATA JUMLAH KUADRAT
(RJK)
 kuadrat tengah / kuadrat rata- rata /rata-rata
jumlah kuadrat didefinisikan dengan jumlah
kuadrat dibagi oleh derajat bebasnya
dinamakna

JK ..
RJK .. 
DK ..
JENIS-JENIS RJK

 RJK REGRESI (RJKR)

RJKR = JKR
 RJK SESATAN (RJKS)

JKS
RJKS 
n2
Ringkasan
 Analisis regresi berbeda dengan analisis korelasi. Jika analisis
korelasi digunakan untuk melihat hubungan dua variable; maka
analisis regresi digunakan untuk melihat pengaruh variable
bebas terhadap variable tergantung serta memprediksi nilai
variable tergantung dengan menggunakan variable bebas.
Dalam analisis regresi variable bebas berfungsi untuk
menerangkan (explanatory) sedang variable tergantung
berfungsi sebagai yang diterangkan (the explained). Dalam
analisis regresi data harus berskala interval atau rasio.
Hubungan dua variable bersifat dependensi. Untuk
menggunakan analisis regresi diperlukan beberapa persyaratan
yang harus dipenuhi.
Pertanyaan

 Apa yang dimaksud dengan analisis regresi?

 Apa tujuan kita menggunakan analisis regresi?
 Apa perbedaan dasar antara regresi linier sederhana dan
regresi linier berganda?
 Sebutkan asumsi dalam analisis regresi?
 Sebutkan persyaratan dalam menggunakan analisis regresi?
 Apa yang dimaksud dengan linieritas dalam analisis regresi?
 Ada berapa jenis hipotesis dalam analisis regresi?
 Bagaimana menguji suatu model regresi dikatakan sudah
baik?
 Terangkan uji hipotesis dua sisi dan satu sisi?
 Sebutkan syarat-syarat model yang baik?