Analisis Regresi

Regresi Linear Sederhana

Kelompok 1 modul 9Anggota :
1.Diana eka Rahayu Putri
2.Eka mahfuji
3.Fitri handayani
4.Lita Anggika
5. Novi
6. Sonia veronika
 Pengantar

• Dua variabel numerik  ingin diketahui

hubungannya
• Dua variabel numerik  salah satu variabel
dianggap sebagai variabel yang
mempengaruhi variabel lainnya
• Variabel yang mempengaruhi  X, variabel
bebas, variabel penjelas
• Variabel yang dipengaruhi  Y, variabel tak
bebas, variabel respon
 Hati-hati menentukan variabel bebas
dan variabel tak bebas

Hubungan berat badan dan tinggi badan

Apakah ada hubungan

Kalau ada, mana yang bebas dan mana

yang tak bebas
 Perhatikan hubungan

Y = a + bX

X variabel bebas
Y variabel tak bebas
 Perhatikan penomena berikut

Hasil panen dan banyak pupuk yang di

gunakan

Y = a + bX

X Volume pupuk yang digunakan

Y Hasil Panen
 Bentuk Lain Regresi linear berganda

Hasil panen tidak hanya ditentukan oleh

volume pupuk yang diberikan, tapi juga
curah hujan/pengairan
X1 = volume pupuk (Var Bebas)
X2 = Curah hujan/Pengairan ( ? Var Bebas)

Y = ao + a1X1 + a2X2
 Perhatikan bentuk regresi linear
sederhana Y = a + bX
??? Bagaimana menentukan koefisien a dan
koefisien b ????

Persamaan Regresi kita buat dari data sampel

(penaksir)

Ŷ  a  bX
 Menentukan persamaan regresi

Metoda tangan bebas

65

sales revenue (millions of dollars)

60
Gambarkan titik-titik 55

sampel 50

Buat regresi 45

40
penduganya 35
8 10 12 14 16
ads expenditures (millions of dollars)

Maka metoda ini tidak

valid
 65

60
sales revenue (millions of dollars)

55

50

45

40

35
8 10 12 14 16
ads expenditures (millions of dollars)
Ini tidak valid karena ada kehendak yang subjektif
 Pengantar

Misalnya ingin melihat hubungan antara

pengeluaran untuk iklan (ads
expenditures, X) dengan penerimaan
melalui penjualan (sales revenue, Y)
Tahun 1 2 3 4 5 6 7 8 9 10

X 10 9 11 12 11 12 13 13 14 15

Y 44 40 42 46 48 52 54 58 56 60
Bagaimana menentukan a dan b
65
sales revenue (millions of dollars)

60

55

50

45

40

35
8 10 12 14 16
ads expenditures (millions of dollars)
 Rumus I
 n  n 2   n  n 
  Yi   X i
    X i   X iYi 
â   i 1  i 1   i 1  i 1
2

n
 n

n X i    X i 
2

i 1  i 1 

 n   n  n 
n  X iYi     X i   Yi 
b̂   i 1   i 1  i 1 
2
n
 n

n X i    X i 
2

i 1  i 1 
 Mari kerja dengan exel untuk contoh
berikut

X = banyak pengunjung toko

Y = banyak pembeli

X 56 54 33 42 54 34 48 62 50 38 60 55
Y 34 46 28 33 44 26 29 44 39 23 36 37

Ini cara semi manual, nanti kita lihat dengan excel

Xi Yi XiYi Xi^2
56 34 1904 3136
54 46 2484 2916
33 28 924 1089
42 33 1386 1764
54 44 2376 2916
34 26 884 1156
48 29 1392 2304
62 44 2728 3844
50 39 1950 2500
38 23 874 1444
60 36 2160 3600
55 37 2035 3025
586 419 21097 29694
sehingga diperoleh
Y  6.104546861  0.590009279X

Y  6.1  0.6X
 Rumus ke dua
 n   n  n 
n  X iYi     X i   Yi 
b̂   i 1   i 1  i 1
2

n
 n

n X i2    X i 
i 1  i 1 

b̂  tetap seperti di atas

dari Y  â  b̂X
diperoleh â  Y  b̂ X
â  34.91666667  0.590009279  48.83333333
â  34.91666667  28.8121198 1
 6.104546861
sehingga juga diperoleh
Y  6.104546861  0.590009279X

Hasilnya sama dengan cara I

Ini cara semi manual, nanti kita lihat dengan excel
Memberi makna dari persamaan regresi

Misalkan hubunan antara biaya iklan yang dikeluarkan (X)

dengan penjualan adalah
Y = 7.6 + 3.5333X
Ingat bilang koefisian dari X (b > 0) berarti grarik
Naik dari kiri ke kanan
65
Jika b < 0 grafik
sales revenue (millions of dollars)
60

Turun dari kiri ke kanan 55

50

45

40

35
8 10 12 14 16
ads expenditures (millions of dollars)
 Interpretasi a dan b

• a = besarnya nilai Y ketika X sebesar 0

• b = besarnya perubahan nilai Y ketika X
berubah satu satuan. Tanda koefisien b
menunjukkan arah hubungan X dan Y
Pada kasus ilustrasi
• a = 7.6 = besanya pendapatan jika tidak ada
belanja iklan adalah 7.6
• b = 3.533 = jika belanja iklan dinaikkan 1
juta dolar maka penjualan naik 3.533 juta
dolar
 Untuk prediksi

Kita bisa membuat prediksi berapakah

pendapatan yang akan diperoleh jika biaya
pengeluaran iklan dinaikkan sampai 20 juta
dollar

Ingat prediksi TERBATAS

MAKA DIPERLUKAN UJI LINEARITAS
UJI HIPOTESI UNTUK REGRESI
 Pengantar
65 Ingin dibuat
model
60
Y = a + bX
sales revenue (millions of dollars)

55
Model memuat
50
error, selisih nilai
45 e sebenarnya
dengan dugaan
40 Ŷ berdasar model
Y
35
8 10 12 14 16 e  Y - Ŷ
ads expenditures (millions of dollars)
 Bagaimana mendapatkan a dan b?

Metode yang digunakan : OLS (ordinary

least squares), mencari a dan b sehingga
jumlah kuadrat error paling kecil

Cari penduga a dan b sehingga

 e   Y - â - b̂X 
n n 2
2
i i i
i 1 i 1

minimum
 Rumus lain

 X  X Yi  Y 
n

i
b̂  i 1

 X  X
n
2
i
i 1

â  Y  b̂X

Rata-rata Y Rata-rata X
 Ilustrasi Perhitungan
X Y X-rata Y-Y (X-rata)(Y-rata) (X-rata)2
10 44 -2 -6 12 4
9 40 -3 -10 30 9
11 42 -1 -8 8 1
12 46 0 -4 0 0
11 48 -1 -2 2 1
12 52 0 2 0 0
13 54 1 4 4 1
13 58 1 8 8 1
14 56 2 6 12 4
15 60 3 10 30 9

X  12  X  X Y  Y   106 b = 106 / 30 = 3.533

Y  50  X  X 
2
 30 a = 50 – 3.533 (12) = 7.60
 65
sales revenue (millions of dollars)

y = 3.5333x + 7.6
60

55

50

45

40

35
8 10 12 14 16
ads expenditures (millions of dollars)
 Interpretasi a dan b

• a = besarnya nilai Y ketika X sebesar 0

• b = besarnya perubahan nilai Y ketika X
berubah satu satuan. Tanda koefisien b
menunjukkan arah hubungan X dan Y
Pada kasus ilustrasi
• a = 7.6 = besanya sales revenue jika tidak
ada belanja iklan adalah 7.6 mlo
• b = 3.533 = jika belanja iklan dinaikkan 1
juta dolar maka sales revenue naik 3.533
juta dolar
 Uji Signifikasi Koefisien b
H0 : b = 0 (artinya X tidak mempengaruhi Y)
H1 : b  0 (artinya X mempengaruhi Y)

 Y  Ŷ 
n
2
i i
b̂ - 0 s b̂  i 1
stat uji  t 
(n  k ) X i  X 
n
s b̂ 2

i 1

Tolak H0 jika nilai t melebihi nilai t pada tabel dengan

derajat bebas (n-2) pada nilai peluang /2
Tolak H0 jika nilai-p < 
 Uji signifikansi koefisien b

• Nilai sb = 0.52
• Nilai t = 6.79
• Nilai t pada tabel (db = 8,  = 5%) =
2.306
• Kesimpulan : Tolak H0, data
mendukung kesimpulan adanya
pengaruh ads expenditure terhadap
sales revenue.
 Ukuran Kebaikan Model

• Menggunakan koefisien determinasi

(R2, R-squared)
• R-squared bernilai antara 0 s/d 1
• R-squared adalah persentase
keragaman data yang mampu
diterangkan oleh model
• R-squared tinggi adalah indikasi model
yang baik
 Ukuran Kebaikan Model

R 2

 Ŷ  Y 
i
2

 Y  Y 
2
i

• Model dalam ilustrasi bisa ditunjukkan

memiliki R-squared 0.85 atau 85%
 di SAS

PRC FREQ DATA = sas-data-set;

MODEL dependent = independent;
RUN;
data contoh;
input X Y;
label X = 'ads expenditures (juta $)'
Y = 'revenue (juta ($)';
cards;
10 44
9 40
11 42
12 46
11 48
12 52
13 54
13 58
14 56
15 60
;
proc reg data=contoh;
model Y = X;
run;
 The REG Procedure
Model: MODEL1
Dependent Variable: Y revenue (juta ($)
nilai p pengujian
pengaruh X thd Y
Number of Observations Read 10
Number of Observations Used 10

Analysis of Variance

Sum of Mean
Source DF Squares Square F Value Pr > F

Model 1 374.53333 374.53333 45.77 0.0001

Error 8 65.46667 8.18333
Corrected Total 9 440.00000

Root MSE 2.86065 R-Square 0.8512

Dependent Mean 50.00000 Adj R-Sq 0.8326
Coeff Var 5.72131

Parameter Estimates

Parameter Standard
Variable Label DF Estimate Error t Value Pr > |t|

Intercept Intercept 1 7.60000 6.33232 1.20 0.2644

X ads expenditures (juta $) 1 3.53333 0.52228 6.77 0.0001
 The REG Procedure
Model: MODEL1 koefisien regresi
Dependent Variable: Y revenue (juta ($)

Number of Observations Read 10 Y = 7.6 + 3.53 X

Number of Observations Used 10

Analysis of Variance

Sum of Mean
Source DF Squares Square F Value Pr > F

Model 1 374.53333 374.53333 45.77 0.0001

Error 8 65.46667 8.18333
Corrected Total 9 440.00000

Root MSE 2.86065 R-Square 0.8512 R2

Dependent Mean 50.00000 Adj R-Sq 0.8326
Coeff Var 5.72131

Parameter Estimates

Parameter Standard
Variable Label DF Estimate Error t Value Pr > |t|

Intercept Intercept 1 7.60000 6.33232 1.20 0.2644

X ads expenditures (juta $) 1 3.53333 0.52228 6.77 0.0001
proc reg data=contoh;
model Y = X;
symbol1 v = '=' c = blue;
plot Y*X /cline = red;
run;
 Analisis Regresi
Regresi Linear Berganda
 Pengantar

• Pada sesi sebelumnya kita hanya

menggunakan satu buah X, dengan
model Y = a + bX
• Dalam banyak hal, yang mempengaruhi
X bisa lebih dari satu. Model umum
regresi linear berganda adalah
Y = a + b 1X 1 + b 2X 2 + … + b 3X 3
 Ilustrasi

Ingin dicari model regresi dari sales

revenue (Y), dengan variabel bebas
berupa ads expenditure (X1) dan
pengeluaran untuk quality control (X 2)
Tahun 1 2 3 4 5 6 7 8 9 10
X1 10 9 11 12 11 12 13 13 14 15
X2 3 4 3 3 4 5 6 7 7 8
Y 44 40 42 46 48 52 54 58 56 60
 Ilustrasi

• Proses mencari penduga bagi koefisien a, b1,

dan b2 memiliki konsep yang sama dengan
model regresi sederhana, namun lebih
kompleks.

• Output standar komputer:

– ANOVA  pengujian simultan
– Pengujian Parsial
– Nilai dugaan koefisien
– Ukuran kebaikan model
 Ilustrasi
data contoh;
input Tahun X1 X2 Y;
label X1 = 'ads expenditure (juta$)'
X2 = 'QC expenditure (juta$)'
Y = 'sales revenue (juta$)';
cards;
1 10 3 44
2 9 4 40
3 11 3 42
4 12 3 46
5 11 4 48
6 12 5 52
7 13 6 54
8 13 7 58
9 14 7 56
10 15 8 60
;
proc reg data=contoh;
model y = x1 x2;
run;
 Ilustrasi
Analysis of Variance

Sum of Mean
Source DF Squares Square F Value Pr > F
Model 2 409.26761 204.63380 46.61 <.0001
Error 7 30.73239 4.39034
Corrected Total 9 440.00000

Root MSE 2.09531 R-Square 0.9302

Dependent Mean 50.00000 Adj R-Sq 0.9102
Coeff Var 4.19063

Parameter Estimates

Parameter Standard
Variable DF Estimate Error t Value Pr > |t|
Intercept 1 17.94366 5.91914 3.03 0.0191
X1 1 1.87324 0.70334 2.66 0.0323
X2 1 1.91549 0.68101 2.81 0.0260
 ANOVA
• Digunakan untuk menguji secara simultan pengaruh seluruh
X

• H0: semua bi = 0 (tidak ada X yang berpengaruh terhadap Y)

• H1: ada bi  0 (ada X yang berpengaruh terhadap Y)

• Konsep dasar : ANOVA membandingkan besarnya keragaman

yang terkandung dalam model dengan keragaman yang
tersisa pada error model. Jika rasio keduanya besar, maka X
mempengaruhi Y. Rasio itu dilambangkan dengan nilai F.
Semakin besar nilai F, semakin kecil nilai-p, cenderung
menolak H0.
 ANOVA: ilustrasi
Analysis of Variance

Sum of Mean
Source DF Squares Square F Value Pr > F
Model 2 409.26761 204.63380 46.61 <.0001
Error 7 30.73239 4.39034
Corrected Total 9 440.00000

Seandainya kita gunakan  = 5%, maka

nilai-p ini lebih kecil daripada 5%, sehingga
kita putuskan TOLAK H0, artinya ada X
yang mempengaruhi sales revenue
 Ilustrasi
Parameter Standard
Variable DF Estimate Error t Value Pr > |t|
Intercept 1 17.94366 5.91914 3.03 0.0191
X1 1 1.87324 0.70334 2.66 0.0323
X2 1 1.91549 0.68101 2.81 0.0260

Modelnya
Y = 17.94 + 1.87 X1 + 1.91 X2

Uji parsial. Menguji masing-masing X. Karena p-

value X1 dan X2 kecil, maka disimpulkan bahwa
pengaruh keduanya terhadap sales revenue
signifikan secara statistik
 Ilustrasi
Root MSE 2.09531 R-Square 0.9302
Dependent Mean 50.00000 Adj R-Sq 0.9102
Coeff Var 4.19063

Ukuran kebaikan model : R2. Penambahan X lain

dalam model akan selalu meningkatkan nilai R2,
namun menurunkan derajat bebas error. Agar
evaluasi terhadap kebaikan model tidak terganggu,
nilai R2 dikoreksi menjadi Adjusted R2.
 Peramalan menggunakan Regresi

• Model regresi bisa digunakan untuk meramal

nilai Y jika kita ketahui nilai setiap variabel
X

• Dugaan dapat berupa titik maupun selang.

Dugaan selang memiliki simpangan/variasi
yang lebih besar untuk nilai X yang semakin
jauh dari rata-rata.

• Interpolasi vs Ekstrapolasi
• Jika pada tahun depan (tahun ke-11)
direncanakan akan mengeluarkan
belanja untuk advertisement (X1)
sebesar 15 juta dolar dan pengeluaran
untuk quality control (X2) sebesar 9
juta dolar, berapa dugaan nilai sales
revenue yang akan didapatkan?
data contoh;
input Tahun X1 X2 Y;
label X1 = 'ads expenditure (juta$)'
X2 = 'QC expenditure (juta$)'
Y = 'sales revenue (juta$)';
cards;
1 10 3 44
2 9 4 40
3 11 3 42
4 12 3 46
5 11 4 48
6 12 5 52
7 13 6 54
8 13 7 58
9 14 7 56
10 15 8 60
11 15 9 .
;
proc reg data=contoh;
model y = x1 x2/p cli;
run;
 The REG Procedure
Model: MODEL1
Dependent Variable: Y sales revenue (juta$)

Output Statistics

Dependent Predicted Std Error

Obs Variable Value Mean Predict 95% CL Predict Residual
1 44.0000 42.4225 1.0283 36.9034 47.9417 1.5775
2 40.0000 42.4648 1.7156 36.0612 48.8684 -2.4648
3 42.0000 44.2958 1.0868 38.7144 49.8772 -2.2958
4 46.0000 46.1690 1.5146 40.0554 52.2826 -0.1690
5 48.0000 46.2113 0.7705 40.9323 51.4902 1.7887
6 52.0000 50.0000 0.6626 44.8035 55.1965 2.0000
7 54.0000 53.7887 0.7705 48.5098 59.0677 0.2113
8 58.0000 55.7042 1.0868 50.1228 61.2856 2.2958
9 56.0000 57.5775 1.0283 52.0583 63.0966 -1.5775
10 60.0000 61.3662 1.3529 55.4685 67.2639 -1.3662
11 . 63.2817 1.6325 57.0007 69.5626 .