Analisis Regresi hubungan dua variabel yg didasarkan pd hub. sebab-akibat (fungsional) Y = f (X) Y = variabel Y
disebut variabel dependen/ predicted; X = variabel X disebut variabel independen/ explanatory/ predictor. Makna
sederhana (simple) hanya 2 variabel yakni Y & X. Jika X (variabel independen) lebih dr satu (X1, X2, X3, . . . . , Xk), maka
disebut majemuk (multiple) Y = f (X1, X2, X3, . . . . , Xk). Lihat pula analisis korelasi yg berbeda dg regresi (bg terpisah)
Tujuan regresi yaitu “menangkap” fenomena melalui model Model adalah penyederhanaan/ simplifikasi dari proses
dunia nyata (real world) atau bukan senyatanya/ sesungguhnya Model ini tertuang dalam bentuk persamaan atau fungsi
Ada 2 jenis persamaan/ fungsi yaitu deterministik (berdasarkan matematika) dan stokastik (berdasarkan statistika)
ingat bhw statistika didasarkan pd teori probabilita (menangkap uncertainty/ ketidak-pastian).
u = error term X = 10; Y = 48 ; jika u = – 2 tidak tepat disebut under estimate (25%) Model stokastik
1
β1 = ΔY / ΔX
β0 = konstanta/
= koef. garis/ slope
intercept
Y Y Y
Metode OLS (ordinary least squares/ kuadrat terkecil biasa) meminimumkan jumlah residual (𝜺̂ atau dpt ditulis e
sebagai sampel estimator untuk 𝜺 sebagai populasi) kuadrat ∑ 𝜺̂𝟐 atau ∑ 𝒆𝟐 minimum
̂) e = 𝒀 − 𝒀
Residual (e) selisih antara data atau aktual (𝒀) dg hasil estimasi/ predicted (𝒀 ̂
𝟐 𝟐
̂𝟎 − 𝜷
̂ ) = ∑(𝒀 − 𝜷
Jadi, OLS minimum ∑ 𝒆𝟐 = ∑(𝒀 − 𝒀 ̂ 𝟏 𝑿) turunan parsial pertama = 0 (necessary
condition dlm matematika untuk optimasi)
̂ 𝟎 ; b1 = 𝜷
b0 = 𝜷 ̂𝟏
Proses diferensiasi menghasilkan dua persamaan normal/ normal equations, di mana jumlah persamaan normal = jumlah
parameter sbb:
̂ +𝛽
∑ 𝑌 = 𝑛𝛽 ̂ ∑ 𝑋 dan ∑ 𝑌𝑋 = 𝛽 ̂ ∑𝑋 + 𝛽 ̂ ∑ 𝑋2
0 1 0 1
2
Estimator parameter regresi sederhana (sampel) dg metode OLS sbb:
̂𝟎 + 𝜷
̂ = 𝜷
Model Regresi Sampel (estimasi) 𝒀 ̂ 𝟏𝑿 𝛽̂1
Koefisien garis/ slope
𝛽̂1 Deviasi = penjumlahan perkalian selisih nilai data/ aktual dg rata2
notasi ditulis dlm huruf kecil jika notasi ditulis dlm huruf kapital/ besar,
maka yg dijumlah adalah variabel, bukan deviasi.
𝛽̂0
Konstanta/ intercept
𝛽̂1 𝑋̅
̂𝟎 & 𝜷
𝜷 ̂ 𝟏 Estimator/ formula
Catatan Estimator OLS: 1) Properti/ sifat OLS (Gauss-Markov Theorem) BLUE (Best Linear Unbiased Estimator)
Membaca dr belakang Estimator yaitu formula/ rumus statistik; Unbiased yaitu nilai ekpektasi koefisien sampel =
̂ ) = 𝜷𝟏 ; Linear yaitu fungsi linier (garis lurus); Best yaitu estimator efisien, artinya varians/
populasi, dpt ditulis E (𝜷 𝟏
sebaran/ dispersi dijamin minimum.
2) Perhitungan estimator OLS dg persamaan aljabar yaitu hanya sesuai untuk regresi sederhana atau regresi
majemuk dg dua variabel independen lebih dr dua variabel independen dg metode matriks aljabar krn
persamaan aljabar lebih rumit/ kompleks dlm perhitungan estimator OLS.
Makna Parameter Regresi (Analisis Struktural)
1. Koefisien Determinasi (r2) notasi koef.determinasi untuk regresi majemuk R2. Notasi koef. determinasi untuk
regresi sederhana dg huruf kecil (r2) krn koefisien korelasi (r) kuadrat = koef. determinasi. Secara umum notasi
koef. determinasi ditulis dlm huruf kapital/ besar, R2.
𝒃𝒖𝒓𝒖𝒌 ← 𝟎 ≤ 𝒓𝟐 ≤ 𝟏 → 𝒃𝒂𝒊𝒌
Koef.determinasi Goodness of Fit ketepatan data dg model/ grs regresi
3
Residual
Regresi
𝑢̂2 = 𝑒 2
Total
Catatan Penting:
kinerja model lainnya yaitu Koefisien Determinasi Adjusted (𝑹 ̅ 𝟐 ) Artinya, koef.determinasi disesuaikan dg
derajat kebebasan (df/ degree of freedom) krn sensitif thdp signifikansi uji parameter (uji t) agar 𝑹𝟐 ↑ (naik),
maka jumlah variabel indpenden (X) perlu ditambah (X ↑) sehingga d.f. menjadi turun (ingat df = n – 1 – k; di
mana: n = jumlah observasi; 1 = jumlah konstanta; k = jumlah koefisien/ variabel bebas) d.f. terkait dg Tabel
Distribusi Statistik t (semakin kecil d.f., semakin besar nilai Tabel t yg berakibat pd uji parameter model bisa
̅ 𝟐 lebih sesuai/ cocok untuk evaluasi kinerja model regresi majemuk drpd 𝑹𝟐
tidak signifikan/ sensitif) Jadi, 𝑹
(𝑹̅ 𝟐 ≤ 𝑹𝟐 ) materi kuliah Regresi Majemuk (Multiple Regression)
koef. determinasi yg relatif kecil yaitu tidak selalu berarti model buruk/ jelek, khususnya untuk jenis data kerat
lintang (cross section) yg penting bhw parameter model regresi tsb yaitu signifikan & tidak melanggar asumsi
klasik (asumsi regresi
koef. determinasi (𝑹𝟐 ) juga bisa negatif (𝑹𝟐 < 0) dan lebih dr satu (𝑹𝟐 > 1), jika model tidak terdapat konstanta.
2. Efisiensi Statistik diukur melalui sebaran atau dispersi data (varians atau deviasi standar) yg minimum jarak
antara data/ aktual dan garis regresi (estimasi) Ada dua ukuran efisiensi statistik yaitu a) untuk persamaan/
model regresi (biasa disebut SEE/ standard error of equation atau standard error of estimate) ; dan b) untuk
parameter (konstanta dan koefisien) pd model regresi.
Catatan: efisiensi statistik adalah relatif terbaik mutlak yaitu perlu komparasi
(∑ 𝑋𝑖 𝑌𝑖 − 𝑛𝑋̅ 𝑌̅)2
VEE = (∑ 𝑌𝑖2 − 𝑛 𝑌̅ 2 ) − SEE = √VEE
∑ 𝑋𝑖2 − 𝑛 𝑋̅ 2
4
b) Varians (Var) & Standar Error (SE) of Parameters
∑ 𝑋𝑖2
Var (𝛽̂0 ) = VEE SE (𝛽̂0 ) = √Var (𝛽̂0 )
𝑛 (∑ 𝑋𝑖2 − 𝑛 𝑋̅ 2 )
VEE
Var (𝛽̂1 ) = SE (𝛽̂1 ) = √Var (𝛽̂1 )
∑ 𝑋𝑖2 − 𝑛 𝑋̅ 2
3. Uji Parsial (Uji t atau Uji Parameter) uji hipotesis untuk masing-2 parameter (konstanta dan koefisien)
̂
̂ i ) = 𝛽î
tobs (𝜷 ∀ 𝑖 =0&1
SE (𝛽i )
for all
H0 : 𝜷i = 0 parameter populasi = 0 parameter tsb tidak dapat dipakai sebagai prediktor/ penduga
H1 : 𝜷i ≠ 0 parameter populasi ≠ 0 parameter tsb dapat dipakai sebagai prediktor/ penduga
Misal:
̂
𝛽
̂ 0) = 0 50 ̂ 0 ) = 1,85 sehingga H0 diterima
tobs (𝜷 ̂ =
27,027
= 1,85 Nilai kritis Tabel t = 2,048 > tobs (𝜷
SE (𝛽0 )
atau H1 ditolak. Hal ini berarti bhw konstanta (autonomous consumption) dlm model konsumsi tsb tidak
dapat dipakai sebagai penduga yg signifikan 97,5% atau dg kesalahan (α) = 2,5%. Selanjutnya, jika tingkat
kesalahan diubah menjadi α = 10%/2 = 5% nilai kritis t ±5%; 28 = 1,701 (lihat Lampiran 1: Tabel Statistik
Distribusi t), maka H0 ditolak atau H1 diterima. Hal ini berarti bhw konstanta (autonomous consumption)
dlm model konsumsi tsb dapat dipakai sebagai penduga yg signifikan 95% atau dg kesalahan (α) = 5%.
̂
̂ 1 ) = 𝛽1̂ = 0,80 = 2,15 Nilai kritis Tabel t = 2,048 < tobs (𝜷
tobs (𝜷 ̂ 0 ) = 2,15 sehingga H0 ditolak atau
SE (𝛽1 ) 0,372
H1 diterima. Hal ini berarti bhw koefisien (MPC/ marginal propensity to consume) dlm model konsumsi
tsb dapat dipakai sebagai penduga yg signifikan 97,5% atau dg kesalahan (α) = 2,5%. Selanjutnya, jika
tingkat kesalahan diubah menjadi α = 1%/2 = 0,5% nilai kritis t ±0,5%; 28 = 2,763 (lihat Lampiran 1: Tabel
Statistik Distribusi t), maka H0 diterima atau H1 ditolak. Hal ini berarti bhw konstanta (MPC/ marginal
propensity to consume) dlm model konsumsi tsb tidak dapat dipakai sebagai penduga yg signifikan 99,5%
atau dg kesalahan (α) = 0,5%.
Catatan:
1) Uji hipotesis atau uji t untuk parameter (konstanta & koefisien) mencari nilai statistik untuk parameter
sampel sebagai estimasi parameter regresi populasi
2) Formula/ estimator untuk parameter yg diperoleh dr metode OLS mencari nilai absolut (nilai estimasi)
untuk parameter regresi populasi berdasarkan sampel
3) Perubahan tingkat kesalahan (α) dapat mengubah kesimpulan dlm uji hipotesis (nilai statistik).
4) Ingat, ada dua jenis kesalahan dalam uji hipotesis yaitu kesalahan pertama (α Error) dan kesalahan
kedua (β Error).
5
4. Uji Simultan (Uji F) uji untuk seluruh koefisien model regresi (model regresi sederhana hanya terdapat
satu koefisien) lebih sesuai untuk model regresi majemuk.
Selain itu, uji F juga dapat dipakai menguji koefisien determinasi (r2) karena r2 menjelaskan peranan
koefisien model sedangkan uji F menguji seluruh koefisien model regresi.
Formula F d.f. (uji F) df = numerator ; denumerator
𝛽̂1 ∑ 𝑥𝑖
2 2 numerator = 1 ; denumerator = n – 2
𝐹= Nilai kritis F F numerator; denumerator; α
∑ 𝑒 2 (𝑛 − 2)
𝑖
F 1; 28; 1% = 7,636 lihat pd Lampiran 2:
𝛽̂12 ∑ 𝑥𝑖2 Tabel Statistik Distribusi F
=
VEE Distribusi F yaitu hanya di kanan (selalu positif)
H0 : 𝜷1 = 0 koefisien populasi = 0 koefisien tsb tidak dapat dipakai sebagai prediktor/ penduga
H1 : 𝜷1 ≠ 0 koefisien populasi ≠ 0 koefisien tsb dapat dipakai sebagai prediktor/ penduga untuk regresi
majemuk yaitu dinyatakan paling tidak terdapat satu koefisien ≠ 0
Misal: Hasil perhitungan Fobs = 60,867 Fobs > Ftabel sehingga H0 ditolak atau H1 diterima. Hal ini berarti
bhw koefisien (MPC/ marginal propensity to consume) dlm model konsumsi tsb dapat dipakai sebagai
penduga yg signifikan 99% atau dg kesalahan (α) = 1%. Hal ini juga mengindikasikan bhw koefisien
determinasi r2 = 0,910 yaitu signifikan 99%.
Catatan:
1) Pd umumnya perhitungan Fobs menggunakan ANOVA (analysis of variance) dari sisi analisis regresi.
2) Distribusi Statistik F ≅ Distribusi Statistik t kuadrat (notasi ≅ ekuivalen)
6
Konsep Koefisen Regresi
Secara umum koefisien yaitu mengukur perubahan (Δ delta)
Perubahan (Δ)
Marjinal
Absolut
(unit: Rp, kg, meter, dll)
β1 = ΔC / ΔYD = MPC
1) Koefisien Korelasi Parsial hubungan antara dua variabel yg independen dr pengaruh variabel lainnya
Misalkan, model Y = f (X1, X2) hubungan dua variabel yg independen yaitu antara Y & X1 sedangkan X2 tidak
mempengaruhi hubungan antara Y & X1. Secara konsep bhw koef.korelasi parsial serupa dg koef.regresi parsial.
Jadi, dr model tsb dapat ditulis makna koef.korelasi parsial sbb:
rYX1. X2 = koef.korelasi parsial antara Y & X1 sedangkan X2 konstan
rYX2. X1 = koef.korelasi parsial antara Y & X2 sedangkan X1 konstan
rX1X2.Y = koef.korelasi parsial antara X1 & X2 sedangkan Y konstan
7
Formula koef.korelasi parsial dr model & makna tsb dapat ditulis sbb:
𝑟𝑌𝑋1. − 𝑟𝑌𝑋2 𝑟𝑋1𝑋2
𝑟𝑌𝑋1.𝑋2 =
2 )(1 2 )
√(1 − 𝑟𝑌𝑋2 − 𝑟𝑋1𝑋2
𝑟𝑌𝑋2. − 𝑟𝑌𝑋1 𝑟𝑋1𝑋2
𝑟𝑌𝑋2.𝑋1 =
2 )(1 2 )
√(1 − 𝑟𝑌𝑋1 − 𝑟𝑋1𝑋2
𝑟𝑋1𝑋2. − 𝑟𝑌𝑋1 𝑟𝑌𝑋2
𝑟𝑋1𝑋2.𝑌 =
2 )(1 2 )
√(1 − 𝑟𝑌𝑋1 − 𝑟𝑌𝑋2
Koef.korelasi parsial di atas disebut koef.korelasi ordo-pertama (first-order correlation coefficients).
2) Koefisien Determinasi Parsial Lebih jauh, jika koef.korelasi parsial dikuadratkan (𝒓𝟐𝒓𝒀𝑿𝟏.𝑿𝟐 ), maka hal itu
koef.determinasi parsial. Artinya, bahwa proporsi variasi variabel dependen Y yg dijelaskan oleh variabel bebas X1
saja, tanpa variabel bebas lainnya, yakni X2.
Variabel/ Koefisien Baku (Standardized Variables/ Coefficients) Tujuan melakukan standarisasi atau pembakuan
adalah untuk menyamakan ukuran variabel/ koefisien dalam unit sehingga memudahkan untuk analisis komparasi/
perbandingan karena ukuran variabel dlm unit yg tidak sama, misal: ha (luas) dg kg (berat) atau dalam nilai mata uang/
monetisasi (Rp) dsb. Proses pengolahan standarisasi dalam variabel sbb:
Konsekuensi dg standarisasi variabel yaitu model tsb tidak mempunyai konstanta (=0) karena nilai rata-2/ mean untk Y & X
̅&𝑿
(𝒀 ̅ ) sama dengan nol. akibat hal ini yaitu koef.determinasi (r2) tidak dapat diterapkan krn tidak mempunyai
konstanta atau mulai dr titik nol/ asal; Koefisien garis (𝜷∗𝟐 ) tsb dinamakan koefisien baku/ beta (standardized/ beta
coefficients). Formulasi Koefisien Baku
sx
*j j j 1, 2 , 3,...., k ( tidak termasuk konstanta j = 0 )
sy
H0 : 𝜷j = 0 koefisien populasi = 0 koefisien tsb tidak dapat dipakai sebagai prediktor/ penduga
H1 : 𝜷j ≠ 0 paling tidak terdapat satu koefisien populasi ≠ 0 koefisien tsb dapat dipakai sebagai prediktor/
penduga atau paling tidak terdapat satu koefisien ≠ 0
𝜷j → j = 1,2, … , 𝑘 k = jumlah seluruh variabel bebas
Catatan: d.f. (uji F) df = numerator ; denumerator df = k ; n – 1 – k ;
Misal,:model sbb: Y = f (X1, X2) ; jumlah variabel bebas (k) = 2; jumlah observasi (n) = 12 ; α = 5%
Nilai kritis F = F 2; 9; 5% = 4,256 (lihat pd Lampiran 2 Tabel Distribusi F).
Ingat bahwa uji statistik F juga dapat dipergunakan untuk menguji koef. determinasi (R2) krn uji statistik F yaitu
menguji seluruh koefisien, tidak termasuk konstanta sdgkan koef. determinasi (R2) menghitung peranan variasi pd
seluruh variabel independen.
“The three golden rules of econometrics are test, test, & test.”
David Forbes Hendry, Oxford, UK – 1980
9
Lampiran 1:
TABEL - t
One-tailed 0,25 0,20 0,15 0,10 0,05 0,025 0,01 0,005 0,0005
Two-tailed 0,50 0,40 0,30 0,20 0,10 0,050 0,02 0,010 0,0010
d.f.
1 1,0000 1,3764 1,9626 3,0777 6,3138 12,7062 31,8205 63,6567 636,6192
2 0,8165 1,0607 1,3862 1,8856 2,9200 4,3027 6,9646 9,9248 31,5991
3 0,7649 0,9785 1,2498 1,6377 2,3534 3,1824 4,5407 5,8409 12,9240
4 0,7407 0,9410 1,1896 1,5332 2,1318 2,7764 3,7469 4,6041 8,6103
5 0,7267 0,9195 1,1558 1,4759 2,0150 2,5706 3,3649 4,0321 6,8688
10
Lampiran 2:
TABEL - F
d.f. Numerator
Denumerator a 1 2 3 4 5 6 7 8 9 10
1 0,1000 39,864 49,500 53,593 55,833 57,240 58,204 58,906 59,439 59,857 60,195
0,0500 161,446 199,499 215,707 224,583 230,160 233,988 236,767 238,884 240,543 241,882
0,0250 647,793 799,482 864,151 899,599 921,835 937,114 948,203 956,643 963,279 968,634
0,0100 4052,185 4999,340 5403,534 5624,257 5763,955 5858,950 5928,334 5980,954 6022,397 6055,925
2 0,1000 8,526 9,000 9,162 9,243 9,293 9,326 9,349 9,367 9,381 9,392
0,0500 18,513 19,000 19,164 19,247 19,296 19,329 19,353 19,371 19,385 19,396
0,0250 38,506 39,000 39,166 39,248 39,298 39,331 39,356 39,373 39,387 39,398
0,0100 98,502 99,000 99,164 99,251 99,302 99,331 99,357 99,375 99,390 99,397
3 0,1000 5,538 5,462 5,391 5,343 5,309 5,285 5,266 5,252 5,240 5,230
0,0500 10,128 9,552 9,277 9,117 9,013 8,941 8,887 8,845 8,812 8,785
0,0250 17,443 16,044 15,439 15,101 14,885 14,735 14,624 14,540 14,473 14,419
0,0100 34,116 30,816 29,457 28,710 28,237 27,911 27,671 27,489 27,345 27,228
4 0,1000 4,545 4,325 4,191 4,107 4,051 4,010 3,979 3,955 3,936 3,920
0,0500 7,709 6,944 6,591 6,388 6,256 6,163 6,094 6,041 5,999 5,964
0,0250 12,218 10,649 9,979 9,604 9,364 9,197 9,074 8,980 8,905 8,844
0,0100 21,198 18,000 16,694 15,977 15,522 15,207 14,976 14,799 14,659 14,546
5 0,1000 4,060 3,780 3,619 3,520 3,453 3,405 3,368 3,339 3,316 3,297
0,0500 6,608 5,786 5,409 5,192 5,050 4,950 4,876 4,818 4,772 4,735
0,0250 10,007 8,434 7,764 7,388 7,146 6,978 6,853 6,757 6,681 6,619
0,0100 16,258 13,274 12,060 11,392 10,967 10,672 10,456 10,289 10,158 10,051
6 0,1000 3,776 3,463 3,289 3,181 3,108 3,055 3,014 2,983 2,958 2,937
0,0500 5,987 5,143 4,757 4,534 4,387 4,284 4,207 4,147 4,099 4,060
0,0250 8,813 7,260 6,599 6,227 5,988 5,820 5,695 5,600 5,523 5,461
0,0100 13,745 10,925 9,780 9,148 8,746 8,466 8,260 8,102 7,976 7,874
7 0,1000 3,589 3,257 3,074 2,961 2,883 2,827 2,785 2,752 2,725 2,703
0,0500 5,591 4,737 4,347 4,120 3,972 3,866 3,787 3,726 3,677 3,637
0,0250 8,073 6,542 5,890 5,523 5,285 5,119 4,995 4,899 4,823 4,761
0,0100 12,246 9,547 8,451 7,847 7,460 7,191 6,993 6,840 6,719 6,620
8 0,1000 3,458 3,113 2,924 2,806 2,726 2,668 2,624 2,589 2,561 2,538
0,0500 5,318 4,459 4,066 3,838 3,688 3,581 3,500 3,438 3,388 3,347
0,0250 7,571 6,059 5,416 5,053 4,817 4,652 4,529 4,433 4,357 4,295
0,0100 11,259 8,649 7,591 7,006 6,632 6,371 6,178 6,029 5,911 5,814
9 0,1000 3,360 3,006 2,813 2,693 2,611 2,551 2,505 2,469 2,440 2,416
0,0500 5,117 4,256 3,863 3,633 3,482 3,374 3,293 3,230 3,179 3,137
0,0250 7,209 5,715 5,078 4,718 4,484 4,320 4,197 4,102 4,026 3,964
0,0100 10,562 8,022 6,992 6,422 6,057 5,802 5,613 5,467 5,351 5,257
10 0,1000 3,285 2,924 2,728 2,605 2,522 2,461 2,414 2,377 2,347 2,323
0,0500 4,965 4,103 3,708 3,478 3,326 3,217 3,135 3,072 3,020 2,978
0,0250 6,937 5,456 4,826 4,468 4,236 4,072 3,950 3,855 3,779 3,717
0,0100 10,044 7,559 6,552 5,994 5,636 5,386 5,200 5,057 4,942 4,849
28 0,1000 2,894 2,503 2,291 2,157 2,064 1,996 1,943 1,900 1,865 1,836
0,0500 4,196 3,340 2,947 2,714 2,558 2,445 2,359 2,291 2,236 2,190
0,0250 5,610 4,221 3,626 3,286 3,063 2,903 2,782 2,687 2,611 2,547
0,0100 7,636 5,453 4,568 4,074 3,754 3,528 3,358 3,226 3,120 3,032
29 0,1000 2,887 2,495 2,283 2,149 2,057 1,988 1,935 1,892 1,857 1,827
0,0500 4,183 3,328 2,934 2,701 2,545 2,432 2,346 2,278 2,223 2,177
0,0250 5,588 4,201 3,607 3,267 3,044 2,884 2,763 2,669 2,592 2,529
0,0100 7,598 5,420 4,538 4,045 3,725 3,499 3,330 3,198 3,092 3,005
30 0,1000 2,894 2,503 2,291 2,157 2,064 1,996 1,943 1,900 1,865 1,836
0,0500 4,196 3,340 2,947 2,714 2,558 2,445 2,359 2,291 2,236 2,190
0,0250 5,610 4,221 3,626 3,286 3,063 2,903 2,782 2,687 2,611 2,547
0,0100 7,636 5,453 4,568 4,074 3,754 3,528 3,358 3,226 3,120 3,032
11