ANALISIS REGRESI

1. Pendahuluan
Metode analisis yang dibicarakan hingga sekarang adalah analisis terhadap data
mengenai sebuah karakteristik atau atribut (jika data itu kualitatif) dan mengenai
sebuah variabel, diskrit ataupun kontinu (jika data itu kuantitatif). Tetapi, sebagaimana
disadari, banyak persoalan dan fenomena atau fenomena yang meliputi lebih dari
sebuah variabel. Misalnya : berat orang dewasa laki-laki sampai taraf tertentu
bergantung pada tingginya, tekanan semacam gas bergantung pada temperatur, hasil
produksi padi tergantung pada jumlah pupuk yang digunakan, banyak hujan, cuaca dan
sebagainya. Akibatnya, terasa perlu untuk mempelajari analisis data yang terdiri atas
banyak variabel.
2. Hubungan Fungsional Antara Variabel
Untuk analisis regresi akan dibedakan dua jenis variabel ialah variabel bebas atau
0variabel prediktor dan variabel terbebas atau variabel respon. Penentuan variabel
mana yang bebas dan mana yang tak bebas dalam beberapa hal tidak mudah dapat
dilaksanakan. Studi yang cermat,diskusi yang seksama, berbagai
pertimbangan,kewajaran masalah yang dihadapi dan pengalaman akan membantu
memudahkan penentuan. Untuk keperluan analisis variabel bebas akan dinyatakan
dengan X1, X2.........., Xk ( k ≥ 1) sedangkan variabel tak bebas akan dinyatakan dengan
Y. Untuk regresi linier sederhana misalnya, perlu ditaksir parameter 01, 02......... 0m.
Jika 01 dan 02 ditaksir oleh a dan b, maka regresi berdasarkan sampel adalah :
Ŷ= a + b X
Model regresi populasi pangkat dua atau parabola untuk sebuah variabel bebas
denga parameter 01, 02, dan 03 adalah:
µy. x x2 = 01 + 02 x + 03
x2
Dan berdasarkan sampel acak, parameter-parameter 01, 02, dan 03 perlu ditaksir.
Regresi dari hasil penelitian yang dipakai untuk menaksir regresi dalam rumus XV
adalah :

Ŷ= a + b X + cX2
+
3. Metode Tangan Bebas
Metode ini merupakan metode kira-kira menggunakan diagram
pencar.berdasarkan hasil pengamatan , jika fenomena meliputo sebuah variabel bebas
X dan variabel tak bebas Y, maka data yang didapatkan digambarkan pada diagram
dengan sumbu datar menyatakan X dan sumbu tegak menyatakan Y. Titik – titik yang
ditentukan oleh absis X dan ordinat Y digambarkan dan terjadilah diagram pencar.

Regresi linier ditarik secocok mungkin dengan letak titik-titik,kemudian

persamaanya ditentukan dengan menggunakan dua titik yang dilalui.
4. Metoda Kuadrat Terkecil Untuk Regresi Linier
Metode tangan tak bebas dapat dipakai untuk menolong menentukan dugaaan
bentuk regresi apakah linier atau tidak. Persamaanya, jika tidak betul-betul yakin, lebih
baik ditentukan dengan cara lain misalnya dengan cara kuadrat terkecil. Untuk
fenomena yang terdiri dari sebuah variabel bebas X dan sebuah vaiabel tak bebas Y
dimana model regresi linier untuk populasi seperti dalam rumus telah dapat
diduga,maka kita perlu menaksir parameter-parameter regresi sehingga didapat
persamaan seperti dalam rumus. Jadi untuk model regresi linier populasi

µy. x = 01 + 02 x

Akan ditaksir harga-harga 01 dan 02 a dan b sehingga didapatkan persamaan

regresi menggunakan data sampel:
 Ŷ= a + b X

Untuk keperluan ini, sebaiknya data hasil pengamatan dicatat dalam bentuk
seperti dibawah ini:
Variabel tak Variabel
bebas (Y) bebas (X)
Y1 X1
Y2 X2
. .
. .
Yn Xn

Disini didapat pasangan antara X dan Y dan n, seperti biasa, menyatakan ukuran
sampel.
Koefisien-koefisien regresi a dan b untuk regresi linier, ternyata dapat dihitung
dengan rumus:

(∑ 𝑌𝑖) (∑𝑋𝑖2)−(∑𝑋𝑖)−(∑𝑋𝑖 𝑌𝑖)

a=
𝑛∑𝑋𝑖2−(∑ 𝑋𝑖 )2

𝑛 ∑ 𝑋𝑖 𝑌𝑖− (∑𝑋𝑖)−(∑𝑌𝑖)
b=
𝑛∑𝑋𝑖2−(∑ 𝑋𝑖 )2

Jika terlebih dahulu dihitung koefisien b, maka koefisien a dapat pula ditentukan
dengan rumus:
a=Ῡ+bX

Dengan X dan Y masing-masing rata-rata untuk variabel X dan Y rumus-rumus

diatas dipakai untuk menentukan koefisien-koefisien regresi Y atas X.
5. Berbagai Jenis Varians Sehubungan Dengan regresi Linier Sederhana
Untuk analisis selnajutnya tentang regresi linier sederhana, beberapa asumsi
harus diambil. Pertama, mengingat hasil pengamatan variabel tak bebas Y belum tentu
sama besarnya dengan harga diharapkan, yakni Ŷ yang didapat dari regresi hasil
pengamatan, maka terjadi perbedaan e = Y – Ŷ, biasa disebut kekeliruan prediksi atau
galat prediksi.
 Asumsi kedua yang diambil adalah bahwa untuk setiap harga X yang diberikan.
Variabel tak bebas Y independen dan berdistribusi normal dengan rata-rata (01 + 02X)
dengan vaians ϭ2y.x. Varians ϭ2y.x dimisalkan sama untuk setiap X dan karenanya
dapat di nyatakan oleh yang biasa pula dinamakan varians kekeliruan taksiran
sedangkan Oy.x . dikenal dengan kekeliruan baku taksiran.
Berpegang pada asumsi-asumsi diatas, maka varians ϭ2e ditaksir oleh rata-rata
kuadrat penyimpangan sekitar regresi atau disebut juga rata-rata kuadrat residu,
dinyatakan oleh varians S2e yang rumusnya berbentuk :

S2y.x = Se2 = ∑(Yi – Ŷi)2 / (n – 2)

Dengan Y = variabel takbebas hasil pengamatan, Ŷ = didapat dari regresi

berdasarkan sampel, dan n = ukuran sampel.
𝑛−1
S2y.x = (𝑛−2) (SY2 – b2 Sx2)

Dengan Sy2 dan Sx2 masing-masing menyatakan varians untuk variabel-variabel

Y dan X.
Setelah kita berhasil menghitung Se2 maka varians-varians lainya untuk regresi
linier sederhana dapat ditentukan ialah : varians koefisien regresi b

Sb2 = Sy2. X /∑ (Xi – X)2

6. Interval Kepercayaan Sehubungan Dengan Regresi Linier

Kita lihat bahwa regresi linier populasi dalam rumus XV telah ditaksir oleh
regresi linier sampel Ŷ = a + bX dengan koefisien – koefisien a dan b dihitung
menggunakan rumus XV. Jadai nampak bahwa a dan b masing-masing merupakan titik
taksiran untuk 01 dan 02. Dengan asumsi-asumsi yang diberikan dalam bagian 5, maka
berbagai interval taksiran dengan sehubungan dengan regresi linier,termasuk untuk 01
dan 02 dapat ditentukan.
Jika koefisen kepercayaan diambil y, 0 < y < 1, maka inter val taksiran untuk 0 1
ditentukan oleh
 a – t1/2 (1+y) Sa < 01 a + t1/2(1+y) Sa

Dengan Sa dihitung menggunakan rumus XV dan derajat kebebasan dk untuk

distribusi t yang dipakai adalah (n – 2)
Sejalan dengan ini, interval taksiran untuk 02 dapat dihitung dari

b – t1/2 (1+y) Sb < 01 b + t1/2(1+y) Sb

Dengan Sb dihitung dengan menggunakan rumus XV

Taksiran yang lebih penting lagi dalam regresi linier adalah menaksir rata-rata Y
untuk X diketahui, (diberi simbol µy-x) dan taksiran individu Y jika diketahui X.
Koefisien kepercayaan Y adalah

Ŷ – t1/2 (1+y) SŶ < µy.x < Ŷ + t1/2(1+y) SŶ

Dengan SŶ dihitung menggunakan rumus XV sedangkan untuk distribusi t

diambil dk = (n – 2)
Seperti rumus XV hanya bedanya terletak pada penggunaan SŶ. Seperti rumus

Ŷ – t1/2 (1+y) SŶ < Y< Ŷ + t1/2(1+y) SŶ

Untuk taksiran individu Y, diambil harga-harga Y bilangan asli untuk interval

33 ≤ Y ≤ 38, karena yang ditaksir individu berupa manusia yang tidak mungkin
pecahan.
7. Menguji Hipotesis
Kembali kepada populasi normal bervariabel dua dengan koefisien korelasi ρ.
Dari modelnya, jika ρ = 0. Maka ternyata bahwa X dan Y independen. Sehingga dalam
hal populasi berdistribusi normal, ρ = 0 mengakibatkan bahwa X dan Y independen
dan sebaliknya. Sifat ini tidak berlaku untuk populasi yang tidak berdistribusi normal.
Mengingat dalm banyak penelitian sering ingin mengetahui apakah antara dua
variabel terdapat hubungan yang independen atau tidak, maka kita perlu melakukan uji
independen. Dalam hal ini, maka hipotesis yang harus diuji adalah:
H0 : ρ = 0 melawan H1 : ρ = 0
 Uji ini sebenarnya ekivalen dengan uji H0 : θ2 = 0 dimana θ2 menyatakan
koefisien arah regresi linier untuk populasi. Jika sampel acak yang diambil dari
populasi normal bervariabel dua yaitu berukuran n memiliki koefisien korelasi r, maka
dapat digunakan statistik t seperti dicantumkan dalam rumus yaitu:

𝑟 √𝑛−2
t=
√1−𝑟 2

Sekarang marilah kita tinjau bagaiman menguji hipotesis ρ yang tidak nol dapat
dilakukan.
Seperti telah dijelaskan dalam bagian sebelumnya, jika sampel acak di ambil dari
populasi normal bervariabel dua dengan koefisien korelasi ρ = 0. Maka dengan
transformasi fisher akan diperoleh distribusi normal dengan rata-rata dan simpangan
baku seperti tertera dalam rumus sebelumnya. Untuk dapat menggunakan daftar
distribusi normal baku, selanjutnya perlu digunakan angka z:
𝑍−𝜋𝑧
z= 𝜎𝑧
Angka z inilah yang akan digunakan untuk menguji hipotesis:
H0 : ρ = 0 melawan H1 : ρ = 0 melawan salah satu alternatif:
H1 : ρ = ρo, atau
H1 : ρ > ρo, atau
H1 : ρ < ρo
Jika taraf nyata pengujian diambil α, maka daerah kritis, seperti biasa, ditentukan
oleh bentuk alternatif, apakah dua pihak, pihak kanan atau pihak kiri.

8. Korelasi Ganda Dan Korelasi Parsial

Persoalan berikutnya, setelah regresi linier ganda dihitung, ialah menetukan
derajat hubungan antara variabel-variabel. Sebagaimana regresi linier untuk Y atas X
yang dijelaskan dalam bagian 4, menghasilkan rumus (6) untu r2, maka dari regresi
linier ganda pun akan didapatkan hal yang serupa. Untuk membedakan dengan korelasi
antara dua variabel X dan Y, yang telah dinyatakan dengan r, maka untuk mengukur,
derajat hubungan antara tiga variabel atau lebih, akan digunakan simbul R.
Berdasarkan regresi linier ganda:
Ŷ = a0 + a2X2 + ....... + akXk
Maka R ditentukan oleh rumus:

𝐽𝐾𝑟𝑒𝑔
R2 = Ʃ𝑦𝑖 2

Jika dinyatakan dalam kekeliruan baku taksiran maka koefisien korelasi ganda
dapat ditulis sebagai berikut:
2
(𝑛−𝑘−1)𝑠𝑦.1 2…..𝑘
R2 =1- 2
(𝑛−1)𝑠𝑦

Dengan sy menyatakan simpangan baku untuk variabel Y. R dinamakan koefisien

korelasi ganda antara Y dengan k buah variabel X1, X2, . . . . .,Xk;
Tentu saja R2 dinamakan koefisien determinasi ganda.
Untuk harga k (banyak variabel bebas) yang kecil, koefisien korelasi ganda dapat
pula dihitung dengan menggunakan koefisien korelasi antara dua variabel. Demikian
misalnya, untuk Y, X1 dan X2 koefisien korelasi ganda R, disini akan dinyatakan
dengan Ry.12, dapat dihitung dengan rumus:

2 + 𝑟 2 −2𝑟
𝑟𝑦1 𝑦2 𝑦1 𝑟𝑦2 𝑟𝑦12
Ry.12 = √ 2
1− 𝑟𝑦12

Dengan ry1 = koefisien korelasi antara Y dan X1

ry2 = koefisien korelasi antara Y dan X2
ry3 = koefisien korelasi antara X1 dan X2
yang masing-masing dihitung dengan salah satu rumus yang terdapat dalam
bagian 3.
Dengan menggunakan koefisien korelasi ganda R ini, kita juga dapat menguji
keberartian korelasi ini, kita dapat menguji keberartian regresi.
Untuk ini digunakan statistik F yang ditentukan oleh:
 𝑅 2⁄
𝑘
F = 1 - (1− 𝑅2
⁄(𝑛−𝑘−1)

Dengan k menyatakan banyak variabel bebas dan n = ukuran sampel. Statistik

F ini berdistribusi F dengan dk pembilang = k dan dk penyebut = (n – k – 1)
Akhirnya dapat dikemukakan bahwa antara koefisien korelasi, koefisien korelasi
ganda dan korelasi parsil terdapat hubungan tertentu. Untuk variabel-variabel Y, X1,
X2 misalnya, didapat hubungan:
2 2 2
(1 - 𝑅𝑦.12 ) = (1 - 𝑟𝑦1 )(1 - 𝑟𝑦21 )

9. Uji Koefisien Regresi Ganda

Dalam bagian 11 telah dikemukakan persoalan mengenai berapa besar
konstribusi yang diberikan oleh setiap variabel bebas terhadap prediksi variabel
takbebas Y berdasarkan regresi linier ganda.
Meskipun disitu telah diberikan cara uji keberartian regresi, uji F dengan
statistik F seperti dicantumkan dalam rumus diatas, namun kita belum tahu bagaimana
keberartian adanya setiap variabel bebas dalam regresi itu. Oleh karena itu, perlu
diadakan pengujian tersendiri mengenai koefisien-koefisien regresi, spserti halnya
pengujian mengenai koefisien-koefisien θ1, dan θ2, utamanya θ2, untuk regresi linier
Y = θ1 + θ2 .
Yang berdasarkan sebua sampel acak berukuran n di taksir oleh regresi
berbentuk:
Ŷ = a0 + a1X1 + a2X2 + ....... + akXk
Akan di uji hipotesis dalam bentuk:
H1 : θi = 0, i = 1,2,. . . ., k
H1 : θi = 0, i = 1,2, . . ., k
Untuk menguji hipotesis ini digunakan kekeliruan baku taksiran sy 1,2. . . . k. Maka
dibentuk koefisien ai, yakni

2
𝑟𝑦.12...𝑘
Sai = √
(Ʃ𝑥𝑖2 )(1−𝑅𝑖2 )
 Selanjutnya hitung statistik

𝑎𝑖
ti = √
𝑠𝑎𝑖

Yang ternyata akan berdistribusi student t dengan derajat kebebasan dk = (n –

k - 1). Kriterianya adalah tolak hipotesis H0 jika ti terlalu besar ataupun terlalu kecil.
Dalam hal ini H0 diterima.

10. Korelasi Biseri

Korelasi antara dua variabel atau lebih yang sifatnya kuantitatif telah kita bahas
dalam bagian-bagian yang lalu. Demikian pula mengenai asosiasi antara dua faktor
berbentuk atribut telah diuraikan dalam bagian 4.
Sekarang yang akan kita lihat bagaimana hubungan antara variabel kontinu Y
dapat diukur secara kuantitatif dan faktor X yang sifatnya dikotomus, yakni yang
terjadi atas dua kategori. Misalnya, mungkin kita ingin mengertahui korelasi antara
nilai ujian tertulis (Y) dan hasil pekerjaan rumah (X) yang dikategorikan kedalam
memuaskan atau tidak memuaskan, ujian lisan yang digolongkan lulus atau tidak lulus
dan sebagainya. Derajat hubungan yang digunakan untuk hal demikian dinamakan
koefisien korelasi biseri.
Agar supaya koefisien korelasi biseri dapat dihitung mempunyai taksiran yang
berarti, maka diperlukan asumsi-asumsi berikut:
1) Y berdistribusi normal
2) Asal distribusi variabel x yang digolongkan menjadi dua kategori berbentuk normal.
3) Regresi untuk variabel Y atas X berbentuk linier.
Dengan adnya dua kategori variabel X, maka ada nilai-nilai variabel Y yang
masuk kategori pertama dan ada yang masuk kategori kedua. Yang menjadi kategori
pertama biasanya diambil kelompok yang bersifat superior atau yang mempunyai
karakteristik yang dihendaki. Jika selanjutnya dimisalkan:
1) Ŷ1 = rata-rata variabel Y yang didapat karena kategori pertama.
2) Ŷ2 = rata-rata variabel yang didapat karena kategori kedua.
3) Sy = simpangan baku untuk semua nilai Y
4) p = proporsi pengamatan
5) q = proporsi pengamatan yang ada dalam kategori kedua.
6) u = tinggi ordinat dari kurva normal baku pada titik z yang memotong bagian luas
normal baku menjadi bagian p dan q.
Maka rumus untuk koefisien korelasi biseri, dinyatakan dengan rb, adalah:

(Ŷ1 – Ŷ2)pq
Rb =
𝑢 𝑠𝑦

Dimana, tentu saja p + q = 1