Regresi Linier Sederhana

Regresi linier sederhana (SLR) adalah alat statistik yang digunakan untuk memeriksa

hubungan antara satu variabel prediktor (independen) dan satu

variabel respon kuantitatif (dependen). Analisis regresi linier sederhana

menghasilkan persamaan regresi yang dapat digunakan dalam prediksi. Sebuah tipikal

Percobaan melibatkan mengamati sampel pengamatan berpasangan di mana

variabel independen (X) mungkin telah diperbaiki pada berbagai nilai yang menarik

dan variabel dependen telah diamati. Ini menghasilkan

pengamatan kadang-kadang disebut sebagai sampel pelatihan. Sampel ini adalah

kemudian digunakan untuk membuat persamaan yang bisa digunakan untuk memprediksi dependen

variabel diberi nilai variabel independen.

Aplikasi yang Tepat untuk Regresi Linier Sederhana

• Seberapa Baik Tes Medis Baru? Tes medis baru (lebih murah) adalah

dikembangkan untuk berpotensi menggantikan tes konvensional (lebih mahal). SEBUAH

persamaan regresi dikembangkan untuk menentukan seberapa baik tes baru (independen

variabel) memprediksi hasil tes konvensional (dependen

variabel).

• Tekanan Darah Sistolik dan Merokok. Seorang peneliti medis ingin mengerti

hubungan antara berat badan (variabel independen) dan sistolik

tekanan darah (variabel dependen) pada pria yang lebih tua dari 40 tahun yang

merokok. Persamaan regresi diperoleh untuk menentukan seberapa baik darah

tekanan membaca dapat diprediksi dari berat badan untuk laki-laki lebih tua dari usia 40

siapa yang merokok.

• Haruskah Saya Menghabiskan Lebih Banyak untuk Iklan? Pemilik situs web ingin tahu

jika biaya iklan mingguan (variabel independen) pada saluran kabel

terkait dengan jumlah kunjungan ke situsnya (variabel dependen). Dalam data

tahap pengumpulan, biaya iklan diperbolehkan bervariasi dari minggu ke minggu. Persamaan regresi
diperoleh dari sampel pelatihan ini untuk menentukan caranya jumlah kunjungan ke situs dapat
diprediksi dari biaya iklan.
Pertimbangan Desain untuk Regresi Linier Sederhana Ada Garis Regresi Teoritis Garis regresi yang
dihitung dari data adalah versi berbasis sampel garis teoritis yang menggambarkan hubungan antara
variabel independen (X) dan variabel dependen (Y). Garis teoretis memiliki bentuk

Y=α +βX+ε

di mana α adalah intersep-y, β adalah kemiringan, dan ε adalah istilah kesalahan dengan nol varians
rata-rata dan konstan. Perhatikan bahwa β = 0 menunjukkan bahwa tidak ada linier hubungan antara
X dan Y.

Garis regresi yang diperoleh untuk memprediksi variabel dependen (Y) dari variabel independen (X)
diberikan oleh

Y= a + bX)

dan itu adalah garis dari mana jumlah dari perbedaan vertikal kuadrat dari titik-titik di sebar X-Y ke
garis minimum. Dalam praktiknya, Y ^ adalah prediksi variabel dependen mengingat variabel
independen mengambil nilai X. Kami mengatakan bahwa nilai a dan b adalah kuadrat terkecil
estimasi masing-masing α dan β. Artinya, estimasi kuadrat terkecil adalah mereka yang perbedaan
jumlah kuadrat antara Y yang diamati nilai-nilai dan nilai-nilai Y yang diprediksi diminimalkan. Untuk
lebih spesifik, the estimasi kuadrat terkecil a dan b adalah nilai-nilai a dan b yang jumlahnya dari
jumlah (Yi - a - bXi) 2, i = 1,. . . , N diminimalkan.

Hipotesis untuk Analisis Regresi Linier Sederhana Untuk mengevaluasi seberapa baik satu set data
cocok dengan model regresi linier sederhana, a uji statistik dilakukan mengenai kemiringan (β) dari
regresi teoritis baris. Hipotesisnya adalah sebagai berikut:

H0: β = 0 (kemiringan adalah nol; tidak ada hubungan linear antara variabel). Ha: β ≠ 0 (kemiringan
tidak nol; ada hubungan linier antara variabel). Hipotesis nol menunjukkan bahwa tidak ada
hubungan linear antara dua variabel. Tes satu sisi (menentukan bahwa kemiringan positif atau
negatif) juga dapat dilakukan. Nilai p rendah untuk tes ini (kurang dari 0,05) akan mengarahkan Anda
untuk menyimpulkan bahwa ada hubungan linear antara keduanya variabel dan pengetahuan X akan
berguna dalam prediksi Y.

Regresi Linier Berganda

Regresi linier berganda adalah perpanjangan dari regresi linier sederhana

ada variabel dependen (respons) tunggal (Y) dan k independen (prediktor)

variabel Xi, i = 1,. . . , k. Dalam regresi linier berganda, dependen

variabel adalah variabel kuantitatif sedangkan variabel independen mungkin

variabel kuantitatif atau indikator (0, 1). Tujuan umum dari multiple

Analisis regresi adalah membuat persamaan regresi untuk memprediksi

variabel dependen dari sekelompok variabel independen. Hasil yang diinginkan

analisis semacam itu dapat meliputi:

1. Layar variabel independen untuk menentukan mana yang merupakan prediktor yang baik dan
dengan demikian menemukan model prediksi yang paling efektif (dan efisien). 2. Dapatkan estimasi
koefisien individu dalam model untuk memahami peran prediktif dari variabel independen individu
yang digunakan.

Pertimbangan Desain untuk Regresi Linier Berganda Persamaan Regresi Berganda Teoritis Ada Yang
Menjelaskan Hubungan Antara Variabel Dependen dan Variabel Independen Seperti dalam kasus
regresi linier sederhana, persamaan regresi berganda dihitung dari data adalah versi berbasis sampel
dari persamaan teoritis menggambarkan hubungan antara variabel independen k dan variabel
dependen Y. Persamaan teoretis berbentuk

Y = α + β1X1 + β2X2 +. . . + βkXk + ε

di mana α adalah istilah intersep dan βi adalah koefisien regresi yang sesuai

ke variabel independen engan. Juga, seperti dalam regresi linier sederhana, ε adalah

istilah kesalahan dengan varians nol rata-rata dan konstan. Perhatikan bahwa jika βi = 0, maka

dalam pengaturan ini, variabel independen ke-i tidak berguna dalam memprediksi

variabel tak bebas.

Persamaan regresi berganda yang diperoleh dari data untuk prediksi variabel dependen dari variabel
independen k diberikan oleh

Y ^ = a + b1X1 + b2X2 +. . . + bkXk.

Seperti dalam kasus regresi linier sederhana, koefisien a, b1, b2,. . . , dan bk adalah estimasi kuadrat
terkecil dari koefisien yang sesuai dalam teori model. Artinya, seperti dalam kasus regresi linier
sederhana, paling sedikit estimasi kotak dan b1,. . . , bk adalah nilai yang dijumlahkan perbedaan
antara nilai-nilai y yang diamati dan nilai-nilai y yang diprediksi diminimalkan.

Hipotesis untuk Regresi Linier Berganda Dalam analisis regresi berganda, prosedur yang biasa
digunakan untuk menentukan apakah variabel independen h berkontribusi pada prediksi variabel
dependen adalah untuk menguji hipotesis berikut: H0: βi = 0 Ha: βi ≠ 0 untuk i = 1,. . . , k. Masing-
masing tes ini dilakukan dengan menggunakan uji-t. Akan ada k dari tes ini (satu untuk setiap
variabel independen), dan sebagian besar statistik paket melaporkan t-statistik dan nilai-p yang
sesuai.

Perhatikan bahwa jika tidak ada hubungan linear apa pun antara variabel dependen

dan variabel independen, maka semua β akan menjadi nol. Paling

program juga melaporkan uji-F dalam analisis varians output yang menyediakan

tes tunggal dari hipotesis berikut:

H0: β1 = β2 =. . . = βk = 0 (tidak ada hubungan linear antara dependen

variabel dan pengumpulan variabel independen).

Ha: Setidaknya satu dari βi adalah bukan nol (ada hubungan linier antara

variabel dependen dan setidaknya satu dari variabel independen).

Kerangka kerja analisis-varians memecah total variabilitas dalam

variabel dependen (yang diukur dengan jumlah total kuadrat) oleh yang mana

dapat dijelaskan dengan regresi menggunakan X1, X2,. . . , Xk (jumlah regresi

kuadrat) dan apa yang tidak bisa dijelaskan oleh regresi (kesalahan

jumlah kuadrat). Merupakan praktik yang baik untuk memeriksa nilai-p yang terkait dengan ini

keseluruhan uji-F sebagai langkah pertama dalam prosedur pengujian. Lalu, apakah ini p-value

kurang dari 0,05, Anda akan menolak hipotesis nol tidak ada hubungan linier

dan lanjutkan untuk memeriksa hasil uji-t. Namun, jika

p-value untuk F-test lebih besar dari 0,05, maka Anda tidak memiliki bukti apa pun

hubungan antara variabel dependen dan variabel independen

variabel, jadi Anda tidak harus memeriksa uji-t individu. Temuan dari

signifikansi pada titik ini akan dipertanyakan.