Analisis regresi merupakan alat statistik yang memanfaatkan hubungan antara dua atau lebih

variabel kuantitatif sehingga salah satu variabel dapat diprediksi dari variabel yang lain.
Contohnya, jika diketahui hubungan antara biaya iklan dan penjualan, maka dapat
diperkirakan nilai penjualan berdasarkan analisis regresi dengan biaya iklan yang ditentukan.
REGRESI VS KORELASI
Persamaan : Keduanya mempelajari hubungan antar variabel
REGRESI
1. Mempelajari bentuk hubungan antar variabel melalui suatu persamaan (RLS, RLB,
Regresi non Linier). Hubungan bisa berupa hubungan sebab akibat
2. Dapat mengukur seberapa besar suatu variabel mempengaruhi variabel lain
3. Dapat digunakan untuk melakukan peramalan nilai suatu variabel berdasarkan
variabel lain
KORELASI
1. Mempelajari keeratan hubungan antar 2 variabel kuantitatif yang bisa dilihat dari
besarnya angka, bukan tandanya
2. Dapat mengetahui arah hubungan yang terjadi (berbanding lurus jika tandanya positif,
dan berbanding terbalik jika tandanya negatif)
3. Nilainya berkisar -1 sampai dengan 1
4. Tidak bisa menyatakan hubungan sebab akibat
Korelasi yang tinggi tidak selalu berarti bahwa suatu variabel
menyebabkan/mempengaruhi variabel yang lain
Contoh :

# kematian karena kekeringan di musim panas

# soft drink yang dikonsumsi di musim panas

Misal didapatkan hasil High positive correlation. Pertanyaanya Apakah soft drink
menyebabkan kematian??
VARIABEL BEBAS (INDEPENDENT) DAN VARIABEL TAK BEBAS (DEPENDENT)
- Dependent Variable / Variabel Tak Bebas (Y) : Variabel yang nilainya ditentukan oleh
variabel lain. Diasumsikan bersifat random/stochastic.
- Independent Variable / Variabel Bebas (X) : Variabel yang nilainya ditentukan secara bebas
(variabel yang diduga mempengaruhi variabel tak bebas). Diasumsikan bersifat fixed/non
stochastic.
Syarat :
Y: Berjenis data kuantitatif

X: Berjenis data kuantitatif atau kualitatif/kategorik

Jenis data untuk Y:

- Data observasi
Diperoleh tanpa melakukan kontrol terhadap variabel X -> tidak kuat menyatakan hubungan
sebab-akibat

- Data Eksperimen

Diperoleh dengan melakukan kontrol terhadap variabel X -> dapat menyatakan hubungan
sebab-akibat

KONSEP DASAR
- Pada suatu nilai X tertentu akan terdapat banyak kemungkinan nilai-nilai Y (Y akan
terdistribusi mengikuti suatu fungsi peluang tertentu->diasumsikan berdistribusi normal)
dengan nilai rata-rata E(Y) dan nilai varians tertentu.

- Nilai rata-rata E(Y) diasumsikan berubah secara sistematik mengikuti perubahan nilai X,
yang digambarkan dalam bentuk garis linier
- Nilai varians pada setiap nilai X akan sama
Tahapan-tahapan dalam analisis regresi:
1. Identifikasi dan pembentukan model
2. Pendugaan parameter model
3. Pengujian keberartian parameter
4. Penilaian ketepatan model (goodness of fit) dan pemeriksaan asumsi
IDENTIFIKASI MODEL
>> Menggunakan scatter plot/diagram pencar :

- Berguna untuk mengidentifikasi model hubungan antara variabel X dan Y

- Bila pencaran titik-titik pada plot ini menunjukkan adanya suatu kecenderungan (trend)
yang linier maka model regresi linier layak digunakan. Bila bentuk pencarannya parabola
maka regresi kuadratik yang layak digunakan, dan sebagainya.

>> Beberapa contoh model regresi linier (linier artinya linier dalam parameter):

- Regresi Linier Sederhana (RLS) :

- Regresi Linier Berganda (RLB):

- Regresi Polinomial Ordo 2 dengan 1 variabel bebas:

- Regresi Polinomial Ordo 2 dengan 2 variabel bebas dan interaksi

KONSEP DASAR REGRESI LINEAR SEDERHANA

Analisis regresi linier sederhana adalah hubungan secara linear
antara satu variabel independen (X) dengan variabel dependen (Y).
Analisis ini untuk mengetahui arah hubungan antara variabel
independen dengan variabel dependen apakah positif atau negatif
dan untuk memprediksi nilai dari variabel dependen apabila nilai
variabel independen mengalami kenaikan atau penurunan.. Data
yang digunakan biasanya berskala interval atau rasio.
Rumus regresi linear sederhana sebagi berikut:
Y = a + bX
Keterangan:
Y = Variabel dependen (nilai yang diprediksikan)
X = Variabel independen
a = Konstanta (nilai Y apabila X = 0)
b = Koefisien regresi (nilai peningkatan ataupun penurunan)

Contoh kasus:
Seorang mahasiswa bernama Hermawan ingin meneliti tentang
pengaruh biaya promosi terhadap volume penjualan pada
perusahaan jual beli motor. Dengan ini di dapat variabel dependen
(Y) adalah volume penjualan dan variabel independen (X) adalah
biaya promosi. Dengan ini Hermawan menganalisis dengan bantuan
program SPSS dengan alat analisis regresi linear sederhana. Data-
data yang di dapat ditabulasikan sebagai berikut:

Tabel. Tabulasi Data Penelitian (Data Fiktif)

Volume
No Biaya Promosi
Penjualan
1 12,000 56,000
2 13,500 62,430
3 12,750 60,850
4 12,600 61,300
5 14,850 65,825
6 15,200 66,354
7 15,750 65,260
8 16,800 68,798
9 18,450 70,470
10 17,900 65,200
11 18,250 68,000
12 16,480 64,200
13 17,500 65,300
14 19,560 69,562
15 19,000 68,750
16 20,450 70,256
17 22,650 72,351
 18 21,400 70,287
19 22,900 73,564
20 23,500 75,642

Langkah-langkah pada program SPSS

Masuk program SPSS
Klik variable view pada SPSS data editor
Pada kolom Name ketik y, kolom Name pada baris kedua ketik x.
Pada kolom Label, untuk kolom pada baris pertama ketik Volume
Penjualan, untuk kolom pada baris kedua ketik Biaya Promosi.
Untuk kolom-kolom lainnya boleh dihiraukan (isian default)
Buka data view pada SPSS data editor, maka didapat kolom variabel
y dan x.
Ketikkan data sesuai dengan variabelnya
Klik Analyze - Regression - Linear
Klik variabel Volume Penjualan dan masukkan ke kotak Dependent,
kemudian klik variabel Biaya Promosi dan masukkan ke kotak
Independent.
Klik Statistics, klik Casewise diagnostics, klik All cases. Klik Continue
Klik OK, maka hasil output yang didapat pada kolom Coefficients dan
Casewise Diagnostics adalah sebagai berikut:

Tabel. Hasil Analisis Regresi Linear Sederhana

 Persamaan regresinya sebagai berikut:

Y = a + bX
Y = -28764,7 + 0,691X

Angka-angka ini dapat diartikan sebagai berikut:

- Konstanta sebesar -28764,7; artinya jika biaya promosi (X) nilainya
adalah 0, maka volume penjulan (Y) nilainya negatif yaitu sebesar
-28764,7.
- Koefisien regresi variabel harga (X) sebesar 0,691; artinya jika
harga mengalami kenaikan Rp.1, maka volume penjualan (Y) akan
mengalami peningkatan sebesar Rp.0,691. Koefisien bernilai positif
artinya terjadi hubungan positif antara harga dengan volume
penjualan, semakin naik harga maka semakin meningkatkan volume
penjualan.
Nilai volume penjualan yang diprediksi (Y) dapat dilihat pada
tabel Casewise Diagnostics (kolom Predicted Value). Sedangkan
Residual (unstandardized residual) adalah selisih antara Volume
Penjualan dengan Predicted Value, dan Std. Residual (standardized
residual) adalah nilai residual yang telah terstandarisasi (nilai
semakin mendekati 0 maka model regresi semakin baik dalam
melakukan prediksi, sebaliknya semakin menjauhi 0 atau lebih dari 1
atau -1 maka semakin tidak baik model regresi dalam melakukan
prediksi).
 - Uji Koefisien Regresi Sederhana (Uji t)
Uji ini digunakan untuk mengetahui apakah variabel independen
(X) berpengaruh secara signifikan terhadap variabel dependen (Y).
Signifikan berarti pengaruh yang terjadi dapat berlaku untuk
populasi (dapat digeneralisasikan).
Dari hasil analisis regresi di atas dapat diketahui nilai t hitung
seperti pada tabel 2. Langkah-langkah pengujian sebagai berikut:
1. Menentukan Hipotesis
Ho : Ada pengaruh secara signifikan antara biaya promosi dengan
volume penjualan
Ha : Tidak ada pengaruh secara signifikan antara biaya promosi dengan
volume penjualan
enentukan tingkat signifikansi
Tingkat signifikansi menggunakan = 5% (signifikansi 5% atau 0,05
adalah ukuran standar yang sering digunakan dalam penelitian)
3. Menentukan t hitung
Berdasarkan tabel diperoleh t hitung sebesar 10,983
4. Menentukan t tabel
Tabel distribusi t dicari pada = 5% : 2 = 2,5% (uji 2 sisi) dengan
derajat kebebasan (df) n-k-1 atau 20-2-1 = 17 (n adalah jumlah
kasus dan k adalah jumlah variabel independen). Dengan pengujian
2 sisi (signifikansi = 0,025) hasil diperoleh untuk t tabel sebesar
2,110 (Lihat pada lampiran) atau dapat dicari di Ms Excel dengan
cara pada cell kosong ketik =tinv(0.05,17) lalu enter.
5. Kriteria Pengujian
erima jika t tabel < t hitung < t tabel
Ho ditolak jika -thitung < -t tabel atau t hitung > t tabel
6. Membandingkan t hitung dengan t tabel
Nilai t hitung > t tabel (10,983 > 2,110) maka Ho ditolak.
7. Kesimpulan
Oleh karena nilai t hitung > t tabel (10,983 > 2,110) maka Ho
ditolak, artinya bahwa ada pengaruh secara signifikan antara biaya
promosi dengan volume penjualan. Jadi dalam kasus ini dapat
disimpulkan bahwa biaya promosi berpengaruh terhadap volume
penjualan pada perusahaan jual beli motor.

KONSEP DASAR REGRESI LOGISTIK

Analisis regresi logistik digunakan untuk menjelaskan hubungan antara variabel respon
yang berupa data dikotomik/biner dengan variabel bebas yang berupa data berskala interval
dan atau kategorik (Hosmer dan Lemeshow, 1989). Variabel yang dikotomik/biner adalah
variabel yang hanya mempunyai dua kategori saja, yaitu kategori yang menyatakan kejadian
sukses (Y=1) dan kategori yang menyatakan kejadian gagal (Y=0). pada model model linear
umum komponen acak tidak harus mengikuti sebaran normal, tapi harus masuk
dalam sebaran keluarga eksponensial.Sebaran bernoulli termasuk dalam salah satu dari
sebaran keluarga eksponensial. Variabel respon Y ini, diasumsikan mengikuti distribusi
Bernoulli.

Perbedaan antara regresi logistik dengan analisis regresi biasa? kenapa

tidak pakai analisis regresi biasa aja?
Sebenarnya untuk masalah diatas bisa digunakan analisis regresi OLS. Tapi harus
memenuhi asumsi bahwa 0 <= E(Yi Xi) <= 1. Namun persyaratan tersebut sulit
untuk terpenuhi. sehingga metode regresi OLS kurang cocok untuk data kuantitatif
dan lebih baik menggunakan metode regresi logistik.

contoh Kasus dalam regresi logsitik

biner:

1. Pengaruh Tingkat Pendidikan, Lapangan Kerja yg dimasuki, Pendapatan,

Pengeluaran, Jumlah ART terhadap status kemiskinan (Miskin/TIdak
Miskin).
2. Pengaruh Pendapatan Keluarga, Banyaknya Anggota Keluarga, Jenis rumah,
Usia Kepala Keluarga terhadap Kepemilikan rumah (Punya rumah/tidak)

Berdasarkan dua contoh tersebut mungjkin sudah membuka pikiran untuk kasus
seperti apa regresi logistik digunakan. intinya variabel dependentnya dikotomi
artinya memiliki dua kategori seperti pada kasus diatas yang ditebal.

Kenapa cuma dua kategori aja? tidak bisa lebih dari tiga kategori?

Untuk metode ini tidak bisa karena hanya bisa dua sesuai dengan namanya. untuk
masalah diatas ada metode lain yang bisa digunakan yaitu regresi logistik ordinal.

Bagaimana langkah-langkah atau prosedur statistiknya? sebagai

referensi buat skripsi.hehehe
Bentuk umum model peluang regresi logistik dengan p variabel penjelas,
diformulasikan sebagai berikut:
dengan (x) adalah peluang kejadian sukses dengan nilai probabilita 0(x)1 dan
j adalah nilai parameter dengan j = 1,2,......,p. (x) merupakan fungsi yang non
linier, sehingga perlu dilakukan transformasi ke dalam bentuk logit untuk
memperoleh fungsi yang linier agar dapat dilihat hubungan antara variabel bebas
dan variabel tidak bebas. Dengan melakukan transformasi dari logit (x), maka
didapat persamaan yang lebih sederhana, yaitu:

Jika dari beberapa variabel bebas ada yang berskala nominal atau ordinal, maka
variabel tersebut tidak akan tepat jika dimasukkan dalam model logit karena angka-
angka yang digunakan untuk menyatakan tingkatan tersebut hanya sebagai
identifikasi dan tidak mempunyai nilai numerik dalam situasi seperti ini diperlukan
variabel dummy. Untuk variabel bebas dengan skala ordinal maupun nominal
dengan k kategori, akan diperlukan sebanyak k-1 variabel dummy.

Asumsi-asumsi dalam regresi logistik:

Tidak mengasumsikan hubungan linier antar variabel dependen dan
independent
Variabel dependen harus bersifat dikotomi (2 variabel)

Variabel independent tidak harus memiliki keragaman yang sama antar

kelompok variabel

Kategori dalam variabel independent harus terpisah satu sama lain atau
bersifat eksklusif

Sampel yang diperlukan dalam jumlah relatif besar, minimum dibutuhkan

hingga 50 sampel data untuk sebuah variabel prediktor (bebas).

Pendugaan Parameter
Metode untuk mengestimasi parameter-parameter yang tidak diketahui dalam model
regresi logistik ada 3 yaitu:
1. Metode kemungkinan maksimum (Maximum Likelihood Method)
2. Metode kuadrat terkecil tertimbang noniterasi (Noniterative Weight Least
Square Method)
3. Analisis fungsi diskriminan (Discriminant Fuction Analysis)

Pada dasarnya metode maksimum Likelihood merupakan metode kuadrat terkecil

tertimbang dengan beberapa proses iterasi, sedangkan metode noniterative weight
least square method hanya menggunakan satu kali iterasi. kedua metode
ini asymptoticaly equivalent, artinya jika ukuran sampel besar keduanya akan
menghasilkan estimator yang identik. Penggunaan fungsi diskriminan mensyaratkan
variabel penjelas yang kuantitatif berdistribusi normal. Oleh karena itu, penduga dari
fungsi diskriminan akan over estimate bila variabel penjelas tidak berdistribusi
normal.

Dari Ketiga metodei di atas, metode yang banyak digunakan adalah

metode maksimum likelihood dengan alasan lebih praktis (Nachrowi dan Usman,
2002). Metode maksimu likelihoood ini menduga parameter dengan nilai yang
memaksimumkan fungsi likelihood (likelihood function).

Uji Signifikansi Model

Untuk mengetahui pengaruh variabel bebas terhadap variabel tidak bebas secara
bersama-sama (overall) di dalam model, dapat menggunakan Uji Likelihood Ratio.
Hipotesisnya adalah sebagai berikut:
Ho: 1 = 2 =....= p = 0 (tidak ada pengaruh veriabel bebas secara simultan
terhadap variabel tak bebas)
H1: minimal ada satu j 0 (ada pengaruh paling sedikit satu veriabel bebas
terhadap variabel tak bebas)
Untuk j = 1,2,...,p
Statistik uji yang digunakan adalah:

Dengan :
Lo = Maksimum Lieklihood dari model reduksi (Reduced Model) atau model yang
terdiri dari konstanta saja
Lp = Maksimum Likelihood dari model penuh (Full Model) atau dengan semua
variabel bebas.

Statistik G2 ini mengikuti distribusi Khi-kuadrat dengan derajad bebas p sehingga

hipotesis ditolak jika p-value < , yang berarti variabel bebas X secara bersama-
sama mempengaruhi variabel tak bebas Y.

Uji Parsial dan Pembentukan Model

Pada umumnya, tujuan analsis statistik adalah untuk mencari model yang cocok dan
keterpautan yang kuat antara model dengan data yang ada. Pengujian keberartian
parameter (koefisien ) secara parsial dapat dilakukan melalui Uji Wald dengan
hipotesisnya sebagai berikut:

Ho: j = 0 (variabel bebas ke j tidak mempunyai pengaruh secara signifikan terhadap

variabel tidak bebas)
H1: j 0 (variabel bebas ke j mempunyai pengaruh secara signifikan terhadap
variabel tidak bebas)
Untuk j = 1,2,....,p

Dengan statistik uji sebagai berikut:

Hipotesis akan ditolak jika p-value < yang berarti variabel bebas Xj secara partial
mempengaruhi variabel tidak bebas Y.

Odds Ratio
Odds ratio merupakan ukuran risiko atau kecenderungan untuk mengalami
kejadian sukses antara satu kategori dengan kategori lainnya, didefinisikan
sebagai ratio dari odds untuk xj = 1 terhadap xj = 0. Odds ratio ini menyatakan risiko
atau kecenderungan pengaruh observasi dengan xj = 1 adalah berapa kali lipat jika
dibandingkan dengan observasi dengan xj = 0. Untuk variabel bebas yang berskala
kontinyu maka interpretasi dari koefisien j pada model regresi logistik adalah setiap
kenaikan c unit pada variabel bebas akan menyebabkan risiko terjadinya Y = 1,
adalah exp(c.j) kali lebih besar.

Odds ratio dilambangkan dengan , didefinisikan sebagai perbandingan dua nilai

odds xj = 1 dan xj = 0, sehingga: