Analisis regresi merupakan alat statistik yang memanfaatkan hubungan antara dua atau lebih

variabel kuantitatif sehingga salah satu variabel dapat diprediksi dari variabel yang lain.
Contohnya, jika diketahui hubungan antara biaya iklan dan penjualan, maka dapat
diperkirakan nilai penjualan berdasarkan analisis regresi dengan biaya iklan yang ditentukan.
REGRESI VS KORELASI
Persamaan : Keduanya mempelajari hubungan antar variabel
REGRESI
1. Mempelajari bentuk hubungan antar variabel melalui suatu persamaan (RLS, RLB,
Regresi non Linier). Hubungan bisa berupa hubungan sebab akibat
2. Dapat mengukur seberapa besar suatu variabel mempengaruhi variabel lain
3. Dapat digunakan untuk melakukan peramalan nilai suatu variabel berdasarkan
variabel lain
KORELASI
1. Mempelajari keeratan hubungan antar 2 variabel kuantitatif yang bisa dilihat dari
besarnya angka, bukan tandanya
2. Dapat mengetahui arah hubungan yang terjadi (berbanding lurus jika tandanya positif,
dan berbanding terbalik jika tandanya negatif)
3. Nilainya berkisar -1 sampai dengan 1
4. Tidak bisa menyatakan hubungan sebab akibat
”Korelasi yang tinggi tidak selalu berarti bahwa suatu variabel
menyebabkan/mempengaruhi variabel yang lain”
Contoh :

# kematian karena kekeringan di musim panas

# soft drink yang dikonsumsi di musim panas

Misal didapatkan hasil ”High positive correlation”. Pertanyaanya “Apakah soft drink

menyebabkan kematian??”
VARIABEL BEBAS (INDEPENDENT) DAN VARIABEL TAK BEBAS
(DEPENDENT)
- Dependent Variable  / Variabel Tak Bebas (Y) : Variabel yang nilainya ditentukan oleh
variabel lain. Diasumsikan bersifat random/stochastic.
- Independent Variable / Variabel Bebas (X) : Variabel yang nilainya ditentukan secara
bebas (variabel yang diduga mempengaruhi variabel tak bebas). Diasumsikan bersifat
fixed/non stochastic.
Syarat :
Y: Berjenis data kuantitatif

X: Berjenis data kuantitatif atau kualitatif/kategorik

Jenis data untuk Y:

-  Data observasi
Diperoleh tanpa melakukan kontrol terhadap variabel X -> tidak kuat menyatakan hubungan
sebab-akibat

-  Data Eksperimen

Diperoleh dengan melakukan kontrol terhadap variabel X -> dapat menyatakan hubungan
sebab-akibat

KONSEP DASAR
- Pada suatu nilai X tertentu akan terdapat banyak kemungkinan nilai-nilai Y (Y akan
terdistribusi mengikuti suatu fungsi peluang tertentu->diasumsikan berdistribusi normal)
dengan nilai rata-rata E(Y) dan nilai varians  tertentu.

- Nilai rata-rata E(Y) diasumsikan berubah secara sistematik mengikuti perubahan nilai X,
yang digambarkan dalam bentuk garis linier 
- Nilai varians  pada setiap nilai X akan sama 
 Tahapan-tahapan dalam analisis regresi:
1. Identifikasi dan pembentukan model
2. Pendugaan parameter model
3. Pengujian keberartian parameter
4. Penilaian ketepatan model (goodness of fit) dan pemeriksaan asumsi
IDENTIFIKASI MODEL
>>  Menggunakan scatter plot/diagram pencar :

- Berguna untuk mengidentifikasi model hubungan antara variabel X dan Y

- Bila pencaran titik-titik pada plot ini menunjukkan adanya suatu kecenderungan (trend)
yang linier maka model regresi linier layak digunakan. Bila bentuk pencarannya parabola
maka regresi kuadratik yang layak digunakan, dan sebagainya.

>> Beberapa contoh model regresi linier (linier artinya linier dalam parameter):

- Regresi Linier Sederhana (RLS) :

- Regresi Linier Berganda (RLB):

- Regresi Polinomial Ordo 2 dengan 1 variabel bebas:

- Regresi Polinomial Ordo 2 dengan 2 variabel bebas dan interaksi

KONSEP DASAR REGRESI LINEAR SEDERHANA

Analisis regresi linier sederhana adalah hubungan secara linear antara
satu variabel independen (X) dengan variabel dependen (Y). Analisis ini
untuk mengetahui arah hubungan antara variabel independen dengan
variabel dependen apakah positif atau negatif dan untuk memprediksi nilai
 dari variabel dependen apabila nilai variabel independen mengalami
kenaikan atau penurunan.. Data yang digunakan biasanya berskala interval
atau rasio.
Rumus regresi linear sederhana sebagi berikut:
Y’ = a + bX
Keterangan:
Y’ = Variabel dependen (nilai yang diprediksikan)
X   = Variabel independen
a    = Konstanta (nilai Y’ apabila X = 0)
         b    = Koefisien regresi (nilai peningkatan ataupun penurunan)

Contoh kasus:
Seorang mahasiswa bernama Hermawan ingin meneliti tentang
pengaruh biaya promosi terhadap volume penjualan pada perusahaan jual
beli motor. Dengan ini di dapat variabel dependen (Y) adalah volume
penjualan dan variabel independen (X) adalah biaya promosi. Dengan ini
Hermawan menganalisis dengan bantuan program SPSS dengan alat analisis
regresi linear sederhana. Data-data yang di dapat ditabulasikan sebagai
berikut:

                     Tabel. Tabulasi Data Penelitian (Data Fiktif)

No Biaya Promosi Volume Penjualan

1 12,000 56,000
2 13,500 62,430
3 12,750 60,850
4 12,600 61,300
5 14,850 65,825
6 15,200 66,354
7 15,750 65,260
8 16,800 68,798
9 18,450 70,470
10 17,900 65,200
11 18,250 68,000
12 16,480 64,200
13 17,500 65,300
14 19,560 69,562
15 19,000 68,750
16 20,450 70,256
17 22,650 72,351
18 21,400 70,287
 19 22,900 73,564
20 23,500 75,642

Langkah-langkah pada program SPSS

  Masuk program SPSS
  Klik variable view pada SPSS data editor
  Pada kolom Name ketik y, kolom Name pada baris kedua ketik x.
  Pada kolom Label, untuk kolom pada baris pertama ketik Volume Penjualan,
untuk kolom pada baris kedua ketik Biaya Promosi.
  Untuk kolom-kolom lainnya boleh dihiraukan (isian default)
  Buka data view pada SPSS data editor, maka didapat kolom variabel y dan x.
  Ketikkan data sesuai dengan variabelnya
  Klik Analyze  - Regression - Linear
  Klik variabel Volume Penjualan dan masukkan ke kotak Dependent,
kemudian klik variabel Biaya Promosi dan masukkan ke kotak Independent.
  Klik Statistics, klik Casewise diagnostics, klik All cases. Klik Continue
 Klik OK, maka hasil output yang didapat pada kolom Coefficients dan
Casewise Diagnostics adalah sebagai berikut:

              Tabel. Hasil Analisis Regresi Linear Sederhana

 Persamaan regresinya sebagai berikut:

Y’ = a + bX
Y’ =  -28764,7 + 0,691X

Angka-angka ini dapat diartikan sebagai berikut:

- Konstanta sebesar -28764,7; artinya jika biaya promosi (X) nilainya adalah 0,
maka volume penjulan (Y’) nilainya negatif yaitu sebesar -28764,7.
-  Koefisien regresi variabel harga (X) sebesar 0,691; artinya jika harga
mengalami kenaikan Rp.1, maka volume penjualan (Y’) akan mengalami
peningkatan sebesar Rp.0,691. Koefisien bernilai positif artinya terjadi
hubungan positif antara harga dengan volume penjualan, semakin naik harga
maka semakin meningkatkan volume penjualan. 
Nilai volume penjualan yang diprediksi (Y’) dapat dilihat pada tabel
Casewise Diagnostics (kolom Predicted Value). Sedangkan Residual
(unstandardized residual) adalah selisih antara Volume Penjualan dengan
Predicted Value, dan Std. Residual (standardized residual) adalah nilai residual
yang telah terstandarisasi (nilai semakin mendekati 0 maka model regresi
semakin baik dalam melakukan prediksi, sebaliknya semakin menjauhi 0 atau
lebih dari 1 atau -1 maka semakin tidak baik model regresi dalam melakukan
prediksi).

-     Uji Koefisien Regresi Sederhana (Uji t)

 Uji ini digunakan untuk mengetahui apakah variabel independen (X)
berpengaruh secara signifikan terhadap variabel dependen (Y). Signifikan
berarti pengaruh yang terjadi dapat berlaku untuk populasi (dapat
digeneralisasikan).
Dari hasil analisis regresi di atas dapat diketahui nilai t hitung seperti
pada tabel 2. Langkah-langkah pengujian sebagai berikut:
1.   Menentukan Hipotesis
Ho   : Ada pengaruh secara signifikan antara biaya promosi dengan volume
penjualan
Ha :    Tidak ada pengaruh secara signifikan antara biaya promosi dengan volume
penjualan
nentukan tingkat signifikansi
Tingkat signifikansi menggunakan  = 5% (signifikansi 5% atau 0,05 adalah
ukuran standar yang sering digunakan dalam penelitian)
      3.   Menentukan t hitung
Berdasarkan tabel  diperoleh t hitung sebesar 10,983
      4.   Menentukan t tabel
Tabel distribusi t dicari pada  = 5% : 2 = 2,5% (uji 2 sisi) dengan derajat
kebebasan (df) n-k-1 atau  20-2-1  = 17 (n adalah jumlah kasus dan k adalah
jumlah variabel independen). Dengan pengujian 2 sisi (signifikansi = 0,025)
hasil diperoleh untuk t tabel sebesar 2,110 (Lihat pada lampiran) atau dapat
dicari di Ms Excel dengan cara pada cell kosong ketik =tinv(0.05,17) lalu enter.
5.   Kriteria Pengujian
erima jika –t tabel < t hitung < t tabel
            Ho ditolak jika -thitung < -t tabel atau t hitung > t tabel
6.   Membandingkan t hitung dengan t tabel
Nilai t hitung > t tabel (10,983 > 2,110) maka Ho ditolak.
7.  Kesimpulan
Oleh karena nilai t hitung > t tabel (10,983 > 2,110) maka Ho ditolak, artinya
bahwa ada pengaruh secara signifikan antara biaya promosi dengan volume
penjualan. Jadi dalam kasus ini dapat disimpulkan bahwa biaya promosi
berpengaruh terhadap volume penjualan pada perusahaan jual beli motor.

KONSEP DASAR REGRESI LOGISTIK

Analisis regresi logistik digunakan untuk menjelaskan hubungan antara variabel respon

yang berupa data dikotomik/biner dengan variabel bebas yang berupa data berskala interval
dan atau kategorik (Hosmer dan Lemeshow, 1989). Variabel yang dikotomik/biner adalah
variabel yang hanya mempunyai dua kategori saja, yaitu kategori yang menyatakan kejadian
sukses (Y=1) dan kategori yang menyatakan kejadian gagal (Y=0). pada model model linear
umum komponen acak tidak harus mengikuti sebaran normal, tapi harus masuk
dalam sebaran keluarga eksponensial.Sebaran bernoulli termasuk dalam salah satu dari
sebaran keluarga eksponensial. Variabel respon Y ini, diasumsikan mengikuti distribusi
Bernoulli.
Perbedaan antara regresi logistik dengan analisis regresi biasa? kenapa
tidak pakai analisis regresi biasa aja?
Sebenarnya untuk masalah diatas bisa digunakan analisis regresi OLS. Tapi harus
memenuhi asumsi bahwa 0 <= E(Yi ÷ Xi) <= 1. Namun persyaratan tersebut sulit
untuk terpenuhi. sehingga metode regresi OLS kurang cocok untuk data kuantitatif
dan lebih baik menggunakan metode regresi logistik.

contoh Kasus dalam regresi logsitik

biner:

1. Pengaruh Tingkat Pendidikan, Lapangan Kerja yg dimasuki, Pendapatan,

Pengeluaran, Jumlah ART terhadap status kemiskinan (Miskin/TIdak
Miskin).
2. Pengaruh Pendapatan Keluarga, Banyaknya Anggota Keluarga, Jenis rumah,
Usia Kepala Keluarga terhadap Kepemilikan rumah (Punya rumah/tidak)

Berdasarkan dua contoh tersebut mungjkin sudah membuka pikiran untuk kasus
seperti apa regresi logistik digunakan. intinya variabel dependentnya dikotomi
artinya memiliki dua kategori seperti pada kasus diatas yang ditebal.

Kenapa cuma dua kategori aja? tidak bisa lebih dari tiga kategori?

Untuk metode ini tidak bisa karena hanya bisa dua sesuai dengan namanya. untuk
masalah diatas ada metode lain yang bisa digunakan yaitu regresi logistik ordinal.

Bagaimana langkah-langkah atau prosedur statistiknya? sebagai

referensi buat skripsi.hehehe
Bentuk umum model peluang regresi logistik dengan p variabel penjelas,
diformulasikan sebagai berikut:

dengan π(x) adalah peluang kejadian sukses dengan nilai probabilita 0≤π(x)≤1 dan
βj adalah nilai parameter dengan j = 1,2,......,p. π(x) merupakan fungsi yang non
linier, sehingga perlu dilakukan transformasi ke dalam bentuk logit untuk
memperoleh fungsi yang linier agar dapat dilihat hubungan antara variabel bebas
dan variabel tidak bebas. Dengan melakukan transformasi dari logit π(x), maka
didapat persamaan yang lebih sederhana, yaitu:

Jika dari beberapa variabel bebas ada yang berskala nominal atau ordinal, maka
variabel tersebut tidak akan tepat jika dimasukkan dalam model logit karena angka-
angka yang digunakan untuk menyatakan tingkatan tersebut hanya sebagai
identifikasi dan tidak mempunyai nilai numerik dalam situasi seperti ini diperlukan
variabel dummy. Untuk variabel bebas dengan skala ordinal maupun nominal
dengan k kategori, akan diperlukan sebanyak k-1 variabel dummy.

Asumsi-asumsi dalam regresi logistik:

 Tidak mengasumsikan hubungan linier antar variabel dependen dan
independent
 Variabel dependen harus bersifat dikotomi (2 variabel)

 Variabel independent tidak harus memiliki keragaman yang sama antar

kelompok variabel

 Kategori dalam variabel independent harus terpisah satu sama lain atau
bersifat eksklusif

 Sampel yang diperlukan dalam jumlah relatif besar, minimum dibutuhkan

hingga 50 sampel data untuk sebuah variabel prediktor (bebas).

Pendugaan Parameter
Metode untuk mengestimasi parameter-parameter yang tidak diketahui dalam model
regresi logistik ada 3 yaitu:
1. Metode kemungkinan maksimum (Maximum Likelihood Method)
2. Metode kuadrat terkecil tertimbang noniterasi (Noniterative Weight Least
Square Method)
3. Analisis fungsi diskriminan (Discriminant Fuction Analysis)

Pada dasarnya metode maksimum Likelihood merupakan metode kuadrat terkecil

tertimbang dengan beberapa proses iterasi, sedangkan metode noniterative weight
least square method hanya menggunakan satu kali iterasi. kedua metode
ini asymptoticaly equivalent, artinya jika ukuran sampel besar keduanya akan
menghasilkan estimator yang identik. Penggunaan fungsi diskriminan mensyaratkan
variabel penjelas yang kuantitatif berdistribusi normal. Oleh karena itu, penduga dari
fungsi diskriminan akan over estimate bila variabel penjelas tidak berdistribusi
normal.

Dari Ketiga metodei di atas, metode yang banyak digunakan adalah

metode maksimum likelihood dengan alasan lebih praktis (Nachrowi dan Usman,
2002). Metode maksimu likelihoood ini menduga parameter dengan nilai yang
memaksimumkan fungsi likelihood (likelihood function).

Uji Signifikansi Model

Untuk mengetahui pengaruh variabel bebas terhadap variabel tidak bebas secara
bersama-sama (overall) di dalam model, dapat menggunakan Uji Likelihood Ratio.
Hipotesisnya adalah sebagai berikut:
Ho: β1 = β2 =....= βp = 0 (tidak ada pengaruh veriabel bebas secara simultan
terhadap variabel tak bebas)
H1: minimal ada satu βj ≠ 0 (ada pengaruh paling sedikit satu veriabel bebas
terhadap variabel tak bebas)
Untuk j = 1,2,...,p
Statistik uji yang digunakan adalah:

Dengan :
Lo = Maksimum Lieklihood dari model reduksi (Reduced Model) atau model yang
terdiri dari konstanta saja
Lp = Maksimum Likelihood dari model penuh (Full Model) atau dengan semua
variabel bebas.
Statistik G2 ini mengikuti distribusi Khi-kuadrat dengan derajad bebas p sehingga
hipotesis ditolak jika p-value < α, yang berarti variabel bebas X secara bersama-
sama mempengaruhi variabel tak bebas Y.

Uji Parsial dan Pembentukan Model

Pada umumnya, tujuan analsis statistik adalah untuk mencari model yang cocok dan
keterpautan yang kuat antara model dengan data yang ada. Pengujian keberartian
parameter (koefisien β) secara parsial dapat dilakukan melalui Uji Wald dengan
hipotesisnya sebagai berikut:

Ho: βj = 0 (variabel bebas ke j tidak mempunyai pengaruh secara signifikan terhadap

variabel tidak bebas)
H1: βj ≠ 0 (variabel bebas ke j mempunyai pengaruh secara signifikan terhadap
variabel tidak bebas)
Untuk j = 1,2,....,p

Dengan statistik uji sebagai berikut:

Hipotesis akan ditolak jika p-value < α yang berarti variabel bebas Xj secara partial
mempengaruhi variabel tidak bebas Y.

Odds Ratio
Odds ratio merupakan ukuran risiko atau kecenderungan untuk mengalami
kejadian ‘sukses ‘ antara satu kategori dengan kategori lainnya, didefinisikan
sebagai ratio dari odds untuk xj = 1 terhadap xj = 0. Odds ratio ini menyatakan risiko
atau kecenderungan pengaruh observasi dengan xj = 1 adalah berapa kali lipat jika
dibandingkan dengan observasi dengan xj = 0. Untuk variabel bebas yang berskala
kontinyu maka interpretasi dari koefisien βj pada model regresi logistik adalah setiap
kenaikan c unit pada variabel bebas akan menyebabkan risiko terjadinya Y = 1,
adalah exp(c.βj) kali lebih besar.

Odds ratio dilambangkan dengan θ, didefinisikan sebagai perbandingan dua nilai

odds xj = 1 dan xj = 0, sehingga: