Mata Kuliah : Statistika Lanjut

Dosen Pengampu : Widyastuti, S. Psi., M. Si., Psikolog

Ahmad Ridfah, S. Psi., M. Psi., Psikolog
Nur Akmal, S. Psi., M. A

SEJARAH, KONSEP DASAR, JENIS-JENIS ANALISIS REGRESI

DAN LANGKAH PENGOLAHAN DATA

PSIKOLOGI C
Nurmila Sari 200701500059

Rani Alvionita 220701501131

Riskia Ruhi Alwati 220701501146

FAKULTAS PSIKOLOGI
UNIVERSITAS NEGERI MAKASSAR
2023
1. Sejarah Regresi
Pada pergantian abad, ahli genetika Francis Galton menemukan fenomena yang
disebut regresi yang diperkenalkan dalam makalah “Family Likeness in Stature,
Proceedings of royal society, London, vol. 40, 1886, pp. 42-72. Hal ini menunjukkan
bahwa tinggi anak laki-laki dari ayah yang lebih tinggi cenderung kembali ke rata-rata
populasi setelah beberapa generasi. Dengan kata lain, anak laki-laki dari ayah yang
sangat tinggi cenderung lebih pendek dari ayah mereka. Sedangkan anak laki-laki dari
ayah yang sangat pendek cenderung lebih tinggi dari ayah mereka. Sekarang, istilah
regresi berlaku untuk semua jenis prediksi dan tidak menyiratkan regresi yang mendekati
rata-rata populasi. Galton mengembangkan analisis regresi untuk menguji efek ini.
Sir Galton (1822-1911), antropolog dan ahli meteorologi Inggris terkenal,
menciptakan istilah "regresi": untuk pertama kalinya istilah "reminiscence" digunakan
dalam pidatonya. sebelum Royal Institute pada 9 Februari digunakan. . 1877. Istilah
"penolakan" muncul dalam Pidato didepan Section H of the British Association di
Aberdeen, 1855, diterbitkan dalam Nature September 1885, 507-510, dan juga dalam
artikel " Regression towards mediocrity in hereditary stature", yang dimuat dalam Journal
of the Anthropological Institute, 15,1885, 246-263 .
Hukum universal Galton kemudian dikonfirmasi oleh temannya Karl Pearson, yang
mengumpulkan data lebih dari seribu anggota keluarga (K. Pearson dan A. Lee, "On the
Laws of Inheritance" ," Biometrics, Vol. 2, Nov. 1903, hal .357–462). Pearson
menemukan bahwa tinggi rata-rata anak dalam kelompok dengan ayah tinggi lebih
pendek daripada ayah normal, dan tinggi rata-rata anak dalam kelompok dengan ayah
pendek lebih tinggi daripada ayah normal. Oleh karena itu, regresinya adalah tinggi dan
tinggi anak adalah rata-rata dari tinggi total. Dengan kata lain, Galton menyebutnya
pengembalian yang sepele. Tapi sekarang diet regresi jauh dari apa yang dipikirkan
Galton. Secara umum analisis regresi dipahami sebagai analisis ketergantungan satu
variabel terhadap variabel lain yaitu variabel bebas, untuk memperkirakan atau menaksir
nilai rata-rata variabel terikat terhadap nilai variabel bebas.
Regresi tidak hanya berarti regresi linier. Kita mengenal regresi linier sederhana
bila hanya ada satu regresi dan regresi linier berganda bila ada dua regresi atau lebih. Ada
 banyak istilah regresi lainnya seperti regresi logistik, regresi ordinal, regresi multinomial
dan lain-lain.
2. Konsep Dasar Regresi
Secara umum analisis regresi pada dasarnya adalah studi tentang ketergantungan
suatu variabel terikat (dependent) terhadap satu atau lebih variabel bebas
(penjelas/variabel bebas) untuk memperkirakan dan/atau memperkirakan mean populasi
atau mean populasi. variabel dependen tergantung pada nilai variabel! diketahui secara
mandiri. Fokus mencoba untuk menjelaskan dan mengevaluasi hubungan antara variabel
dan satu atau lebih variabel bebas.
Hasil analisis regresi berupa koefisien regresi untuk masing-masing variabel
independen. Koefisien ini diperoleh dengan memperkirakan nilai variabel dependen
menggunakan persamaan. Koefisien regresi dihitung secara bersamaan dengan dua
tujuan: Pertama, meminimalkan penyimpangan antara nilai sebenarnya dari variabel
dependen dan nilai prediksinya; Kedua, mengoptimalkan korelasi antara nilai sebenarnya
dan nilai prediksi variabel dependen berdasarkan data yang tersedia. Teknik pendugaan
variabel dependen yang menjadi dasar analisis regresi disebut Ordinary Least Squares.
Analisis regresi adalah teknik untuk menghasilkan persamaan dan menggunakan
persamaan tersebut untuk membuat prediksi. Oleh karena itu, analisis regresi sering
disebut sebagai analisis prediktif. Karena merupakan estimasi, maka nilai estimasi tidak
selalu sama dengan nilai sebenarnya, semakin kecil variasi antara nilai prediksi dan nilai
sebenarnya, maka persamaan regresi akan semakin akurat. Oleh karena itu, dapat
didefinisikan sebagai berikut: Analisis regresi adalah metode statistik yang digunakan
untuk menentukan kemungkinan hubungan antar variabel.
Analisis regresi dalam statistika merupakan suatu metode untuk menentukan
hubungan sebab akibat antara satu variabel dengan variabel lainnya. Analisis regresi
merupakan salah satu analisis yang paling populer dan umum digunakan. Hampir semua
bidang ilmu memerlukan analisis. Analisis regresi dan analisis korelasi telah
dikembangkan untuk menguji dan mengukur hubungan antara dua variabel atau lebih.
Dalam analisis regresi, persamaan prediktif dikembangkan untuk menggambarkan pola
atau fungsi hubungan antar variabel. Seperti namanya, estimator atau persamaan regresi
digunakan untuk memperkirakan nilai satu variabel berdasarkan nilai variabel lainnya.
 Variabel prediktor disebut variabel dependen (atau variabel dependen) dan prediktor yang
mempengaruhi variabel dependen disebut variabel independen (atau variabel
independen).
3. Jenis-Jenis Analisis Regresi
1) Linear Regresion
Regresi linier atau regresi linier adalah salah satu jenis regresi mendasar dalam
pembelajaran mesin. Model regresi linier terdiri dari hubungan linier antara variabel
terikat (Y) dan variabel bebas (X). Ketika data mengandung lebih dari satu variabel
independen, regresi linier disebut regresi linier berganda atau regresi linier berganda.
Tujuan regresi linier adalah untuk menyesuaikan hyperplane (garis titik data 2D)
dengan meminimalkan jumlah kesalahan kuadrat rata-rata untuk setiap titik data.

2) Polynomial Regression
Regresi polinomial adalah jenis analisis regresi machine Learning, yang mirip
dengan regresi linier berganda tetapi dengan beberapa modifikasi. Dalam regresi
polinomial, hubungan antara variabel independen dan variabel dependen, yaitu. X dan
Y, dilambangkan dengan derajat ke-n. Jenis regresi ini merupakan varian dari model
multi-linear regrssion, dimana garis hyperplane berbentuk lengkungan.
3) Ridge Regression
Regresi Ridge adalah jenis regresi pembelajaran mesin yang biasanya digunakan
ketika ada korelasi tinggi antara variabel independen (X). Untuk data multikolinier,
estimasi kuadrat terkecil memberikan nilai yang tidak bias. Namun, jika
kolinearitasnya sangat tinggi, beberapa nilai bias mungkin muncul. Oleh karena itu,
matriks bias dimasukkan ke dalam persamaan regresi ridge.
Jenis analisis regresi ini merupakan metode regresi yang tepat untuk kasus dimana
model yang digunakan umumnya tidak rawan overfitting. Variabel lambda (λ) dalam
persamaan regresi ridge memecahkan masalah multikolinearitas.

4) Lasso Regression
 Regresi Lasso adalah jenis regresi machine learrning yang melakukan regularisasi
bersama dengan pemilihan fitur. Regresi ini melarang pengukuran absolut dari
koefisien regresi. Hal ini menyebabkan nilai koefisien mendekati nol, tidak demikian
halnya dengan Regresi Ridge.

5) Elasticnet Regression
Regresi ElasticNet menggabungkan metode regresi kuas dan regresi lasso, yang
sangat berguna saat menangani data yang sangat berkorelasi.
6) Bayesian Regression
Regresi Bayesian adalah jenis regresi pembelajaran mesin yang menggunakan
teorema Bayes untuk menentukan nilai koefisien regresi. Dengan metode regresi ini,
distribusi posterio fitur perlu ditentukan daripada mencari jumlah kuadrat terkecil.
Regresi linier Bayesian seperti regresi linier dan regresi kuas tetapi lebih stabil
daripada regresi linier sederhana

7) Logistics Regression
Analisis regresi logistik dapat diterapkan ketika variabel dependen berupa nilai
diskrit. Dengan kata lain, teknik ini digunakan untuk menghitung probabilitas
kejadian yang saling eksklusif seperti lulus/gagal, benar/salah, 0/1, dan sebagainya.
Dengan demikian, variabel target dapat mengambil hanya satu dari dua nilai, dan
kurva sigmoid mewakili hubungannya dengan variabel independen, dan probabilitas
memiliki nilai antara 0 dan 1
4. Langkah Pengolahan Data
Berikut ini beberapa metode daan langkah pengolahan data yang biasa digunakan
dalam analisis regresi :
1) Regresi linear sederhana
Regresi linear sederhana atau sering disingkat dengan SLR (Simple Linier
Regression) juga merupakan salah satu metode statistik yang dipergunakan dalam
produksi untuk melakukan peramalan atau pun prediksi tentang karakteristik kualitas
maupun kuntitas.
Langkah-langkah dalam melakukan Analisis Regresi Linear Sederhana:
 Menentukan tujuan dari melakukan analisis Regresi Linear yaitu mempelajari
hubungan yang diperoleh dan dinyatakan dalam perasamaan matematika yang
menyatakan hubungan antar variabel.
 Mengidentifikasi Variabel Faktor Penyebab (X) dan Variabel Akibat (Y)
a) Varibel Faktor Penyebab (X) : Jumlah Periode
b) Variabel Faktor Akibat(Y) : Jumlah Besaran Pendapatan Daerah
 Melakukan Pengumpulan Data.
2) Regresi Linear Berganda
Regresi berganda digunakan unuk menganalisis hubungan kausal beberapa
variabel bebas (X) terhadap satu variabel tergantung (Ŷ). Model yang digunakan
dalam proses pengolahan data analisis regresi berganda sebagai berikut:
Y = α + β1X1 + β2 X2 + e
Sebelum melakukan pengolahan data dalam regresi linear berganda, ada beberapa
syarat yang perlu diperhatikan, yaitu:
 Model regresi dikatakan layak jika angka signifikansi pada ANOVA sebesar <
0.05
 Predictor yang digunakan sebagai variabel bebas harus layak. Kelayakan ini
diketahui jika angka Standard Error of Estimate < Standard Deviation Koefesien
regresi harus signifikan.
 Pengujian dilakukan dengan uji t. Koefesien regresi signifikan jika t hitung > t
table (nilai kritis)
3) Analisis regresi logistic
 Analisis regresi logistik merupakan analisis yang digunakan untuk memprediksi
hasil dari variabel terikat yang bersifat kategori berdasarkan satu atau lebih variabel
bebas (Liu et al, 2013: 197). Langkah pengolahan data analisis logistik yaitu :
 Uji multikolinieritas untuk mengetahui apakah terdapat hubungan yang
tinggi antar variabel bebas, dengan kriteria pengujiannya adalah tidak terdapat
hubungan atau terima H0 jika nilai VIF < 10 (Muniroh & Suharsono, 2016:
4). Asumsi terpenuhi yang berarti bahwa model regresi baik jika tidak
terjadi gejala multikolinieritas.
 Menilai kelayakan model regresi logistik untuk mengetahui apakah
model regresi layak digunakan
 Menguji koefisien regresi logistik untuk mengetahui variabel apa saja
yang berpengaruh secara signifikan. Apabila terdapat variabel yang tidak
signifikan, maka proses regresi logistik akan diulang dengan hanya
memasukkan variabel bebas yang signifikan. Proses akan diulang hingga
semua variabel bebas yang dimasukkan signifikan
 Prediksi dan penafsiran, untuk memprediksi menggunakan persamaan
regresi logistik
 Koefisien determinasi untuk mengetahui seberapa besar pengaruh variabel
bebas terhadap variabel terikat
 DAFTAR PUSTAKA

Arna, W. B., Arofah, I., & Belang, K. A. (2019). Pengaruh Kualitas Pelayanan Dan Kualitas
Produk Terhadap Kepuasan Konsumen Dengan Menggunakan Metode Analisis Regresi
Linear Berganda. Jurnal Statistika dan Matematika, 1(1).
Ginting, F., Buulolo, E., & Siagian, E. R. (2019). Implementasi algoritma regresi linear
sederhana dalam memprediksi besaran pendapatan daerah (Studi kasus: Dinas
Pendapatan Kab. Deli Serdang). KOMIK (Konferensi Nasional Teknologi Informasi dan
Komputer), 3(1).
Gonick, L. & Smith, W. 2020. Kartun Statistik. Gramedia Pustaka Utama
Gujarati, Damodar N. 2004. Basic Econometrics. Mc Graw Hill. Inc. Singapore.

Trivusi.2022. “Pengertian Analisi Regresi, Kegunaan, Dan Jenis-jenisnya”,

https://www.trivusi.web.id/2022/07/jenis-analisis-regresi.html, diakses pada 16 Februari
2023 pukul 17.01

Wahyuni, T., Agoestanto, A., & Pujiastuti, E. (2018, February). Analisis Regresi Logistik
terhadap Keputusan Penerimaan Beasiswa PPA di FMIPA Unnes Menggunakan
Software Minitab. In Prisma, Prosiding Seminar Nasional Matematika (Vol. 1, pp. 755-
764).
Yudiaatmaja, Fridayana. 2013. Analisis Regresi dengan Menggunakan Aplikasi Komputer
Statistik SPSS. Gramedia Pustaka Utama