MAKALAH STATISTIKA

“REGRESI LINIER”

Makalah ini Disusun Untuk Memenuhi Tugas Mata Kuliah Statistika

Dosen Pengampu: Ir. Azhar, M.T.

Disusun oleh:

Ara Annastasya Azizah

(2015041101)

PROGRAM STUDI TEKNIK KIMIA

FAKULTAS TEKNIK
UNIVERSITAS LAMPUNG
2021

1
 KATA PENGANTAR

Puji syukur atas kehadirat Allah SWT, atas berkat rahmat serta karunia-Nya, Makalah
Statistika Tahun Ajaran 2020/2021 yang berjudul “Regraasi Linier” ini dapat diselesaikan tepat pada
waktunya. Makalah ini didalamnya berisi tentang: kata pengantar, pendahuluan, pembahasan, serta
penutup. Penyusunan Makalah Statistika ini pun tidak luput dari bantuan maupun kerja sama dengan
pihak lain. Oleh karena itu, penyusun ingin menyampaikan ucapan terima kasih kepada yang
terhormat:

1. Ir. Azhar, M.T. selaku Dosen Pengampu Mata Kuliah Statistika Jurusan Teknik Kimia
Fakultas Teknik Universitas Lampung. .
2. Seluruh pihak yang secara langsung maupun tidak langsung, yang tidak dapat kami
sebutkan satu persatu di sini. Atas bantuan dan perhatiannya selama penyusunan
makalah ini kami ucapkan terima kasih.
Akhir kata, semoga bantuan serta dukungan yang telah diberikan oleh semua pihak di atas dapat
menjadi amalan yang bermanfaat dan mendapat balasan dari Allah SWT. Penyusun berharap bahwa
makalah Statistika ini dapat menambah informasi serta wawasan yang bermanfaat bagi pembaca
ataupun pihak lain yang membutuhkan. Tak ada gading yang tak retak, kritik dan saran sangat
dibutuhkan untuk penyusunan laporan di masa yang akan datang.

Tulang Bawang, 6 Mei 2021

Ara Annastasya Azizah

2
 DAFTAR ISI
KATA PENGHANTAR .................................................................................................... 2

DAFTAR ISI ...................................................................................................................... 3

BAB I PENDAHULUAN ................................................................................................... 4

1.1 Latar Belakang .................................................................................................. 4
1.2 Rumusan Masalah ............................................................................................. 4
1.3 Tujuan ............................................................................................................... 5
BAB II PEMBAHASAN.................................................................................................... 6
2.1 Analisis regresi .................................................................................................... 6
2.2 Regresi linier ....................................................................................................... 6
2.3 Model regresi umum ............................................................................................ 7
2.4 Model regresi linier sederhana ............................................................................ 8
2.5 Langkah-langkah dalam membangun model regresi yang baik .............................. 9
2.6 Asumsi asumsi regresi linier ................................................................................. 9
2.7 Diagnostik regresi ................................................................................................. 10
2.8 Regresi dengan variabel “ Depanden Terbatas “ .................................................... 10
BAB III PENUTUP ........................................................................................................... 12
3.1 Kesimpulan .......................................................................................................... 12
DAFTAR PUSTAKA ...................................................................................................... 13

3
 BAB I
PENDAHULUAN
2.1 LATAR BELAKANG
Analisis regresi merupakan alat statistik yang banyak digunakan dalam berbagai bidang.
Analisis tersebut bertujuan untuk mengetahui hubungan antara variabel dependen dan variabel
independen. Ada tiga macam tipe dari analisis regresi. Tipe yang pertama adalah regresi linier
sederhana yang berfungsi untuk mengetahui hubungan linier antara dua variabel, satu variabel
dependen dan satu variabel independen.Tipe kedua adalah regresi linier berganda yang
merupakan model regresi linier dengan satu variabel dependen dan lebih dari satu variabel
independen. Tipe ketiga adalah regresi non linier yang berasumsi bahwa hubungan antara
variabel dependen dan variabel independen tidak linier pada parameter regresinya.
Dalam regresi linier sederhana, metode yang biasa digunakan dalam mengestimasi
parameter regresi adalah metode kuadrat terkecil atau Ordinary Least Squares (OLS). Konsep
metode ini adalah untuk mengestimasi parameter dengan memilih garis regresi yang terdekat
dengan garis dari semua data. Secara matematika penentuan parameter regresi ini dengan cara
meminimumkan jumlah kuadrat dari residualnya. Sebelum menarik sampel dari suatu
populasi terkadang diperoleh informasi mengenai parameter yang akan diestimasi.Jika
informasi tersebut ingin dimasukkan dalam analisis data, maka estimasi parameter regresi
dengan metode kuadrat terkecil tidak memungkinkan untuk memasukkan informasi tersebut.
Oleh karena itu,diperlukan metode bayesian untuk menyelesaikan permasalahan tersebut.
Bayes memperkenalkan suatu metode yang diperlukan untuk mengetahui bentuk distribusi
awal (prior) dari populasi yang dikenal dengan metode bayesian. Informasi ini kemudian
digabungkan dengan informasi dari sampel untuk digunakan dalam mengestimasi parameter
populasi.Pada metode bayesian,seorang peneliti harus menentukan distribusi prior dari
parameter yang ditaksir.Distribusi prior ini dapat berasal dari data penelitian sebelumnya atau
berdasarkan intuisi seorang peneliti. Dugaan penentuan distribusi parameter sangatlah
subyektif.
Semakin berpengalaman seseorang, maka semakin mudah dalam menentukan distribusi
priornya. Sudah tentu penentuan distribusi prior ini harus berdasarkan alur berpikir yang
logis. Setelah informasi dari data yang didapat dari pengambilan sampel digabungkan dengan
informasi prior dari parameter, akan didapat distribusi posterior dari parameter. Rataan dari
distribusi posterior ini yang akan menjadi parameter regresi dengan metode bayesian.

2.2 RUMUSAN MASALAH

1. Apa itu analisis regresi ?
2. Apa itu regresi linier?
3. Bagaiman model regresi umum ?
4. Bagaimana model regresi linier sederhana ?
5. Bagaimana langkah-langkah dalam membangun model regresi yang baik ?
6. Bagaimana asumsi dibalik linier ?

7. Bagaimana diagnostik regresi ?

4
 8. Bagaimana regresi dengan variabel “ Depanden Terbatas “ ?

2.3 TUJUAN
3 Mengetahui defini analisis regresi
4 Mengetahui defini regresi linier
5 Mengetahui model regresi umum
6 Mengetahui model regresi linier sederhana
7 Mengetahui langkah-langkah dalam membangun model regresi yang baik
8 Mengetahui asumsi asumsi regresi linier
9 Mengetahui diagnostik regresi
10 Mengetahui regresi dengan variabel “ Depanden Terbatas “

5
 BAB II
PEMBAHASAN

2.1 Pengertian dari analisis regresi

Analisis regresi banyak digunakan untuk prediksi dan perkiraan, yang penggunaannya
secara substansial tumpang tindih dengan bidang pembelajaran mesin. Analisis regresi juga
digunakan untuk memahami variabel independen mana yang terkait dengan variabel
dependen, dan untuk mengeksplorasi bentuk-bentuk hubungan tersebut. Dalam keadaan
terbatas, analisis regresi dapat digunakan untuk menyimpulkan hubungan kausal antara
variabel independen dan dependen. Namun hal ini dapat menyebabkan ilusi atau hubungan
yang salah, jadi berhati-hatilah Lihat korelasi tidak menyiratkan sebab akibat. Banyak teknik
untuk melakukan analisis regresi telah dikembangkan. Metode yang sudah dikenal seperti
regresi linier dan regresi kuadrat terkecil biasa adalah parametrik, di mana fungsi regresi
didefinisikan dalam istilah sejumlah parameter yang tidak diketahui yang diperkirakan dari
data.
Regresi non parametrik mengacu pada teknik yang memungkinkan fungsi regresi berada
dalam sekumpulan fungsi tertentu, yang mungkin berdimensi tak hingga. Kinerja metode
analisis regresi dalam praktiknya bergantung pada bentuk proses pembuatan data, dan
bagaimana hubungannya dengan pendekatan regresi yang digunakan. Karena bentuk
sebenarnya dari proses pembuatan data umumnya tidak diketahui, analisis regresi seringkali
bergantung pada pembuatan asumsi tentang proses ini. Asumsi ini terkadang dapat diuji jika
tersedia data dalam jumlah besar. Model regresi untuk prediksi sering kali berguna meskipun
asumsi dilanggar secara moderat, meskipun performanya mungkin tidak optimal. Namun,
dalam banyak aplikasi, terutama dengan efek kecil atau pertanyaan kausalitas berdasarkan
data observasi, metode regresi memberikan hasil yang menyesatkan.

2.2 Pengertian Regresi Linier

Regresi linier sederhana adalah teknik yang palingumum digunakan untuk menentukan
bagaimana satu variabelyangdiminati (variabel respon) dipengaruhi oleh perubahanvariabel
lain (variabel penjelas). Istilah "respon"dan "penjelas"memiliki arti yang sama dengan
"dependen" dan "independen",tetapi terminologi sebelumnya lebih disukai karenavariabel
"independen" sebenarnya mungkin saling bergantungdengan banyak variabel lain juga.
Regresi linier sederhana digunakan untuk tiga tujuan utama:
1. Untuk mendeskripsikan ketergantungan linier darisatu variabel ke variabel lainnya
2. Untukmerediksinilai satu variabel dari nilai variabel lainnya, dimana lebih banyak data
tersedia
3. Untuk mengoreksi ketergantungan linier dari satu variabel ke variabel lain, untuk
memperjelas fitur lain dari variabilitasnya.
Setiap garis yang dipasang melalui awan data akan menyimpang dari setiap titik data ke
tingkat yang lebih besar atau lebih kecil. Jarak vertikal antara titik data dangaris dipasang
disebut "sisa". Jarak ini merupakan ukuran kesalahan prediksi, dalam arti merupakan selisih
antara nilaiaktual variabel respon dan nilai yang diprediksi oleh garis. Regresi linier

6
menentukan garis yang paling sesuai melaluisebar data, sehingga jumlah residu kuadrat
diminimalkan ;secara ekuivalen, ini meminimalkan varian kesalahan. Kecocokannya adalah
"terbaik" dalam arti itu: jumlah kesalahan kuadrat sekecil mungkin. Itulah mengapa ini juga
disebut regresi"Kuadrat Terkecil Biasa".

Dalam regresi linier, spesifikasi modelnya adalah variabel dependen, parameter ( tetapi
tidak perlu linier di Variabel independen). Misalnya, dalam regresi linier sederhana untuk
memodelkan titik data, terdapat satu variabel independen: , dan dua parameter, garis lurus: (
Dalam regresi linier berganda, ada beberapa variabel independen atau fungsi variabel
independen ).

2.3 Mode linier umum

Dalam model regresi berganda yang lebih umum, ada p Variabel independen :

dimana x aku j adalah saya th observasi di j th variabel independen, dan di mana variabel

independen pertama mengambil nilai 1 untuk semua saya ( begitu adalah intersepsi
regresi). Estimasi parameter kuadrat terkecil diperoleh dari p persamaan normal. dapat
ditulis sebagai :

Itu persamaan normal adalah :

7
2.4 Model Regresi Linier Sederhana
Model regresi melibatkan variabel berikut:

1. Itu parameter tidak diketahui, dilambangkan sebagai β, yang mungkin mewakili skalar
atau vektor.
2. Itu variabel independen, X.
3. Itu variabel tak bebas, Y. Dalam berbagai bidang aplikasi, terminologi yang berbeda
digunakan untuk menggantikan variabel dependen dan variabel independen. Model regresi
berhubungan Y ke fungsi X dan β. Perkiraan biasanya diformalkan sebagai E (Y | X) = f ( X,
β ). Untuk melakukan analisis regresi berupa fungsinya f harus ditentukan. Terkadang
bentuk fungsi ini didasarkan pada pengetahuan tentang hubungan antar Y dan X yang tidak
bergantung pada data. Jika pengetahuan seperti itu tidak tersedia, bentuk yang fleksibel atau
nyaman untuk f terpilih. Asumsikan sekarang bahwa vektor parameter yang tidak diketahui β
panjangnya k. Untuk melakukan analisis regresi, pengguna harus memberikan informasi
tentang variabel dependen Y:
4. Jika N poin data dari formulir ( Y, X ) diamati, di mana N k titik data diamati. Dalam
kasus ini, terdapat cukup informasi dalam data untuk memperkirakan nilai uniknya β yang
paling sesuai dengan data dalam beberapa hal, dan model regresi bila diterapkan ke data
dapat dipandang sebagai sistem yang ditentukan secara berlebihan di β. Dalam kasus
terakhir, analisis regresi menyediakan alat untuk:a. Menemukan solusi untuk parameter yang
tidak diketahui β yang akan, misalnya, meminimalkan jarak antara yang diukur dan nilai
prediksi dari variabel dependen Y ( juga dikenal sebagai metode kuadrat terkecil ).

Jika terdapat pasangan data (x1,y1),(x_1,y_1),(x1,y1), (x2,y2),(x_2,y_2),(x2,y2), ...,...,...,

(xn,yn),(x_n,y_n),(xn,yn), maka hubungan fungsional pasangan data tersebut dijelaskan
dalam model regresi linier sederhana sebagai berikut.

Y = β0 + β1x + ε

dimana parameter β0 (intercept) dan β1 (slope) adalah parameter-parameter yang tidak

diketahui, sedangkan ε adalah error random yang mengikuti distribusi normal dengan

8
 E(ε) = 0 dan Var (ε) = σ2.

.
2.5 Langkah-Langkah Dalam Membangun Model Regresi Yang Baik
Langkah-langkah dalam membangun model regresi yang baik seperti:

1. Plot dan uji data.

2. Jika perlu, ubah variabel X dan / atau Y sehingga:
-hubungan antara X dan Y linier
-Y homoskedastik (yaitu, sebaran dalam Y konstandari salah satu ujung data X ke
lainnya)

2.6 Asumsi di balik regresi linier

1. Asumsi statistik
Ketika jumlah pengukuran, N lebih besar dari jumlah parameter yang tidak diketahui, k, dan
pengukurannya kesalahan ε saya kemudian didistribusikan secara normal kelebihan
informasi terkandung dalam ( N – k ) pengukuran digunakan untuk membuat prediksi
statistik tentang parameter yang tidak diketahui. Kelebihan informasi ini disebut sebagai
derajat kebebasan regresi.
2. Asumsi Klasik
Asumsi klasik untuk analisis regresi meliputi:
a. Sampel mewakili populasi untuk prediksi inferensi.
b. Error adalah variabel acak dengan mean nol tergantung pada variabel penjelas.
c. Variabel independen diukur tanpa kesalahan. (Catatan: Jika tidak demikian, pemodelan
dapat dilakukan sebagai gantinya menggunakan teknik model error-invariable).
d. Prediktor adalah independen linier, yaitu tidak mungkin untuk mengekspresikan
prediktor apa pun sebagai kombinasi linier dari yang lain. Lihat Multikolinieritas.
e. Kesalahan tidak berkorelasi, yaitu varians - matriks kovariansi kesalahan adalah
diagonal dan setiap elemen bukan nol adalah varians kesalahan.
f. Varians kesalahan konstan di seluruh pengamatan (homoskedastisitas). (Catatan: Jika
tidak, kotak terkecil berbobot atau metode lain dapat digunakan). Ini adalah kondisi
yang cukup bagi penaksir kuadrat-terkecil untuk memiliki properti yang diinginkan,
khususnya, asumsi ini menyiratkan bahwa perkiraan parameter akan tidak bias,
konsisten, dan efisien di kelas penduga yang tidak bias linier. Penting untuk dicatat
bahwa data aktual jarang memenuhi asumsi.

9
2.7 Diangnostik regresi

Setelah model regresi dibuat, mungkin penting untuk memastikan kesesuaian model dan
signifikansi statistik dari parameter yang diperkirakan. Pemeriksaan kesesuaian yang umum
digunakan meliputi R-kuadrat, analisis pola residual, dan pengujian hipotesis. Signifikansi
statistik dapat diperiksa dengan uji-F untuk kesesuaian keseluruhan, diikuti dengan uji-t
parameter individu. Interpretasi dari uji diagnostik ini sangat bergantung pada asumsi model.

Meskipun pemeriksaan residual dapat digunakan untuk membuat model menjadi tidak
valid, hasil uji-t atau uji-F terkadang lebih sulit diinterpretasikan jika asumsi model dilanggar.
Misalnya, jika istilah kesalahan tidak memiliki distribusi normal, dalam sampel kecil,
parameter yang diperkirakan tidak akan mengikuti distribusi normal dan memperumit
kesimpulan. Dengan sampel yang relatif besar, bagaimanapun, teorema batas pusat dapat
digunakan sehingga pengujian hipotesis dapat dilanjutkan dengan menggunakan pendekatan
asimtotik.

2.8 Regresi dengan variabel “ Depanden Terbatas “

Frase "dependen terbatas" digunakan dalam statistik ekonometri untuk variabel kategori
dan variabel terbatas. Variabel respon mungkin tidak kontinu ("terbatas" untuk terletak pada
beberapa subset dari garis nyata). Untuk variabel biner (nol atau satu), jika analisis
dilanjutkan dengan regresi linier kuadrat-terkecil, model tersebut disebut model probabilitas
linier. Model nonlinier untuk variabel dependen biner termasuk model probit dan logit.
Model probit multivariat adalah metode standar untuk memperkirakan hubungan bersama
antara beberapa variabel dependen biner dan beberapa variabel independen. Untuk variabel
kategori dengan lebih dari dua nilai ada logit multinomial.
Untuk variabel ordinal dengan lebih dari dua nilai, terdapat model logit terurut dan model
probit terurut. Model regresi yang disensor dapat digunakan ketika variabel dependen hanya
kadang-kadang diamati, dan model tipe koreksi Heckman dapat digunakan jika sampel tidak
dipilih secara acak dari populasi yang diminati. Alternatif untuk prosedur tersebut adalah
regresi linier berdasarkan korelasi polikorik (atau korelasi polyserial) antara variabel
kategori. Prosedur tersebut berbeda dalam asumsi yang dibuat tentang distribusi variabel
dalam populasi. Jika variabel positif dengan nilai rendah dan mewakili pengulangan
terjadinya suatu peristiwa, maka model hitung seperti regresi Poisson atau model binomial
negatif dapat digunakan sebagai gantinya.

10
 Prosedur tersebut berbeda dalam asumsi yang dibuat tentang distribusi variabel dalam
populasi. Jika variabel positif dengan nilai rendah dan mewakili pengulangan terjadinya
suatu peristiwa, maka model hitung seperti regresi Poisson atau model binomial negatif
dapat digunakan sebagai gantinya.
Prosedur tersebut berbeda dalam asumsi yang dibuat tentang distribusi variabel dalam
populasi. Jika variabel positif dengan nilai rendah dan mewakili pengulangan terjadinya
suatu peristiwa, maka model hitung seperti regresi Poisson atau model binomial negatif
dapat digunakan sebagai gantinya.

11
 BAB III
PENUTUP
3.1 Kesimpulan
Analisis regresi merupakan alat statistik yang banyak digunakan dalam berbagai bidang.
Analisis tersebut bertujuan untuk mengetahui hubungan antara variabel dependen dan variabel
independen. Ada tiga macam tipe dari analisis regresi. Tipe yang pertama adalah regresi linier
sederhana yang berfungsi untuk mengetahui hubungan linier antara dua variabel, satu variabel
dependen dan satu variabel independen.Tipe kedua adalah regresi linier berganda yang
merupakan model regresi linier dengan satu variabel dependen dan lebih dari satu variabel
independen. Tipe ketiga adalah regresi non linier yang berasumsi bahwa hubungan antara
variabel dependen dan variabel independen tidak linier pada parameter regresinya. Dalam
regresi linier, spesifikasi modelnya adalah variabel dependen, parameter ( tetapi tidak perlu
linier di Variabel independen). Misalnya, dalam regresi linier sederhana untuk memodelkan
titik data, terdapat satu variabel independen: , dan dua parameter, garis lurus

12
 DAFTAR PUSTAKA

Armstrong, J. Scott (2012). "Ilusi dalam Analisis Regresi"

http://upenn.academia.edu/JArmstrong/Papers/1162346/. David A. Freedman, Model
Statistik: Teori dan Praktek, Cambridge University Press (2005)

CF Gauss. Theoria kombinasiis observasium erroribus minimis obnoxiae (

http://books.google.co.za/books?id=ZQ8OAAAAQAAJ& printsec = sampul depan &
dq = Theoria + kombinasi + observasium + erroribus + minimis + obnoxiae & as_brr
= 3 # v = onepage & q = & f = false). (1821/1823

Fisher, RA (1922). "Kebaikan kesesuaian rumus regresi, dan distribusi koefisien regresi". J.
Royal Statist. Soc. (Penerbitan Blackwell) 85 ( 4 ): 597 - 612. doi: 10.2307 /
2341124.
JSTOR 2341124.

R. Dennis Cook; Sanford Weisberg Kritik dan Analisis Pengaruh dalam Regresi

(http://links.jstor.org/ sici? sici = 0081-1750 (1982) 13 2.0.CO; 2-3, Metodologi

Sosiologis, Vol. 13. (1982), hlm. 313-361
Ronald A. Fisher (1954). Metode Statistik untuk Pekerja Riset

(http://psychclassics.yorku.ca/Fisher/Methods/) (edisi ke-12). Oliver dan Boyd.

ISBN 005-002170-2.

13