ALGORITMA DATA SCIENCE

Pertemuan 3 – Transformasi Data, Hipotesa dan Model

 Transformasi Data
Transformasi data dalam Python biasanya dilakukan dengan menggunakan
library seperti Pandas. Berikut adalah beberapa cara untuk melakukan
transformasi data:

1. Mengubah Tipe Data: Anda dapat mengubah tipe data pada dataframe
dengan menggunakan fungsi `astype()`.

2. Menghapus Baris: Anda dapat menghapus baris pada dataframe dengan

menggunakan fungsi `drop()`.

3. Mengubah Nama Kolom: Anda dapat merubah nama kolom pada

dataframe dengan menggunakan atribut `columns` dan metode `rename()`.
 Transformasi Data
4. Menambah dan Menghapus Kolom: Anda dapat menambah dan
menghapus kolom pada dataframe.

5. Manipulasi Data: Anda dapat melakukan manipulasi data seperti

mengurutkan, memilih, dan menghapus nilai-nilai duplikat.

6. Mengubah Nilai Data: Anda dapat mentransfer nilai data ke

dataframe dengan fungsi atau mapping.
 Transformasi Data
7. Mengganti Nilai yang Hilang: Anda dapat menggunakan metode
`fillna()` untuk menggantikan nilai data yang hilang.

8. Mengubah Nama Baris atau Kolom: Dengan metode `rename()`,

Anda dapat mengubah nama baris atau kolom yang Anda inginkan
dengan menggunakan struktur library.

9. Mengelompokkan Data: Anda dapat menggunakan metode `cut()`

untuk mengelompokkan data ke dalam interval tertentu.
 Hipotesa
Hipotesis adalah dugaan atau pernyataan sementara yang digunakan untuk
menyelesaikan suatu permasalahan dalam penelitian yang kebenarannya
harus diuji secara empiris. Dalam konteks penelitian, hipotesis menjadi poin
yang penting karena menjadi dasar dugaan substansial dari peneliti
mengenai topik permasalahan penelitian untuk nantinya dibuktikan dalam
proses penelitian secara metodologis, ilmiah, dan empiris.
Secara singkat dan sederhana, hipotesis penelitian adalah dugaan
sementara. Dugaan tersebut dibuat oleh penulis atau peneliti dengan
mengacu pada data awal yang diperoleh. Kemudian dugaan benar atau salah
ditentukan berdasarkan hasil penelitian.
Menurut Kamus Besar Bahasa Indonesia (KBBI), hipotesis adalah sesuatu
yang dianggap benar untuk alasan atau pengutaraan pendapat (teori,
proposisi, dan sebagainya) meskipun kebenarannya masih harus dibuktikan.
 Hipotesa
Hipotesis juga bisa diartikan sebagai jawaban sementara terhadap masalah
yang masih bersifat praduga karena masih harus dibuktikan kebenarannya.
Dugaan jawaban tersebut merupakan kebenaran yang sifatnya sementara,
yang akan diuji kebenarannya dengan data yang dikumpulkan melalui
penelitian.

Hipotesis juga merupakan kesimpulan sementara yang didasarkan pada

observasi dan data yang tersedia yang digunakan sebagai dasar untuk
menguji suatu fenomena atau konsep. Hipotesis merupakan prediksi tentang
hasil yang diharapkan dari penelitian yang akan dilakukan dan biasanya
merupakan jawaban sementara atas research questions yang telah diajukan.
 Pengujian Hipotesa
Pengujian Hipotesis: Secara umum, pengujian hipotesis digunakan ketika
peneliti ingin membuat keputusan atau menarik kesimpulan tentang
populasi berdasarkan data sampel. Pengujian hipotesis digunakan dalam
penelitian dalam beberapa situasi berikut:

1. Menguji kebenaran teori: Hipotesis seringkali berdasarkan teori yang ada

dan pengujian hipotesis dapat membantu dalam memverifikasi kebenaran
dari teori tersebut.
2. Memberikan gagasan baru untuk mengembangkan suatu teori: Dengan
melakukan pengujian hipotesis, peneliti dapat menemukan fenomena atau
hubungan baru yang belum pernah dijelaskan sebelumnya oleh teori yang
ada.
 Pengujian Hipotesa
3. Memperluas pengetahuan penelitian mengenai suatu gejala yang
sedang dipelajari: Pengujian hipotesis dapat membantu peneliti dalam
memahami lebih dalam tentang fenomena atau gejala yang sedang diteliti.
4. Menguji dugaan penelitian: Hasil penelitian yang memperkuat hipotesis
harus melalui proses pengujian dan observasi yang cermat.
5. Menyusun problem statement: Hipotesis yang dibuat dalam proses
penyusunan problem statement, hanya berdasarkan teori dan sesuatu yang
peneliti yakini kebenarannya, sehingga pada tahapan akhir dari setiap
penelitian ilmiah, dengan menggunakan hipotesis sebagai research question-
nya, harus dilakukan uji untuk menguji kebenaran dari dugaan penelitian
yang tercermin pada hipotesis.
 Model
Model dalam data science sangat penting dalam proses pengambilan
keputusan berdasarkan data. Model dalam data science memiliki beberapa
fungsi penting:

1. Representasi Data: Model data memberikan pemahaman tentang

bagaimana bisnis beroperasi dan bagaimana menggunakan data dengan cara
yang dapat dipahami semua orang.

2. Pemilihan dan Pelatihan Model: Model dipilih sesuai dengan tujuan

analisis dan dilatih menggunakan data yang telah dipersiapkan. Parameter
model kemudian dioptimalkan untuk meningkatkan kinerja.

3. Evaluasi Model: Model dievaluasi menggunakan metrik yang sesuai,

seperti akurasi, presisi, atau recall.
 Model
4. Pemahaman Data: Pemodelan data memberi Anda kesempatan untuk
memahami data serta memilih teknologi yang tepat untuk menyimpan dan
mengelola data.

5. Mengurangi Kesalahan: Pemodelan data dapat mengurangi kesalahan

dalam pengembangan perangkat lunak basis data dan memfasilitasi
kecepatan dan efisiensi desain serta pembuatan basis data.

6. Menciptakan Konsistensi: Pemodelan data menciptakan konsistensi

dalam dokumentasi data dan desain sistem di seluruh organisasi.
 Evaluasi Model
Evaluasi model untuk memastikan kualitas dan keandalan model yang
dikembangkan. Dengan memperhatikan tugas ini, data sciencetist dapat
memastikan bahwa keputusan dan pengetahuan yang diambil dari data
dapat menjadi dasar yang solid dalam pengambilan keputusan bisnis atau
dalam pengembangan lebih lanjut. Evaluasi model dalam data science
memiliki beberapa fungsi penting:
1. Validasi Kinerja: Evaluasi model memberikan pemahaman yang jelas
tentang sejauh mana model dapat memberikan hasil yang akurat. Dengan
melakukan evaluasi, ilmuwan data dapat memvalidasi kehandalan prediksi
yang dihasilkan oleh model.
2. Identifikasi Kekurangan: Melalui proses evaluasi, ilmuwan data dapat
mengidentifikasi kelemahan atau kekurangan dari model yang
dikembangkan. Misalnya, model mungkin tidak dapat menangani situasi
yang tidak pernah terjadi sebelumnya atau memiliki kesalahan yang
signifikan pada subset tertentu dari data.
 Evaluasi Model
3. Optimalisasi Parameter: Evaluasi memungkinkan ilmuwan data untuk
mengoptimalkan parameter model. Dalam banyak kasus, model machine
learning memiliki parameter yang dapat disesuaikan untuk mencapai kinerja
yang lebih baik.

4. Pemilihan Model: Evaluasi model membantu dalam memilih model

terbaik dari berbagai model yang tersedia. Dengan membandingkan tingkat
eror dari setiap model pada set pengujian, ilmuwan data dapat memilih
model yang paling sesuai dengan tujuan analisis mereka.

5. Menghindari Overfitting: Evaluasi model juga membantu dalam

menghindari overfitting, yaitu kondisi di mana model terlalu fit dengan data
pelatihan dan performanya menurun ketika diterapkan pada data baru.
 Optimasi Model
Optimasi dalam data science adalah proses mencari nilai terbaik dari
suatu fungsi tujuan dalam suatu himpunan yang diizinkan. Fungsi
tujuan biasanya adalah fungsi kesalahan yang ingin diminimalkan atau
suatu ukuran kinerja yang ingin dimaksimalkan.
Metode optimasi yang umum digunakan dalam data science antara lain
Stochastic Gradient Descent (SGD), Adam, dan metode numerik
lainnya. Teknik optimasi secara umum dapat dibagi menjadi dua
bagian, yaitu Mathematical Programming dan Combinatorial
Optimization.
 Optimasi Model
Berikut adalah beberapa penerapan optimasi dalam data science:

1. Pembelajaran Mesin: Dalam pembelajaran mesin, optimasi

digunakan untuk menyesuaikan model dengan data pelatihan.
Misalnya, dalam regresi linier, kita ingin meminimalkan kesalahan
kuadrat antara prediksi model dan nilai sebenarnya.

2. Pemilihan Model: Optimasi juga digunakan dalam pemilihan model,

di mana kita mencoba menemukan model terbaik dari sekumpulan
model yang mungkin.
 Optimasi Model
3. Penyusunan Parameter: Dalam banyak algoritma machine learning, ada
parameter yang perlu disesuaikan untuk mendapatkan kinerja terbaik.
Optimasi digunakan untuk menemukan nilai parameter ini.

4. Pengurangan Dimensi: Teknik seperti Principal Component Analysis (PCA)

menggunakan optimasi untuk menemukan proyeksi data ke ruang
berdimensi lebih rendah yang mempertahankan sebanyak mungkin varians
dari data asli.

5. Jaringan Saraf Tiruan: Dalam jaringan saraf tiruan, optimasi digunakan

untuk menyesuaikan bobot dan bias dalam jaringan agar dapat
meminimalkan fungsi kesalahan.
 Latihan Soal
1. Bagaimana cara mengubah tipe data pada dataframe di Python?
a. Menggunakan fungsi astype()
b. Menggunakan fungsi drop()
c. Menggunakan atribut columns
d. Menggunakan metode rename()
e. Menggunakan metode cut()
2. Bagaimana cara merubah nama kolom pada dataframe di Python?
a. Menggunakan fungsi astype()
b. Menggunakan fungsi drop()
c. Menggunakan atribut columns
d. Menggunakan metode rename()
e. Menggunakan metode cut()
 Latihan Soal
3. Bagaimana cara menghapus baris pada dataframe di Python?
a. Menggunakan fungsi astype()
b. Menggunakan fungsi drop()
c. Menggunakan atribut columns
d. Menggunakan metode rename()
e. Menggunakan metode cut()
4. Bagaimana cara melakukan manipulasi data seperti mengurutkan, memilih, dan menghapus nilai-nilai
duplikat pada dataframe di Python?
a. Menggunakan fungsi astype()
b. Menggunakan fungsi drop()
c. Menggunakan atribut columns
d. Menggunakan metode rename()
e. Menggunakan metode cut()
 Latihan Soal
5. Bagaimana cara mentransfer nilai data ke dataframe di Python?
a. Menggunakan fungsi astype()
b. Menggunakan fungsi drop()
c. Menggunakan atribut columns
d. Menggunakan metode rename()
e. Menggunakan metode cut()