PENGANTAR SAINS DATA DAN BIG DATA Segalanya menjadi serba instan dan digital, mulai dari berbelanja,

membayar tagihan, merencakan karyawisata, dan lain-lain.

A. Pengantar Sains Data
Era industri 4.0 ini merupakan kesempatan yang baik untuk kalian
Pada kehidupan sehari-hari kita, seberapa sering kita mendengar istilah-istliah
semua menjadi pengusaha (entrepreneur/technopreneur). Karena
seperti Big Data, Data Science, Industry 4.0, Machine Learning, dan juga
pada saat ini membuat sebuah perusahaan yang sukses relatif mudah
Artificial Intelligence? Apabila kita tidak bekerja di bidang-bidang IPTEK,
dan murah.
mungkin istilah-istilah tersebut jarang kita dengan.
2. Pengantar Big Data
1. Era Data : Industri 4.0
Kalau kita pikir-pikir, ada berapa banyak data transaksi yang ada di
Traveloka, Ovo, Gojek, Tokopedia, dan lain-lainnya? Bagaimana
penyimpananannya? Bagaimana mengolahnya?
Data-data yang terkumpul pada Big Data ini seringkali merupakan
data yang tidak terstruktur dan memenuhi 3V, yang menjadi
karakteristik utama Big Data, yaitu :
-Volume (Data yang terkumpul berjumlah besar)
-Variety (Beragam bentuk/format)
-Velocity (Bertambah dengan cepat secara real-time)

Seperti yang kita mungkin telah pelajari, revolusi industri merupakan Sejarahnya, istilah “Big Data” pertama kali muncul pada sebuah

salah satu peristiwa yang penting dalam sejarah. Akan tetapi revolusi publikasi ilmiah resmi tahun 1997 di sebuah paper ilmiah NASA.

industri tidak hanya terjadi di masa lalu, bahkan kini telah melewati Kemudian pada tahun 2001, Doug Laney kemudian memperkenalkan

revolusi industri yang keempat. tiga sifat big data yaitu 3V tadi. Tidak lama kemudian, terdapat dua

Pada revolusi industri 4.0 ini, segalanya menjadi serba otomatis dan tambahan V yang opsional yaitu Veracity (uncertainty pada kualitas

modern. data) dan Value (terkait pada nilai yang bisa didapat dari big data.
3. Data Science
Istilah “Data Science” (Sains Data) diperkenalkan pertama kali oleh
William S. Cleveland (2001). “Data Science” adalah sebuah bidang
ilmu yang menggunakan metode dan proses-proses ilmiah, algoritma,

Dapat kita lihat dari gambar di atas merupakan beberapa contoh dan sistem untuk mendapatkan pengetahuan dan wawasan (insight)

perusahaan-perusahaan yang berkembang akibat revolusi industri 4.0. terdalam dari suatu data terstruktur (tabular) dan tidak terstruktur.
4. Aplikasi Sains Data dan Big Data
Data science dan big data sudah banyak dimanfaatkan oleh
kebanyakan masyarakat. Secara umum, spektrum dari pemanfaatan
Big Data meliputi banyak aspek, seperti pada gambar-gambar di
bawah ini :
Tipe dan Format Data
A. Tipe Data
Teknik analisis data yang dilakukan untuk mencari informasi yang relevan
terhadap dugaan (hipotesis) seringnya bergantung pada jenis/tipe data yang
kita miliki. Oleh karena itu, sebelum membahas tentang model-model data
science, awali dulu dengan pembahasan mengenai jenis/tipe data. Jenis data
sendiri dapat dibedakan menurut sumber, tipe, struktur, atau fitur/sifat lain dari
data tersebut.
Tipe data berdasarkan :
1. Sumber Data
Data dapat bersumber dari sang peneliti langsung lewat eksperimen,
sensor, observasi langsung, atau survey. Sumber data seperti ini
disebut sumber “data primer”. Data juga dapat berasal repository
data (database/data warehouse) atau data dari penelitian
sebelumnya, data yang tidak diambil langsung oleh penelitinya ini
disebut sebagai “data sekunder”.
Kelebihan data primer (primary data): Interpretasi data (model)
biasanya lebih baik & kuat karena pengambilan data secara spesifik
dilakukan untuk menjawab suatu hipotesis tertentu. Kualitas dan
kontrol terhadap data juga cenderung lebih baik, dan jarang sekali
terjadi masalah proprietary (kepemilikan data).
Kekurangan data primer: Mahal, butuh waktu lebih lama, lebih sulit
untuk mengumpulkannya.
Kelebihan data sekunder (secondary sata): Murah, cepat, dan
mudah untuk melakukan benchmark (perbandingan).
Kekurangan data sekunder: Terkadang tidak sesuai dengan
kebutuhan, kualitas data lebih rendah (garbage in-out), tidak selalu
tersedia.
2. Waktu (Time Series/Runtun Waktu)
 Beberapa data tertentu bergantung terhadap waktu, misalnya
pergerakan nilai mata uang (kurs)/harga saham, suhu/temperatur
udara di suatu daerah tertentu, atau data logs suatu website.
Saat nilai data di masa depan lebih banyak (dominan) hanya
dipengaruhi dari nilai-nilainya di masa lalu, maka model-model runtun
waktu univariate (satu peubah/variabel) seperti ARIMA
(Autoregressive Integrated Moving Average) dapat digunakan. Namun
bila satu atau beberapa peubah yang bergantung waktu dipengaruhi
juga oleh variabel lain selain nilai-nilainya di masa lalu, maka model
runtun waktu peubah ganda (multivariate) seperti VaR (Vector
autoRegression) dapat digunakan.
3. (Geo)Spatial Data
Ada kalanya penelitian yang dilakukan bergantung pada lokasi/tempat,
misalnya penelitian yang berkenaan dengan kadar mineral/gas di
suatu daerah tertentu, penelitian tentang penyebaran suatu penyakit
menular tertentu (misal: flu burung dan HIV/AIDS), gempa bumi, atau
penelitan tentang dukungan politik di suatu daerah tertentu. Saat
datanya bergantung pada lokasi (GeoSpatial) maka model-model
statistik Spatial Data Analysis seperti spatial autocorrelation, spatial
interpolation, spatial regression, spatial interaction, dan multiple-point
geostatistics dapat digunakan.
4. Struktur Data
Data yang biasanya kita ketahui berbentuk tabular
(tabel/kolom-baris/matriks/array/larik), data seperti ini disebut data
terstruktur (structured data). Data terstruktur dapat disimpan dengan
baik di spreadsheet (misal: Excel) atau basis data (database)
relasional dan secara umum dapat digunakan langsung oleh berbagai
model/tools statistik/data mining konvensional.
Sebagian data yang lain memiliki “tags” yang menjelaskan elemen
semantik yang berbeda di dalamnya dan cenderung tidak memiliki
skema (struktur) yang statis. Data seperti ini disebut data
semi-structured. Big Data Akhir-akhir ini sedang ramai istilah Big
Data. Jika dikaitkan dengan analisa data, beberapa literatur
menyebutkan suatu data sudah dapat dikatakan sebagai “Big Data”
jika komputer (machine/PC) “biasa” sudah tidak mampu lagi untuk
mengolahnya dalam suatu jangka waktu tertentu, karena keterbatasan
komputasi, memori, dan-atau penyimpanan (storage).
5. Graph Data
Jenis maupun bentuk data semakin beragam. Akhir-akhir ini data
dalam bentuk graph mendapat perhatian cukup besar, terutama
terkait dengan semakin jamaknya penggunaan sosial media dan
semakin besar dan luasnya industri yang terkena dampaknya. Walau
pada keadaan tertentu graph dapat juga direpresentasikan dalam
sebuah matrix/array/tabel lewat matriks keterhubungan (adjacency
matrix) atau incidence matrix, namun sebuah graph data biasanya
memuat informasi yang lebih kompleks.
Terdapat sub-bidang ilmu yang cukup baru di data mining, dikenal
dengan “episodes mining”, menggunakan tipe data graph. Pada
episodes mining, data graph yang urut waktu digunakan untuk
menentukan pola (pattern) dari suatu objek tertentu.Beberapa
operasi/tasks pada data graph diantaranya adalah pencarian rute
 terpendek, spanning tree, graph labelling, network centrality,
community, contagion, dan opinion formation.
6. Tipe Data (Kategorik atau Numerik)
Tipe data yang paling umum digunakan dan diketahui oleh banyak
orang adalah klasifikasi data yang dipelopori oleh Stevens (1946,
1951). Secara umum tipe variable yang ‘lebih tinggi’ , yaitu interval dan
ratio memiliki informasi yang lebih detail. Sebaliknya tipe variabel
seperti nominal, sebenarnya hanyalah pemetaan atau penamaan
semata. Keterbatasan perhitungan atau operasi pada variabel-variabel
ini menimbulkan batasan-batasan tertentu. Sebagai contoh, tentu saja
kurang logis jika kita menghitung rata-rata pada data nominal dan
ordinal, atau menghitung modus (data yang paling banyak muncul)
pada data interval dan rasio. Batasan ini juga berlaku pada visualisasi
data, jika data ratio atau interval disajikan dalam pie chart tentu saja
tidak akan banyak bermakna. Keterbatasan operasi perhitungan yang
bisa dilakukan pada tipe-tipe data ini kemudian akan mengakibatkan
batasan pemakaian model statistika. Atau dengan kata lain untuk tipe
data tertentu, model statistika yang dapat digunakan juga tertentu
pula.
Model-Model dan Algoritma Sains Data
Setelah mempelajari jenis-jenis data, pertanyaan penting yang sering muncul
dalam sebuah penelitian juga menanyakan mengenai model statistika/data
science yang sesuai untuk digunakan. Selain memiliki banyak klasifikasi data
yang dibagi menjadi berbagai kriteria, banyak juga model statistika yang ada.
A. Variabel Target (Dependent) dan Prediktor (Independent)
Sebelum membahas mengenai model-model statistika, akan dibahas terlebih
dahulu mengenai jenis-jenis variabel.
-Variabel dependent/response adalah salah satu atau lebih variabel yang
dipengaruhi oleh satu atau lebih variabel yang lain. Contoh : Variabel gaji
dipengaruhi oleh variabel lama kerja, pangkat, dan jabatan seorang pegawai
-Variabel independent/regressor adalah satu atau lebih variabel yang
mempengaruhi satu atau lebih variabel yang lain. Contoh : Variabel kecepatan
memengaruhi waktu tempuh perjalanan.
-Variabel kontrol/scientific constant adalah variabel/elemen yang nilainya
tetap(konstan).
-Variabel confounding/mediator adalah variabel ekstra yang memengaruhi
hubungan antara variabel dependent dan independent. Contoh : Pada
penelitian mengenai dampak olahraga terhadap berat badan, maka variabel
lain seperti pola makan dan usia juga menjadi variabel ekstra.
B. Metode Interdependence (Unsupervised Learning) dan Dependence
(Supervised Learning)
Secara garis besar terdapat dua macam kelas model statistika/data science:
1. Interdependence Methods: Model-model data science dimana tidak
ada dugaan suatu variable dipengaruhi/memengaruhi variabel yang
lain (tidak ada konsep target/prediktor).
Contoh: Analisis cluster (pengelompokan), principal component
analysis (PCA).
 2. Dependence Methods: Model-model statistika dimana sebagian
variabel diduga memengaruhi/dipengaruhi variabel yang lain.
Contoh: Regresi, klasifikasi (SVM/Decision Tree/neural network).
Namun demikian akhir-akhir ini terdapat cukup banyak penelitian dimana
domain permasalahannya terletak di antara keduanya (Semi-Supervised
Learning-akan dibahas lebih lanjut).
C. Univariate/Bivariate Data - Interdependence
Pada beberapa kasus sederhana kita hanya ingin menganalisa satu variabel
(univariate) atau dua variabel (bivariate) saja yang tidak saling bergantung
satu sama lain. Analisa yang bisa dilakukan pada kondisi seperti ini bergantung
dari tipe variabelnya.
1. Univariate kategorik (nominal/ordinal): Pada kasus ini tidak terlalu
banyak analisa yang dapat dilakukan. Diantara hal yang dapat
dilakukan adalah menghitung jumlah kemunculan (frekuensi) atau
persentase. Sedangkan visualisasi yang bisa digunakan diantaranya
adalah Pie-Chart atau Bar Chart.
2. Univariate numerik (Interval/Ratio): Pada saat datanya berupa angka
(numerik/metric), analisa atau perhitungan yang dapat dilakukan lebih
banyak, misalnya: rata-rata/mean, median, percentile, minimum,
maksimum, variansi. Histogram dan Box Plot dapat digunakan sebagai
visualisasi.
3. Encoding/continuation: adalah suatu proses perubahan suatu variabel
kategorik menjadi bentuk biner {0,1} atau angka.
Contoh: {Pria,Wanita}==>{1,0} atau {TK,SD,SMP,SMU,
D1,D2,D3,D4,S1,S2,S3}==>{0, 1, … , 10}.
4. Binning/discretization: adalah kebalikan encoding, yaitu suatu proses
perubahan variabel numerik menjadi kategorik. Ada 2 macam proses
Binning: supervised dan unsupervised.
Contoh: Umur seseorang diubah menjadi kategori: Balita, anak-anak,
remaja, dewasa, dan manula.
5. Bivariate kategorik- kategorik: Saat kedua variabel kategorik terdapat
beberapa uji statistik dan visualisasi yang dapat digunakan (chi-square
test, 2-way contingency table, log linear model, 2-Y charts, dll).
6. Bivariate numerik-numerik: Saat kedua variabel numerik lebih
banyak pilihan analisa yang bisa dilakukan, seperti Anova (Analysis of
Variance) untuk memeriksa beda rata-rata antar group atau korelasi
untuk memeriksa hubungan (linear) antara dua variabel yang ada.
Kesalahan yang paling sering terjadi pada analisis korelasi adalah
lupa bahwa secara umum (awalnya/tanpa transformasi) korelasi hanya
memeriksa hubungan linear dan tidak menyatakan hubungan
sebab-akibat. Sehingga nilai korelasi yang kecil tidak bermakna tidak
terdapat hubungan antar keduanya (bisa jadi hubungannya bukan
linear: kuadratik, exponential, atau yang lainnya). Hubungan
sebab-akibat baru dapat disimpulkan setelah analisa lebih lanjut oleh
ahli di bidangnya (domain knowledge).
7. Bivariate kategorik-numerik: Saat kedua variabel kategorik dan
numerik tidak banyak “metode interdependence” yang bisa dilakukan.
Namun demikian artikel berikut memberikan beberapa contoh
visualisasi yang sangat menarik. Hal lain yang bisa dilakukan dalam
cakupan interdependence adalah clustering untuk tipe variabel
beragam (mixed data types clustering). Ada beberapa metode yang
bisa digunakan, salah satunya diterangkan dalam paper berikut. Perlu
diingat, bahwa di bagian ini pertimbangannya hanya pada metode
interdependence, analisa yang bisa dilakukan lebih banyak lagi ketika
variabelnya diasumsikan saling bergantung satu sama lain
(dependence).
D. Clustering Analysis (Unsupervised Learning)
Clustering/pengelompokan data memiliki tujuan umum untuk
mengelompokkan/grouping data sedemikian sehingga objek-objek pada suatu
cluster similar (serupa) satu sama lain dan objek antar cluster berbeda. Aplikasi
 clustering sering digunakan untuk menemukan suatu informasi/pattern yang
tersembunyi (latent/hidden) di data. Tidak hanya itu clustering juga biasa
digunakan untuk mendeteksi outlier atau anomali yang ada di data. Tentu saja
masih banyak lagi aplikasi analisa clustering, mulai dari spam detection, image
processing, riset pemasaran (market research), dan masih banyak lagi. Analisa
Cluster termasuk analisa/metode yang paling tua dan paling banyak aplikasi
serta penelitiannya.
E. Classification Models (Supervised Learning)
Klasifikasi adalah permasalahan meng-kategorisasikan sekelompok observasi
baru ke sekumpulan kategori (kelas) yang ada sebelumnya. Klasifikasi
digunakan jika variabel target bertipe kategorik dan prediktornya satu atau lebih
variabel numerik dan-atau kategorik. Terdapat cukup banyak model klasifikasi
yang dapat digunakan, mulai dari yang klasik seperti Linear Discriminant
Analysis (LDA) dan regresi logistik, lalu ke moderate seperti SVM (support
vector machines), decision tree dan neural network (jaringan syaraf tiruan),
sampai yang lebih terkini seperti random forest, XGboost dan deep learning.
F. Regression Models
Model Regresi digunakan saat kita ingin menganalisis hubungan antara
variabel target bertipe numerik dengan satu atau beberapa variabel prediktor
bertipe kategorik dan-atau numerik. Regresi termasuk model yang paling dasar
ketika seseorang pertama kali belajar pengolahan data (statistika). Model
regresi linear telah dipelajari sebelumnya. Beberapa teknik seperti transformasi
data (kernel) atau piecewise regression dapat digunakan untuk menganalisis
pola non-linear.
G. Semi-Supervised Learning
Ada kalanya data yang kita miliki memiliki variabel target dan prediktor, namun
terdapat data yang hilang (missing values) di beberapa observasi di variabel
targetnya. Atau pada kasus lain, misal kita ingin melakukan clustering, namun
dengan suatu kendala/batasan tertentu (constraint), atau kita menginginkan
clustering yang sesuai dengan suatu informasi awal (prior) yang kita miliki.
Pada kasus-kasus seperti ini semi-supervised learning digunakan.
H. Association Rule / Market Basket Analysis
Model Association Rule (biasa juga disebut sebagai Market Basket Analysis)
bisa digunakan untuk mengoptimalkan tata letak barang-barang yang ada di
suatu swalayan atau menentukan program promo yang tepat. Salah satu
aplikasi association rule (AR) adalah dengan mengolah data pembelian
konsumen lalu menghitung beberapa statistik darinya seperti support,
confidence, dan lift untuk menentukan pola belanja konsumen. Ketika algoritma
AR dijalankan, ia akan menghitung kombinasi item yang dibentuk dari item-item
yang ada, hal ini menjadi kendala ketika jenis itemnya cukup banyak. Selain
masalah komputasi, menemukan aturan (rule) yang secara statistik signifikan
menjadi cukup menantang pada keadaan seperti ini.
I. Bayesian, Ensemble, dan Fuzzy
Kalau di perhatikan, ketiga metode ini dikaitkan dengan klasifikasi, clustering,
dan regresi. Mengapa? Karena baik pendekatan Bayesian, Ensemble, maupun
Fuzzy logic dapat digunakan dalam ketiga permasalahan tersebut.
1. Bayes: Thomas Bayes (1701–1761) bisa jadi merupakan salah satu
statistikawan paling berpengaruh sepanjang sejarah. Teorema Bayes
(Bayes Rule) adalah salah satu teorema fenomenal yang menjelaskan
probabilitas bersyarat suatu kejadian. Bayesian probability ini menjadi
dasar penting Bayesian inference yang merupakan dasar penting
Bayesian Statistics. Model Bayes memiliki keunggulan karena hasilnya
merupakan suatu distribusi probabilitas, sehingga pengambil
keputusan memiliki keleluasaan dan keyakinan yang lebih baik,
ketimbang model frequentist (model-model yang kita bahas
sebelumnya). Sayangnya, biasanya model-model Bayes memiliki
komputasi yang lebih besar. Saya akan membuat post lain, sebagai
contoh untuk menjelaskan perbedaan pendekatan frequentist dan
bayesian pada model regresi. (Gambar atas)
 2. Ensemble: Beberapa tahun belakangan ini model-model ensemble variabel yang membuat komputasi menjadi terlalu tinggi. Skenario-skenario ini
menjadi salah satu topik hangat penelitian (termasuk di dalamnya adalah saat-saat dimana pengurangan dimensi (variabel) dibutuhkan.
random forest). Model ensemble pada dasarnya adalah perpaduan
beberapa model. Salah satu ensemble yang paling mudah adalah
consensus model. Menggunakan teknik ensemble kita dapat
meningkatkan akurasi (biasanya tidak banyak), namun komplekasitas
komputasinya meningkat sangat besar, sehingga tidak cocok untuk
data yang besar (e.g. Big Data). (Gambar kiri bawah)
3. Fuzzy: Fuzzy logic men-generalisasi konsep binary logika
(True/False-{0,1}) ke interval kontinu [0,1]. Dengan logika fuzzy suatu
kebenaran bisa bernilai 3/4 True dan 1/4 False. Konsep fuzzy bisa
digunakan untuk memodelkan suatu kategori yang tidak tegas, misal
konsep dingin, hangat, dan panas. Dari konsep fuzzy ini, model Fuzzy
Clustering, Fuzzy Classification, dan Fuzzy Regression dapat
dikembangkan. (Gambar kanan bawah)

J. Dimensionality Reduction / Feature Selection

Ada kalanya kita disuguhkan seonggok data dengan begitu banyak variabel
dan sebuah hipotesis (dugaan) atau sebuah variabel target. Tentu saja tahap
pertama yang perlu kita lakukan adalah memilah variabel mana yang
merupakan prediktor yang baik bagi target kita, sisanya biasanya hanyalah
“noise” bagi modelnya. Atau pada keadaan lain kita memiliki terlalu banyak
 Clustering
A. Apa itu Clustering?
Teknik analisis data yang dilakukan untuk mencari informasi dengan
tujuan untuk mengelompokkan observasi berdasarkan karakteristik tertentu
sedemikian sehingga observasi dalam suatu kelompok lebih
mirip/similar/homogen. Definisi dari mirip/similar/homogen tergantung dari
tujuan penelitian. Metode clustering yang umum digunakan adalah metode
k-means.
Clustering berguna untuk data dalam jumlah besar dan menangani
berbagai macam tipe atribut atau variabel. Selain itu clustering juga berguna 3. Density-based
untuk menangani noise, outliers. Clustering memiliki kelebihan karena mudah Pendekatan parametrik yang didasari connectivity dan
diinterpretasikan dan sangat berguna, lalu juga tidak memedulikan urutan input. density functions. Contohnya metode DBSACN, OPTICS,
● Pendekatan Clustering DenClue.
1. Partisi
Membuat partisi dan evaluasi berdasarkan kriteria tertentu,
misalnya meminimalkan sum of square errors. Contohnya
metode k-means, k-medoids, CLARANS

B. Istilah Dalam Clustering

1. Centroid = Titik pusat cluster
2. Jarak = Jarak antar anggota untuk menentukan data tersebut masuk
2. Hirarki ke cluster mana. Jenis jarak yang sering digunakan antara lain
Membuat struktur hierarchical menggunakan kriteria tertentu. Euclidean, Manhattan, Hamming, Minkowski.
Contohnya metode centroid, nearest-neighbor (single 3. Seeds = Angka random untuk membangkitkan cluster
linkage), farthest-neighbor (complete-linkage), average 4. Similaritas = Pengukuran jarak kemiripan
linkage, ward. 5. Disimilaritas = Pengukuran jarak perbedaan
 6. Hierarki = Dalam metode hirarki cluster terdapat dua tipe dasar yaitu ● Biologi : clustering dapat digunakan untuk mendapatkan taksonomi
agglomerative (pemusatan) dan divisive (penyebaran). Dalam metode tumbuhan dan hewan, mengkategorikan gen dengan fungsi serupa dan
agglomerative, setiap obyek atau observasi dianggap sebagai sebuah mendapatkan wawasan tentang struktur yang melekat pada populasi.
cluster tersendiri. Dalam tahap selanjutnya, dua cluster yang ● Spatial data analysis
mempunyai kemiripan digabungkan menjadi sebuah cluster baru ● Pemrosesan gambar
demikian seterusnya. Sebaliknya, dalam metode divisive kita beranjak ● Economic science
dari sebuah cluster besar yang terdiri dari semua obyek atau ● Pengelompokan dari internet
observasi. Selanjutnya, obyek atau observasi yang paling tinggi nilai ● Pengenalan pola
ketidakmiripannya kita pisahkan demikian seterusnya. Beberapa contoh konkrit dari aplikasi clustering yang telah diimplementasikan
7. Non Hierarki →Kebalikan dari metode hirarki, metode nonhirarki tidak antara lain :
meliputi proses “treelike construction“. Justru menempatkan 1. Analisis Genom
objek-objek ke dalam cluster sekaligus sehingga terbentuk sejumlah Analisis genom merupakan data sains yang bergerak di bidang bioinformatika.
cluster tertentu. Langkah pertama adalah memilih sebuah cluster Analisis genom membutuhkan clustering ketika proses mengelompokkan gen
sebagai inisial cluster pusat, dan semua objek dalam jarak tertentu dengan mencari ekspresi gen yang paling mirip.
ditempatkan pada cluster yang terbentuk. Kemudian memilih cluster
selanjutnya dan penempatan dilanjutkan sampai semua objek
ditempatkan. Objek-objek bisa ditempatkan lagi jika jaraknya lebih
dekat pada cluster lain daripada cluster asalnya.
C. Mengapa Clustering itu Penting
Clustering dapat diaplikasikan untuk banyak hal, antara lain :
● Marketing: Membantu pihak pemasaran untuk menentukan grup khusus
dan membuat program khusus untuk mengelompokkan pelanggan,
2. Taksonomi
misalnya berdasarkan pola pembelian.
Taksonomi merupakan data sains di penerapan bidang biologi. Clustering
● Land use: Identifikasi area yang digunakan untuk hal yang sama,
dipakai untuk clustering (mengelompokkan) spesies melalui tingkat kemiripan
membantu dalam mengidentifikasi area penggunaan lahan yang serupa
untuk diatur di bagan taksonomi.
dalam database observasi, mengidentifikasi kelompok rumah di kota
3. Pengelompokan Struktur Kimia
menurut jenis rumah, nilai, dan lokasi geografis
Untuk data sains di penerapan bidang kimia, clustering dipakai untuk
● Asuransi: Identifikasi grup yang memiliki tingkat klaim yang tinggi.
meningkatkan kualitas pengelompokan struktur kimia dengan meningkatkan
● Tata kota: Identifikasi rumah-rumah berdasarkan tipe, harga dan lokasi.
 kemampuan untuk memisahkan molekul aktif dari yang tidak aktif di setiap
cluster dan meningkatkan ketahanan dan stabilitas pengelompokan individu.
D. K-Means Clustering
● Langkah-langkah K-means clustering
Secara sederhana, berikut langkah-langkah K-means clustering :
1. Menentukan k objek sebagai centroid awal.
2. Menghitung jarak antara setiap objek dengan centroid terdekat menggunakan
jarak Euclidian, kemudian mengelompokkan objek ke centroid terdekat.
3. Menghitung rata-rata dari objek pada setiap cluster sebagai centroid yang baru.
4. Mengulangi langkah 2 dan 3 hingga objek tidak lagi berpindah ke cluster lain.
5. Stop.
Untuk algoritmanya, dijabarkan sebagai berikut :
● Contoh pelaksanaan K-means clustering :
Diberikan data X = {1,2,3,6,7,8}, jika data tersebut dibuat menjadi dua kluster, tentukan
pusat dan anggota dari masing-masing kluster tersebut.
Jawab :
Misalkan, inisialisasi µ1 = 3, µ2 = 6
Technology in Data Science and Big Data
A. Data Science and Big Data
Data yang dapat kita ambil dari Indonesia tergolong Big Data
dikarenakan ukurannya yang besar (memiliki 250 juta penduduk, 1340 suku
bangsa, 17 ribu pulau, dan 746 bahasa daerah), lalu penduduknya juga adaptif
(memiliki 132,7 juta pengguna internet, 371,4 juta pelanggan ponsel, dan 106
juta pengguna aktif sosial media), lalu memiliki opportunity yang besar
(ekonominya tumbuh, politik dan keamanan yang stabil).
Data-data yang dapat diambil dari berbagai tempat dan sumber dapat
dgunakan untuk berbagai macam hal seperti Crowdsourcing, Physical
modeling, Sensing, dan Data Assimilation sehingga dapat dibuat berbagai
macam teknologi yang membantu hidup manusia itu sendiri seperti mencari
jalur tercepat di peta, pemberitahuan gempa bumi, dll.
Data tersebut diolah dengan menggunakan ilmu Data Science dan
terdapat beberapa contoh programming language yang sering digunakan untuk
Data Science tersebut seperti Python, R, SQL, C/C++, Java, dll.
B. Big Data Technology (Cloud Computing)
Cloud computing merupakan salah satu pengaplikasian dari teknologi big data.
Cloud computing memiliki banyak keuntungan seperti biaya dan manajemen
yang mudah dan murah, dapat diandalkan untuk data berukuran besar, tahan
lama, storage yang murah, dan menawarkan penawaran-penawaran dari
Microsoft, Amazon, Google, dll.
 Peluang, Tantangan, dan Trend Big Data & Data Science
A. Peluang
Peluang dari Big Data dan Data Science di Indonesia sangatlah tinggi. Hal
tersebut disebabkan karena jumlah pemuda/pemudi di Indonesia yang tinggi.
Pemuda/pemudi yang asalnya tinggal di desa pun juga banyak yang berpindah
ke daerah yang sudah maju, ke perkotaan. Dengan banyaknya penduduk,
bermunculan juga banyak technopreneur-technopreneur yang membuat
wirausaha-wirausaha berdasarkan teknologi seperti traveloka, gojek, lazada,
bukalapak, dll.
C. Tantangan Teknis
Di era yang modern ini, kolaborasi pun menjadi lebih mudah dan luas. Hal
tersebut memanfaatkan kemudahan konektivitas yang ditawarkan teknologi
informasi di abad ke-21. Hal itu juga sangat membantu produktivitas karena
sharing dapat meringankan pekerjaan, menghindari kebingungan, dan hal
tersebut dapat dilakukan multi dimensi.
B. Tantangan Sosial
Tentunya pengaplikasian dan penggunaan big data di masa modern ini
juga menimbulkan banyak tantangan sebelum diterima oleh masyarakat.
Terdapat beberapa penyebab yang menyebabkan big data dan data science
tidak langsung sepenuhnya dipercaya oleh masyarakat. Pertama,
kekhawatiran, masyarakat khawatir data pribadi mereka disalahgunakan dan
diperjualbelikan dan diretas pada saat kita membagikan data kita. Masyarakat
juga khawatir dengan apa yang akan dilakukan oleh perusahaan atau
pemerintah pada saat mereka mendapatkan data kita.
Selain itu, literasi data dan hukum mengenai data yang belum
dipersiapkan dengan matang di Indonesia dan berbagai negara lain menjadi
tantangan bagi big data dan data science untuk diterima masyarakat. Maka dari
itu, untuk mengatasi tantangan sosial-tantangan sosial tersebut, mulai
bermunculan jurusan-jurusan seperti data science dan mata kuliah seperti
Pengantar Sains Data ini untuk meningkatkan literasi data di Indonesia dan
negara lainnya, lalu pemerintah di Indonesia maupun negara lain juga sedang
berusaha untuk membuat hukum yang dapat mengatur penggunaan big data
dan data science ini.
Tantangan yang dihadapi oleh big data dan data science ini
merupakan tantangan yang dinamis dan berubah-ubah sesuai dengan
keadaannya. Berbagai tantangan utama yang dihadapi termasuk sekuritas,
performa, pemerintahan, manajemen, dll. Akan tetapi dibanding semua
tantangan tersebut, tantangan yang selalu paling utama adalah kurangnya
sumber daya manusia yang memiliki skill set yang paham dan ahli di bidang
data science dan big data.
Selain itu, dengan banyaknya teknologi, maka terjadi fenomena
“tsunami” teknologi yang menyebabkan sulitnya berkembang dan memilih
teknologi mana yang cocok dan perlu digunakan. Berbagai macam jenis
visualisasi yang tersedia pun juga menjadi tantangan untuk memilih mana yang
cocok.
D. Trend Masa Depan
Seiring berkembangnya zaman, tentu dapat kita lihat bahwa dari zaman dulu ke
zaman yang sekarang telah terjadi banyak perkembangan teknologi, dapat kita
prediksi juga ke depannya tentu perkembangan teknologi yang berhubungan
dengan big data dan data science akan terjadi di masa depan. Hal tersebut
juga dapat kita lihat dari kebutuhan teknologi yang diperlukan oleh
perusahaan-perusahaan industri seperti permodelan matematika, metode
sampling, data storytelling, critical thinking, efisien EDA (Exploratory Data
Analysis), dll.