KONSEP, TEORI,

FRAMEWORK BIG DATA

ANDRI OKTARIAN, ST., MT.
KONSEP BIG DATA

• Konsep big data adalah mengumpulkan semua

data yang dihasilkan lalu mengolahnya dengan
tepat agar dapat memberikan value yang
diharapkan. 
KONSEP BIG DATA TERDIRI DARI TIGA HAL 

Integrasi Data

Konsep Big
Data Pengolahan Data

Analisis Data
1. Integrasi Data

• Integrasi data adalah proses untuk mengumpulkan semua data

yang telah dibuat hingga menjadi big data. Contohnya, data
website toko online yang berasal dari pendaftaran akun baru,
daftar wishlist, dan lainnya.
• Semua data tersebut akan tetap tercatat pada sistem untuk
kemudian digunakan pada proses selanjutnya. Artinya, pada proses
integrasi data, fokus utamanya adalah pengumpulan data saja.
2. Pengelolaan Data

• Semua data yang dihasilkan harus mampu dikelola dengan tepat, baik pada
saat menyimpan atau mengaksesnya. Untuk itu, diperlukan sebuah ruang
penyimpanan besar serta bisa diakses kapan saja dan dari mana saja. 
• Kalau untuk bisnis, penggunaan website dengan layanan hosting yang
mumpuni bisa menjadi pilihannya. Jadi, semua aktivitas bisnis dan data
yang dihasilkan akan diproses pada satu tempat. 
• Nantinya, data pada website tersebut bisa disortir ke dalam sistem
penyimpanan agar mudah ditemukan ketika dibutuhkan.
3. Analisis Data

• Selanjutnya adalah proses Analisa data. Data yang sudah disimpan

dan dikelompokkan sesuai jenisnya bisa dianalisa untuk kebutuhan
lebih lanjut.
• Sebagai contoh, riwayat belanja konsumen di sebuah toko online,
bisa menjadi informasi produk apa yang layak ditawarkan ketika
konsumen tersebut sedang berbelanja. Dengan begitu, potensi
pembelian produk semakin besar karena penawarannya relevan.
Arsitektur Big Data

Big data dikelola dengan penggunaan teknologi storage yang

baik, jaringan server yang bisa diakses kapan saja, dan
algoritma yang canggih
• Data source merupakan sumber data yang bisa berasal dari berbagai sumber,
misalnya dari calon konsumen toko online yang akan membuat akun dengan
mengisi data diri
• Data aggregator sebagai tools pengolah big data akan menerima data tersebut
dan lalu menyalurkan data tersebut. Ada dua cara yang bisa digunakan, yaitu:
 Real time streaming processor – Menganalisis data yang bersifat real time.
 Hadoop – Tempat penyimpanan data yang sangat besar. Jika data terlalu
besar maka data harus diolah dulu dengan sistem non-real time processor,
baru disimpan di Data Store
• Data store atau tempat penyimpanan data yang telah dianalisis
• Kemudian Data yang telah diolah dan disimpan dalam Data Store tadi, barulah
bisa di Akses oleh pengguna/ user melalui aplikasi atau sistem.
PENGKLASIFIKASIAN DATA

1. High Dimensional Data

• Data yang memiliki jumlah dan kapasitas yang sangat berdimensi
sangat tinggi, sehingga perhitungan menjadi sangat sulit. Dengan
data berdimensi tinggi, jumlah fitur bisa melebihi jumlah observasi.
• Misalnya, microarrays, sistem yang mengukur ekspresi gen manusia,
dapat berisi puluhan dari ratusan sampel. Setiap sampel dapat berisi
puluhan ribu gen.
Tampilan High-dimensional microarray analysis
2.Data Network

Adalah sebuah sistem yang dirancang untuk mentransfer dan menyimpan

data dari satu titik akses jaringan ke titik akses jaringan lainnya.

Teknologi ini juga bisa mentransfer data melalui access point yang
diciptakan dari pengalihan data, jalur transmisi, dan kontrol sistem

Tujuan utama transmisi data dari data network adalah untuk memfasilitasi
alur komunikasi serta informasi antar individu dan organisasi
JENIS DATA NETWORK

 Broadcast network adalah sebuah jaringan di mana

satu node mengirimkan informasi ke beberapa node secara
bersamaan.
 Di sisi lain, point-to-point network merupakan sebuah jaringan di
mana setiap pengirim hanya berkomunikasi dengan satu
penerima.
3. Sentiment Analysis

Sentiment analysis adalah proses penggunaan text analytics

untuk mendapatkan berbagai sumber data dari internet dan
beragam platform media sosial.
Tujuannya adalah untuk memperoleh opini dari pengguna yang
terdapat pada platform tersebut.
TIPE SENTIMENT ANALYSIS

1. Fine-Grained Sentiment Analysis

• Tipe analisis sentimen ini akan mengelompokkan respon atau pendapat ke dalam beberapa
kategori seperti sangat positif, agak positif, netral, agak negatif, dan negatif.

2. Intent Sentiment Analysis

• Tipe sentiment analysis berikut bertujuan untuk mengidentifikasi dan menggali lebih dalam
motivasi di balik pesan pengguna untuk melihat apakah itu termasuk keluhan, saran,
pendapat, pertanyaan atau justru penghargaan terhadap produk atau layananmu.

3. Aspect – Based Sentiment Analysis

• Tipe analisis sentimen ini berfokus pada elemen-elemen yang lebih spesifik dari produk atau
layanan yang diberikan. Analisis sentimen berbasis aspek ini juga memungkinkanmu
menghubungkan sentimen spesifik dengan berbagai aspek produk atau layanan.
4. Data Berstruktur
Jenis data structured (data tradisional) dapat diproses, disimpan, dan diambil
dalam format tetap. Jenis data ini disimpan dalam bentuk tabel, baris dan kolom
yang normalnya disimpan dalam excel atau spreadsheet, dimana informasi pada
data sangat terorganisir dan dapat dengan mudah diakses dari database dengan
algoritma mesin pencari sederhana.

Contoh data terstruktur adalah, data sensor, data penjualan pada suatu
perusahaan, data karyawan dalam database perusahaan dengan detail yang
terstruktur seperti detail data diri karyawan, posisi pekejaan, gaji, dan lainnya
ditampilkan secara terorganisir.
5. Data Semi-Terstruktur
• Jenis data semi-structured merupakan jenis data yang dimasukan
ke dalam sebuah tabel, tetapi skemanya tidak sama dengan tabel
biasa yang hanya terdiri dari baris dan kolom.
• Data semi-terstruktur mengandung format data terstruktur dan
tidak terstruktur. Walaupun belum diklasifikasi oleh repository
tertentu (database), namun mengandung informasi yang penting.
• Contohnya adalah data dalam bentuk file csv, file xml, dan file json.
6. Data Tidak Berstruktur
Jenis data unstructured adalah data dengan bentuk yang tidak dikenal, harus
disimpan dengan format khusus karena tidak memiliki struktur yang spesifik
seperti jenis data structured.
Raw data dari jenis data ini hanya dapat menghasilkan nilai setelah diproses dan
dianalisa. Menyimpan data jenis ini pun memiliki kerumitan seperti memerlukan
penggunaan sistem penyimpanan yang memadai, seperti database NoSQL
(MongoDB dan CouchDB).

Contoh dari data jenis ini dapat ditemukan dalam social media, seperti komentar,
likes, followers, dan data click pada setiap aktivitas di akun media sosial.
Terima Kasih