BIG DATA

LATAR BELAKANG BIGDATA

• BIGDATA telah berkembang jauh sejak istilah ini diciptakan pada tahun
1980 oleh sosiolog Charles Tilly.
• Big Data telah mendapatkan banyak perhatian dari akademisi dan
industri TI. Pada tahun 2023, 50 miliar perangkat terhubung ke
Internet. Karena informasi ditransfer dan dibagikan dengan kecepatan
ringan pada jaringan serat optik dan nirkabel, volume data dan
kecepatan pertumbuhan pasar meningkat. Namun, laju pertumbuhan
data yang begitu cepat menimbulkan banyak tantangan seperti
kecepatan transfer data, keragaman data, dan keamanan data.
• Pada tahun 2001, Douglas Laney, seorang analis industri di Gartner,
memperkenalkan tiga V dalam definisi data besar—volume, kecepatan,
dan variasi.
• Tahun 2006 merupakan tonggak sejarah lainnya dengan
pengembangan Hadoop yaitu sistem penyimpanan dan pemrosesan
terdistribusi BigData.
• Untuk referensi tahun 2022, salah satu platform NoSql telah
menghasilkan lebih dari 79 zettabyte data, dan pada tahun 2025
jumlah tersebut diperkirakan sekitar 181 zettabyte (1 zettabyte = 1
triliun gigabyte).
ARTI BIGDATA
• Data besar dalam Volume (ukuran), Varietas (kompleks,variasi), dan Velocity (kecepatan).
Dikenal dengan istilah BIGDATA
Kita akan mengeksplorasi apa itu big data dan big data mengubah bisnis untuk membantu
meningkatkan pendapatan serta meningkatkan strategi dan proses bisnis.

• Bayangkan ini: Anda menonton video di YouTube, menyukainya, dan membagikannya dengan beberapa teman.
Anda kemudian membeli bahan makanan dan obat-obatan secara online, dan mencari tempat liburan yang
keren. Anda membuka Netflix dan menonton serial web favorit Anda. Anda membayar tagihan telepon dan listrik
orang tua Anda, dan memperbarui detailnya di portal kesehatan untuk mengajukan asuransi. Seorang teman
menelepon Anda untuk menyukai konten mereka di Instagram, jadi Anda masuk ke akun Anda dan memposting
komentar di beberapa foto mereka. Kemudian, Anda memesan penerbangan ke tempat orang tua Anda untuk
akhir pekan depan.

• Dengan semua transaksi ini, Anda terus menghasilkan data dan membagikan informasi pribadi tentang diri Anda
dan orang-orang yang berhubungan dengan Anda—orang tua, teman, serial favorit, tujuan perjalanan favorit,
dan banyak lagi.
Jenis data besar
• Data terstruktur, tidak terstruktur, dan semi-terstruktur adalah semua jenis data besar. Sebagian besar big data saat ini
tidak terstruktur, termasuk video, foto, halaman web, dan konten multimedia. Setiap jenis data besar memerlukan
kumpulan alat data besar yang berbeda untuk penyimpanan dan pemrosesan:
Data terstruktur
• Data terstruktur disimpan secara terorganisir dan tetap dalam bentuk tabel dan kolom.
• Database relasional sangat cocok untuk menyimpan data terstruktur. Pengembang menggunakan Structured Query
Language (SQL) untuk memproses dan mengambil data terstruktur.
Data semi-terstruktur
• Data semi-terstruktur terstruktur tetapi tidak kaku. Bukan dalam bentuk tabel dan kolom. Beberapa contohnya adalah
data dari aplikasi seluler, email, log, dan perangkat IoT. JSON dan XML adalah format umum untuk data semi-
terstruktur
Data multi-terstruktur/tidak terstruktur
• Data multi-terstruktur bersifat mentah dan memiliki format yang bervariasi. Itu dapat berisi data sensor, log web, data
media sosial, file audio, video dan gambar, dokumen, file teks, data biner, dan banyak lagi. Data ini tidak memiliki
struktur tertentu dan karenanya dikategorikan sebagai data tidak terstruktur . Contohnya termasuk file teks, file audio,
dan gambar.
 CONTOH PENERAPAN BIGDATA
Volume
• Hanya satu perjalanan penerbangan lintas negara dapat menghasilkan 240 terabyte data
penerbangan. Sensor IoT di satu lantai pabrik dapat menghasilkan ribuan umpan data secara
bersamaan setiap hari. Contoh umum lainnya dari BigData adalah feed data Twitter, aliran klik
halaman web, dan aplikasi seluler.
Kecepatan
• Volume BigData yang luar biasa berarti harus diproses secepat kilat untuk menghasilkan
kesimpulan dalam jangka waktu tertentu. Oleh karena itu, perangkat lunak perdagangan saham
dirancang untuk mencatat perubahan pasar dalam mikrodetik. Game berkemampuan internet
melayani jutaan pengguna secara bersamaan, masing-masing menghasilkan beberapa tindakan
setiap detik. Dan perangkat IoT mengalirkan data peristiwa dalam jumlah besar secara real time.
Variasi
• BigData datang dalam berbagai bentuk, seperti teks, audio, video, geospasial, dan 3D, tidak ada
yang dapat ditangani oleh basis data relasional tradisional. Sistem sekarang dirancang untuk
volume data terstruktur yang besar dan untuk dijalankan pada banyak server, menerapkan tidak
ada batasan pada kecepatan dan kapasitas.
Dengan evolusi teknologi komputasi, volume yang sangat besar dapat dikelola tanpa memerlukan
superkomputer dan biaya tinggi. Banyak teknik tersedia untuk manajemen data, termasuk Google
BigTable, Simple DB, Not Only SQL (NoSQL), Data Stream Management System (DSMS),
MemcacheDB, dan Voldemort
Mengapa BIGDATA penting?

• BIGDATA digunakan untuk mendapatkan wawasan praktis untuk peningkatan proses dan
pendapatan. Analisis BIGDATA dapat membantu dalam:
• Optimalisasi biaya: Melalui analitik, perusahaan dapat meningkatkan strategi bisnis mereka,
meningkatkan produktivitas dengan menangani bencana sebelum terjadi, dan lebih fokus pada
bisnis daripada mengkhawatirkan aspek operasional, sehingga mengurangi biaya keseluruhan.
• Produk dan layanan inovatif: Melalui teknologi BIGDATA, bisnis dapat memahami preferensi
pelanggan dengan lebih baik, dan membentuk strategi pemasaran mereka sesuai dengan itu. Hal
ini memungkinkan mereka untuk mengembangkan produk dan layanan yang lebih baik di masa
depan.
• Pengambilan keputusan yang lebih baik dan lebih cepat: Dengan bantuan alat BIGDATA seperti
Spark, Hadoop, database NoSQL, alat visualisasi super dan lainnya, analis bisa mendapatkan
wawasan yang lebih cepat dan solusi big data. Ini membantu dalam pengambilan keputusan yang
cepat untuk bisnis.
PENGUMPULAN BIGDATA

Untuk melakukan ini:

• Membutuhkan bantuan situs media sosial seperti Facebook, Instagram, dan Bisnisku untuk memahami perilaku
pengguna—postingan yang disukai pengguna, interaksi mereka di halaman tertentu, dan sebagainya.
• Membuat situs web dan melacak peristiwa di situs web mereka, termasuk jumlah klik dan menit yang dihabiskan
pengguna di suatu halaman.
• Untuk pelanggan yang melihat-lihat bagian tertentu (seperti pakaian etnik wanita), perusahaan ingin mengirim
email khusus yang memberi mereka penawaran dan diskon.
• Untuk pertanyaan dan dukungan, perusahaan menyediakan chatbots dan dukungan pelanggan.
• Semua informasi ini tidak dapat dikumpulkan dari satu sumber. Setiap langkah memiliki pusat datanya sendiri di
mana informasi itu pergi. Data yang dikumpulkan dari berbagai sumber harus digabungkan di satu tempat untuk
mendapatkan tampilan yang seragam. Tempat seperti itu biasanya disebut sebagai gudang data . Proses
pengumpulan dan penggabungan data dari berbagai sumber disebut integrasi data .
MANAJEMEN & ANALISIS BIGDATA

Manajemen Data
• Langkah selanjutnya, kita harus menyimpan semua data di atas dalam lingkungan yang andal dan
sangat tersedia, sehingga dapat diambil dengan mudah untuk penggunaan bisnis. Perusahaan
menemukan bahwa sebagian besar perusahaan lebih memilih penyimpanan berbasis cloud
sehingga infrastruktur dapat dikelola dengan mudah. Salah satunya platform NoSql
• Proses menyimpan data terintegrasi, sehingga dapat diambil kembali oleh aplikasi sesuai
kebutuhan, disebut manajemen data.
Analisis Data
• Setelah merek mengetahui bahwa data besar dikelola dengan baik, langkah selanjutnya adalah mencari tahu
bagaimana data harus digunakan untuk mendapatkan wawasan yang maksimal. Proses analitik big data
melibatkan transformasi data, membangun pembelajaran mesin dan model pembelajaran mendalam, serta
memvisualisasikan data untuk mendapatkan wawasan dan mengomunikasikannya kepada pemangku
kepentingan. Langkah ini dikenal sebagai analisis data .
TANTANGAN BIGDATA

• Mengumpulkan, menyimpan, dan memproses big data memiliki tantangan tersendiri:

• Data besar tumbuh secara eksponensial, dan solusi manajemen data yang ada harus terus
diperbarui untuk mengatasi tiga Vs.
• Organisasi tidak memiliki cukup profesional data terampil yang dapat memahami dan bekerja
dengan data besar dan alat data besar
UNTUK APA BIGDATA DIGUNAKAN?
• Perlindungan terhadap penipuan: BigData memungkinkan Anda mengidentifikasi pola penggunaan
yang terkait dengan
• Machine learning: BigData adalah pendukung utama algoritme yang mengajarkan mesin dan perangkat
lunak cara belajar dari pengalaman mereka sendiri, sehingga mereka dapat bekerja lebih cepat,
mencapai presisi lebih tinggi, dan menemukan wawasan baru dan tak terduga. Contoh: ChatGPT
• Pengembangan produk dgn menganalisis dan memodelkan serangkaian input data besar untuk
memperkirakan permintaan pelanggan dan membuat prediksi tentang jenis produk dan atribut baru apa
yang paling cocok untuk mereka.
• Perawatan prediktif: Menggunakan algoritme, pabrikan menilai input sensor IoT dan kumpulan data
besar lainnya untuk mengecek kinerja alat berat dan menemukan petunjuk untuk masalah yang akan
segera terjadi. Sasarannya adalah menentukan waktu ideal untuk pemeliharaan preventif guna
mengoptimalkan operasi peralatan dan memaksimalkan waktu kerja.
• Meningkatkan produktivitas dan meminimalkan biaya: Untuk mengasah keunggulan mereka di pasar
kompetitif dengan margin rendah, produsen memanfaatkan data besar untuk meningkatkan kualitas
dan hasil sambil meminimalkan limbah. Instansi pemerintah dapat menggunakan media sosial untuk
mengidentifikasi dan memantau wabah penyakit menular.
• Secara rutin kita memantau rasio klik web yang mengungkap perubahan tersembunyi dalam perilaku
konsumen.
 DATABASE BIGDATA
Mengelola BigData dilengkapi dengan serangkaian spesifikasi. Solusi penyimpanan untuk data besar harus
dapat memproses dan menyimpan data dalam jumlah besar, mengubahnya menjadi format yang dapat
digunakan untuk analitik. NoSQL, atau non-relasional, database dirancang untuk menangani volume data
yang besar.
Apache HBase
• HBase adalah database data besar berorientasi kolom yang berjalan di atas Hadoop Distributed File
System (HDFS). HBase adalah proyek Apache tingkat atas dan keunggulan utamanya meliputi pencarian
cepat untuk tabel besar dan akses acak.
Apache Cassandra
• Proyek tingkat atas Apache lainnya— Cassandra —adalah penyimpanan kolom lebar, yang dirancang
untuk memproses data dalam jumlah besar. Cassandra memberikan kinerja dan keandalan baca-tulis
yang hebat, sekaligus mampu menskalakan secara horizontal .
Atlas MongoDB
• MongoDB adalah database berorientasi dokumen NoSQL. Model dokumen NoSQL sangat cocok untuk
data tidak terstruktur yang memungkinkan pengguna menggabungkan dan mengatur data dengan mudah
dari berbagai sumber.
Siapa yang menggunakan BigData

Hampir semua industri menggunakan BigData dalam beberapa cara.

• BigData dalam perawatan kesehatan: Rekam Medis Elektronik (EMR) membantu melacak catatan pasien dan
rumah sakit, mendeteksi penyakit pada tahap awal, menemukan obat baru, mendukung penelitian biomedis,
dan memantau kesehatan melalui perangkat IoT.
• BIgData dalam perbankan dan keuangan: BigData digunakan untuk deteksi dan pencegahan penipuan,
mengidentifikasi pelanggan setia, dan memberikan keamanan yang lebih baik.
• BIgData dalam pemasaran dan ritel: Untuk memahami perilaku pelanggan, mendukung segmentasi pelanggan,
merekomendasikan produk dan layanan, serta menyediakan pemasaran bertarget, pengecer dan pemasar
lainnya sering beralih ke analisis data besar.
• BigData juga memiliki aplikasi di bidang manufaktur, logistik, asuransi, pendidikan, hiburan, dan banyak sektor
lainnya.
• BigData digunakan saya untuk untuk broadcast informasi dengan platform WhatsApp dengan puluhan juta data
sebagai WhatsApp Partner dan menggunakan NoSql mongoDb sebagai database.
CONTOH PENERAPAN BIGDATA

WhatsApp BigData dan Digital Campaign

Why using Social Media ?

• We Are Social mencatat, jumlah pengguna

internet di Indonesia telah mencapai 212,9 juta
pada Januari 2023.
• Ini berarti sekitar 77% dari populasi Indonesia
telah menggunakan internet.
• Jumlah pengguna internet pada Januari 2023
lebih tinggi 3,85% dibanding setahun lalu.
Pada Januari 2022, jumlah pengguna internet
di Indonesia tercatat sebanyak 205 juta
Digital Market Campaign

Platform user
1. Whatsapp 88,7%
2. Instagram 84,8%
3. Facebook 81,3%
4. TikTok 63,1%
5. Telegram 62,8%
Using WHATSAPP and not others
Global Trends on the important
of WHATSAPP

• “You should message a business just the way you should message a
friend” – Mark Zuckerberg, Facebook
• “In some countries, WhatsApp is like oxygen.” — Jan Koum, Co-
founder WhatsApp
• “Consumers increasingly want to interact with businesses the same
way they connect with their family and friends” – Chat conversation
alot Magazine
 Whatsapp Campaign

Offer incentive for speak up Offer incentive for their

Offer incentive to become
Candidate Introduction effort participating in
Simple questioners part of the team
(Awareness) election
(Interest) (Desire)
(Action)

Promote your campaign Capture people’s aspiration Being part of the team.
Broadcast using BIG DATA by
Area, by Age, by Gender, by
Develop people interest
Foster a sense of
Involvement in campaign
activities. Ensuring
vote
Profession engagement Lean campaign budget and
Creative campaign content easy to monitor.
Increase number of
respondents
Auto responder for two way
communication Social Media Analysis
TERIMA KASIH

HERMANSYAH
Ahli IT ITB