DATA STREAM

I Made Satrya Ramayu, S.Kom., M.Kom

 Apakah data Stream?

• Aliran data secara terus menerus

• menggambarkan data yang dihasilkan secara terus
menerus dengan kecepatan tinggi dan dalam volume
besar.
• Dalam computer
• Transmit (mengirim) or receive (menerima) data
• Contoh : video dan audio saat proses streaming
• Log server dan keamanan
• Data aliran klik dari situs web dan aplikasi
• sensor IoT
 karakteristik data streaming

• Signifikan secara kronologis

• Mengalir secara berkelanjutan
• Unik
• Tidak homogen
• Tidak sempurna
 Signifikan secara kronologis

• Elemen individual dalam aliran data berisi stempel waktu

• Contoh aplikasi Anda memberikan rekomendasi restoran berdasarkan lokasi
penggunanya saat ini. Anda harus bertindak sesuai dengan data geolokasi
pengguna secara real-time atau data akan kehilangan signifikansi.
 Mengalir secara berkelanjutan

• Aliran data tidak memiliki awal dan akhir. Aliran data mengumpulkan data
secara konstan dan berkelanjutan selama diperlukan. Misalnya, log aktivitas
server diakumulasi selama server berjalan.
 Unik

• Dikarenakan transmisi data yg

dilakukan secara terus menerus maka
data real-time pun akan berubah
• Contoh : log history program
 Tidak homogen

• Beberapa sumber dapat mengalirkan

data dalam beberapa format
terstruktur seperti JSON, Avro, dan
nilai yang dipisahkan koma (CSV)
dengan tipe data yang mencakup
string, angka, tanggal, dan tipe biner.
Sistem pemrosesan aliran Anda harus
memiliki kemampuan untuk
menangani variasi data seperti itu.
 Tidak sempurna

• Kesalahan sementara pada sumber

dapat membuat elemen pada data
yang dialirkan menjadi rusak atau
hilang.
Mengapa data streaming itu penting

• Volume data tak terbatas

• Volume data yang dihasilkan dari sumber aliran mungkin sangatlah besar, sehingga
menyulitkan analitik real-time dalam mengatur integritas (validasi), struktur
(evolusi), atau laju (throughput dan latensi) data streaming.
• Sistem pemrosesan data tingkat lanjut
• Arsitektur data streaming menggunakan teknologi cloud untuk memanfaatkan,
memperkaya, menganalisis, dan secara permanen menyimpan data streaming jika
diperlukan. Sehigga dapat dimanfaatkan untuk diolah menjadi suatu informasi
Manfaat penggunaan data streaming?

• Analisis data
• Aplikasi IoT
• Analisis keuangan
• Rekomendasi real-time
• Garansi layanan
• Media dan gaming
• Kontrol risiko
 Analisis data

• Pemanfaat Aplikasi dapat memproses

aliran data untuk menghasilkan
laporan.
• contoh menyalakan alarm ketika
pengukuran utama telah melebihi
batasan tertentu
 Aplikasi IoT
• Pemanfaatan (IoT) dalam kasus
penggunaan lainnya untuk data
streaming. Misalnya Sensor pada
kendaraan, peralatan industri, dan
mesin pertanian mengirimkan data ke
aplikasi streaming. Aplikasi akan
memantau performa, mendeteksi
potensi kerusakan di awal, dan
melakukan pemesanan suku cadang
secara otomatis, sehingga dapat
mencegah waktu henti perlengkapan.
 Analisis keuangan

• Lembaga keuangan menggunakan data aliran

untuk melacak perubahan dalam pasar
saham secara real-time, menghitung nilai
risiko, dan secara otomatis menyeimbangkan
kembali portofolio berdasarkan pergerakan
harga saham.
• Kasus penggunaan keuangan lainnya antara
lain adalah deteksi penipuan transaksi kartu
kredit menggunakan inferensi terhadap data
transaksi streaming real-time.
Rekomendasi real-time

• Aplikasi real estat melacak data

geolokasi dari perangkat seluler
konsumen dan membuat rekomendasi
real-time mengenai properti yang
dapat didatangi. Demikian pula,
aplikasi periklanan, makanan, retail,
dan konsumen dapat
mengintegrasikan rekomendasi real-
time untuk memberikan nilai tambah
bagi pelanggan.
 Garansi layanan

• Contohnya perusahaan tenaga surya

mengimplementasikan aplikasi data
streaming yang memantau semua panel
di lapangan dan menjadwalkan layanan
secara real-time sehingga meminimalkan
periode throughput rendah dari tiap-tiap
panel dan pembayaran penalti terkait.
• Throughput ( jumlah data yang benar-
benar terkirim dalam satu waktu
tertentu )
 Media dan gaming

• Contohnya perusahaan gaming online

yang menggunakan pemrosesan aliran
peristiwa untuk menganalisis interaksi
antara pemain dan game, serta
menawarkan pengalaman yang
dinamis untuk menarik para pemain
 Kontrol risiko

• Platform streaming langsung dan

platform sosial menangkap data
perilaku pengguna secara real-time
untuk kontrol risiko atas aktivitas
keuangan pengguna, seperti isi ulang,
pengembalian dana, dan hadiah.
Platform-platform ini menampilkan
dasbor real-time untuk menyesuaikan
strategi risiko secara fleksibel.
Perbedaan antara data batch dan data streaming
• Pemrosesan batch adalah metode yang
digunakan komputer untuk menyelesaikan
tugas data berulang dengan volume tinggi
secara berkala. Sistem yang berbasis
MapReduce, seperti Amazon EMR, adalah
contoh platform yang mendukung tugas
batch.
• Data streaming memerlukan penyerapan
urutan data, dan secara bertahap
memperbarui statistik metrik, laporan,
dan ringkasan sebagai respons atas setiap
catatan data yang tiba. Pemrosesan ini
lebih cocok untuk analitik waktu nyata
dan fungsi respons.
Lanjutan ..
 Arsitektur data streaming

• jaringan komponen perangkat lunak khusus yang mampu mencerna dan

memproses data streaming dalam jumlah besar dari banyak sumber.
• Arsitektur data streaming berisi dua tipe komponen utama
• Produsen aliran
• Konsumen aliran
Produsen aliran

• Produsen aliran adalah komponen perangkat lunak

dalam aplikasi dan sistem IoT yang akan
mengumpulkan data.
• Alurnya :
• Produsen mengirimkan catatan ke prosesor yang
berisi nama, nilai data, dan nomor urutan
• Prosesor menyimpan dalam buffer atau
mengelompokkan sementara catatan data
berdasarkan nama aliran.
• Prosesor menggunakan nomor urutan untuk
melacak posisi unik dari setiap catatan dan
memproses data secara kronologis.
Konsumen aliran

• Konsumen aliran adalah komponen perangkat lunak

yang memproses dan menganalisis aliran data yang
disimpan dalam buffer pada prosesor
• Setiap konsumen memiliki kemampuan analitik
seperti korelasi, agregasi, pemfilteran, pengambilan
sampel, atau machine learning
• Konsumen juga dapat mengirimkan kembali data yang
diubah ke prosesor guna membuat aliran baru untuk
konsumen lain.
tantangan dalam bekerja
dengan data streaming?
• Ketersediaan
• Skalabilitas
• Ketahanan
Ketersediaan

• Aplikasi data streaming membutuhkan konsistensi,

latensi rendah, dan ketersediaan tinggi.
• Konsumen secara terus-menerus mengambil data baru
dari aliran untuk memprosesnya.
• Sehingga dituntut untuk tahan akan terus-menerus
mengambil data baru
Skalabilitas

• Aliran data mentah dapat melonjak secara cepat dan

tidak terduga
• Contohnya posting media sosial melonjak
• sistem harus memprioritaskan pengurutan,
ketersediaan, dan konsistensi data yang tepat, bahkan
selama beban puncak.
Ketahanan

• Karena sensitivitas waktu data, sistem pemrosesan

aliran harus memiliki toleransi terhadap kesalahan.
Sebaliknya, data akan hilang selamanya jika terjadi
pemadaman atau kegagalan.
Terimakasih