Sebetulnya kalau kita bicara big data itu tadi ya apa sih di data-data itu ya sebetulnya awalnya tuh 3v

seperti yang disampaikan sama provinsi tadi dia tuh volume variasi sama velocity kemudian ada juga
6 yaitu tingkat apa yang sebelahnya ke terus datanya data itu aman atau tidak dipercaya atau tidak
terus terakhir ini ada juga terkait dengan setelah empat bait ada juga 5v yang terakhir mengenai value
jadi meskipun kita punya data yang sangat banyak beta punya mediastream yang sangat cepat untuk
Kumpulkan data tetapi itu nggak ada gunanya kalau kita tidak bisa mengekstrak file dari situ Ini apa
namanya itu mungkin ada beberapa beberapa provider atau pun juga ini ilmuwan yang menyatakan
bahwa yang terakhir yang kelima itu adalah terkait dengan value jadi kita bisa melakukan ekstraksi
bisa berupa mungkin model di dalam ataupun sudah mungkin di data mining dan sebagainya dari
algoritma algoritma atau metodologi dalam data mining ini akan bisa kita pakai dalam platform ini
cuman bedanya adalah ketika kita berbeda lengkap data-datanya sangat besar dan variasinya sudah
sangat banyak sehingga kita mungkin foto beberapa strategi khusus untuk mendapatkan data tersebut
sedikit tentang seberapa banyak sih sebetulnya data yang ada di dalam 1 menit di dalam internet ini
kalau kita lihat mungkin Seiring berjalannya waktu dengan banyaknya Summit nggak ada banyak
sekali peningkatan penggunaan dari situ mungkin terus kemudian kita juga lihat ada beberapa data
yang sangat besar sekali sebetulnya dan ini oleh beberapa provider data yang sebesar ini
dimanfaatkan sebesar-besarnya salah satunya mungkin kalau kita lihat banyak platform bisa kan
kayak di Instagram di tik tok dan lain sebagainya biasanya ujung-ujungnya itu untuk melakukan
profiling geser terus kemudian nanti kita bisa memberikan suatu model rekomendasi target of content
ataupun update kepada orang tersebut terus kemudian nanti apa namanya di sini kita akan coba lihat
beberapa apa namanya beberapa 100 yang ada di dalam Sig data sebetulnya sudah tampil data itu
bisa kita bagi menjadi dua jenis dari tadi jawab ini sudah menyampaikan terkait dari sisi historis
karena ini datanya sangat besar gimana nanti kita bisa menyimpannya datanya besar bisa kita simpan
terus gimana cara prosesnya tentunya nanti ada dua hal ini yang menjadi fokus utama kita pada saat
kita berinteraksi dengan baik data infrastruktur dan karena ini datanya sangat besar bisa mungkin
kalau data yang itu bisa jadi mungkin ukurannya Enggak cuma cara baik tetapi peta B dan kita tahu
hampir tidak ada sekarang mungkin kan ketika mau menyimpan data itu pasti memanfaatkan
beberapa komputer yang kita jadikan satu ini biasanya beberapa aksesoris yang sering digunakan
pada awalnya itu dulu mungkin pertama sebelum bumi itu biasanya disimpan dalam bentuk file
system adalah salah satu standar di dalam Sig data tetapi tentunya Ada plus minus di dalamnya Kalau
saya sendiri pribadi jarang pakai handuk karena dia foto memori besar dan juga harus ada Cluster
Nya sehingga sebetulnya kalau kita main sepeda tadi lokal yang disampaikan ini menjadi tidak
efisien sehingga kita bisa beli ada beberapa sore Selain Kita bisa gunakan kalau di Cloud kita bisa
gunakan Amazon dan odp ini atau menggantikan Monggo TV atau kalau misalkan kita punya Clan
tag dari kita bisa juga sebetulnya nggak nyimpen data PES misalkan kita juga bisa disimpan secara
pelan-pelan ya mungkin semester atau jajan dari data tersebut gitu kita bisa melakukan query dengan
cepat jadi kita nggak perlu impor ke database tetapi nanti langsung kita bisa menggunakan query
menggunakan SQL itu langsung berinteraksi dengan data yang ada di file tersebut jadinya sudah
enggak butuh Adobe misalkan kita pakai blantek saja itu sudah bisa melakukan pelaporan atas data
mining di dalam Sig data Jadi kalau dewasa ini sebetulnya penyimpanan sore datang ke harus pakai
database tokoh nasional Kita juga bisa pakai plastik seperti ataupun jajan kemudian juga misalkan
kalau kita punya data source yang banyak misalkan ada yang dari file ada dari database dan data bisa
bisa jadi mungkin bervariasi bisa ada mungkin dari Mess QL dari orang kalau misalkan atau
mungkin dari server dan sebagainya Nah ada di dalam ini dalam kelas atau mungkin bisa di-instal di
kelas menengah pertama ada presto yang di papan nama awalnya dibuat di Facebook tetapi sekarang
di open source kan dan kemudian nanti kita bisa menggunakan presto DPRD untuk melakukan query
dari multi data source jadi tadi priansa bilang kalau saya biasa nggak pakai haduh tapi saya bisa pakai
SQL server misalkan psql atau bahkan mungkin novel biasa di sini di belakang ya nanti dikonfigurasi
di playstore ke presto DPnya itu kita bisa melakukan query kayak kita ke database biasa dari ini
sangat sangat memudahkan kita dalam membuat sebuah infrastruktur jadi nggak perlu memaksakan
diri menggunakan pelarut atau ataupun Cluster untuk mengimplementasikan data analytics tersebut
dan kita bisa lihat di sini Kita juga bisa memanfaatkan presto definisi novel yang ada di sini atau
mungkin ada database di tempat lain yg bisa kita join dengan simpulan dari kalau misalkan skemanya
Sama halnya struktur dari file sama tabelnya mungkin sama ya kita kita bisa join atau bisa juga kita
lakukan operasi yang lain sama kayak Koperasi di dalam database pada umumnya beberapa model
relasional confest Resto DP untuk melakukan query multiple data yang kedua ini juga yang lagi
booming itu ada yang namanya Trimulyo Trimulyo ini apa ini merupakan salah satu ratus yang bisa
kita gunakan untuk membuat data like atau danau data ya istilahnya sekarang di dalam big data
sendiri saat berkumpul jadi satu biar gampang kita taruh di satu tempat yang biasa kita sebut data
sekali bisa kita pilih ya kita bisa pakai manual atau sendiri Bisa juga pakai pakai Amazon istri atau
bisa juga pakai provider yang lain relatif bebas tetapi secara konsep dari data ini nantinya yang di sini
yang di sebelah kiri macam-macam dan sebagainya berapa dalamnya 4/6 6/8 kor bisa dipakai semua
jadi nggak harus menggunakan sistem terdistribusi memanfaatkan banyak konektor kalau saya
biasanya pakai DP ya terus kadang suka pakai kaos keren dan spesial ini salah satu jenis file juga
plin-plan file ya Jadi bukan di database ini juga bisa langsung dimanfaatkan saat kita melakukan
implementasi kita perlu pikirkan itu dari sisi historis kita pikirkan dari sisi prosesinya kita mau
menggunakan apa saja waktunya juga mungkin terbatas dari tadi kadang kalau misalkan kita nggak
punya ini infrastruktur yang memadai kita biasanya nggak bisa nyoba beberapa tools yang ada di
dalam data sekarang kita butuh melakukan deployment Cluster misalkan terus kita tidak foto ini
Apache Spark kita udah bisa jalan yang lebih cepat harus ditempel di cluster dan sebagainya ini kita
bisa memanfaatkan ke laut tadi Pak Dwi menyinggung terkait dengan penggunaan DDT merupakan
salah satu yang bisa kita manfaatkan atau tapi Setahu saya kalau dia itu fokusnya lebih ke kompi ya
yang menyediakan makan apa namanya ini apa namanya virtual server yang lain mungkin tidak
terlalu dekat dengan data itu sendiri kalau kita lihat dari Clan ini salah satunya adalah ketika kita
mengimplementasikan big data ini biasanya kita foto Cluster server yang sangat banyak dan sangat
besar dari kalau misalkan kita mencet sendiri Saya dulu pernah Project dapatkan mengusulkan
pengadaan saja untuk bisa makan waktu bisa 6 bulan sampai 1 tahun ini kalau misalkan kita pakai ya
kita fotonya sekarang ya kita bisa langsung jalan sekarang apalagi peraturan keuangan akan itu
sekarang tinggal beberapa sudah ada yang komplain dengan penggunaan Cloud ini sebagai
infrastruktur Jadi nggak harus beli komputer super yang besar yang pengadaannya lama kalau kita
putus sekarang mungkin 50 menit lagi kalau kita sudah kita bisa dapatkan komputer yang kita
inginkan itu cuma mungkin nanti sama kompatibilitas dengan peraturan pemerintah ya atau tapi
kalau kita lihat di beberapa waktu terakhir itu kalau kita lihat sudah ada 3 buat provider yang masuk
ke Indonesia yang pertama itu Alibaba Terus yang kedua ini ke BCP atau gagal terus kemudian ada
wes Yang sebentar lagi masuk ke Indonesia tahun 2021 sudah mulai semua Jadi kalau misalkan ada
peraturan pemerintah yang mengharuskan servernya di dalam negeri tahun depan ini sudah bisa
digambar oleh tiga provider ini punya ide untuk membuat sendiri untuk di dalam apa namanya di
dalam mimpi Mungkin adik bisa memanfaatkan layanan yang ada di dalam plot atau saya di Amerika
yaitu dia menggunakan Cloud khusus kerjasama itu namanya wespot kau di situ Dia hanya bisa
diakses oleh pemerintah Amerika Serikat saja jadi dia jaringannya terpisah dari jaringan internet
secara umum di luar mungkin itu bisa dimanfaatkan atau diusulkan sebagai infrastruktur yang
nantinya bisa kita gunakan untuk segera kita di situ dengan adanya kita bisa secara instan bagian
infrastruktur ya daripada kita bisa bandingkan harus beli komputer pengadaan dan sebagainya cukup
cukup cukup lama biasanya kalau aku ini sekali kita foto Ya sudah nanti kita bisa dapatkan
screenshotnya sehingga kita bisa lebih produktif Jadi kalau misalkan sekarang sudah ada karpetnya
ya bisa langsung ke tabel sebuah infrastruktur ataupun dari program-program yang kita selesaikan
menggunakan data kemampuan yang lain itu adalah di depan tadi ada beberapa yang bisa digunakan
untuk memimpin beberapa data source yang berbeda dari dari dari Salah satu sifat beda tayang hari
ini juga sebetulnya nanti bisa di manfaatkan teknologi Cloud ini dengan menggunakan beberapa
tools yang sudah disediakan juga lebih aman karena datanya biasanya bisa diakses oleh user yang
memang mau kredit yang ada di dalam Cloud itu sendiri kalau dia itu ada protection Jadi kalau
misalkan itu kita bisa bisa diselesaikan terakhir ini juga kalau misalkan kita menggunakan data itu
ada beberapa tahun yang sudah disediakan oleh partnernya mungkin ada dari Oracle ada juga
menghindari plantera Terus mungkin ada mekar dan sebagainya ini sebetulnya saya beberapa
provider di awal atau di Google ini dia sudah di provinsi dari kalau kita mau nginstal kita tinggal
pilih nanti otomatis Setelah itu kita akan dibuatkan sesuai dengan produk yang kita bilang tadi atau
kalau misalkan kita mau bayar bon pakai baju misalkan sama pakai kertas itu tidak bisa kita tentukan
sendiri Langsung saja ke contoh-contoh kasus ya biar ada gambaran tanya apa yang mungkin bisa
kita lakukan di dalam pot atau data secara umum ini mungkin yang pertama ini saya sendiri ini
kemarin Kebetulan saya ada satu salah satu proyek ini diminta untuk bikin sebuah sistem monitoring
sensor ini tempatnya di mana Ke sini kalau kita lihat sekilas ini adalah kondisi dari Sensor dari
kondisi dari sensor pembangkit listrik salah satu pembangkit kita diminta untuk bikin teknologi
untuk hari ini ada sekitar 5 sampai 10 detik dari yang sebenarnya karena ternyata kalau di Indonesia
tuh kan macam-macam enggak cuma di Jawa data yang dari luar Jawa itu kadang masuknya bisa saja
kak 44 sampai 5 detik itu yang mau dicapai Ketika kita bicara tidak sedap pada volume velocity sama
Feli Feli apa yang kita bangun dari sini ke sini ternyata kegunaanya ini dia berharap Berharap Bahwa
kita bisa melakukan monitoring dan pembangkit hingga kalau misalkan ada anomali contoh misalkan
ini generator tiba-tiba saya kalau di bawah 10 itu benar-benar berarti ada sesuatu kejadian yang luar
biasa di sana dari entah itu karena mungkin disampaikan ada mungkin yang mati atau memang betul
betul ada kejadian luar biasa di sana kemudian kita juga bikin alat monitoring system kalau misalkan
ada sesuatu yang berubah ini akan men-trigger notifikasi ke adminnya dan ada artinya bisa tahu ini
Bisa dicek Apakah anomali memang di alatnya ataukah memang itu hanya putus koneksi saja ini
Kebetulan Real Time monitoring ini fokusnya the velocity datanya hari itu ada sekitar jutaan data
sensor karena ada ribuan dan yang mengirimkan data ini dia harus kita tangkap dengan cepat itu
awalnya kita mau pakai transfer dan sebagainya yang agak ribet ternyata di sana ada konstan ternyata
servernya terbatas sehingga kita coba cari alternatif ternyata pakai rdbms biasa kalau ternyata bisa
pakai DP atau tapi ini kita terus memorinya kalau ndak salah saya lupa saya kalau nggak 32 atau 64
GB GB alarmnya jadi dengan RAM sebesar itu meskipun cuma pakai 10 itu sudah mencukupi untuk
menangani velocity dari papan data sensor yang masuk di situ kemudian atau otomasi jadi untuk
narik data dari itu kita gunakan untuk nya jadi kita tarik datanya kita proses database kemudian kita
tampilkan spesialisasinya ini kita menggunakan grab anak yang dijalankan di kelas ini cuma
dijalankan tetapi online sehat ya berarti kita digunakan server kita sendiri tetapi ini sudah memenuhi
salah satu kaidah dalam data terkait dengan velocity sama volume sebetulnya kalau variasinya
sebetulnya nggak terlalu banyak variasinya karena data dikirimkan dalam bentuk hiasan jadi nggak
terlalu banyak format yang harus di convert dari a relatif aman kalau misalkan kita menggunakan
stored rdbms biasa jadi nggak selalu kok pidato harus menggunakan kuas dan sebagainya yang
sangat kompleks bisa selesaikan menggunakan rdbms biasa tetapi kita lihat ada beberapa
karakteristik-karakteristik problem yang ada di data yang harus kita selesaikan yang pernah saya
kerjakan salah satunya yang lainnya ada yang tadi ada berapa Project ya memang enggak boleh
disampaikan game kemudian kalau dari siklon itu kita bisa lihat ada beberapa yang bisa kita gunakan
di dalam ini ada yang datang mungkin kalau yang sudah familiar dengan database itu ada apa
namanya terkait dengan ini ya dan sebagainya biasa atau analitik situ kita Arahkan ke warung nya ke
data Warehouse ndak ke database production data processing secara umum ada juga realtime analitik
sesama ada operasional analitik yang digunakan untuk melakukan biasanya ini kalau pakai komputer
mereka sendiri ini bisa memakan waktu berapa minggu bisa 1 sampai 2 minggu tapi ternyata kalau
dipakai Cloud misalkan install infrastruktur di kelas terus kemudian nanti Project ternyata foto cuma
6 jam saja gimana ya sebetulnya kalau kita pakai Cloud gak dipakai kita bisa destroy infrastrukturnya
jadi bener-bener dan ini sangat berbeda sekali kalau misalkan kita harus beli apel infrastruktur kita
harus beli apa namanya server terus kemudian nanti install dan sebagainya yang butuh waktu lama
nih kalo ke sini condiment Jadi kalau kita foto sekarang kita nanti 6 jam kemudian selesai kita
destroy itu relatif lebih murah biayanya daripada kalau kita harus menyediakan resource center kita
sendiri ini sudah mulai digunakan Salah satunya untuk menyimpan data terkait dengan travel record
dari pembuatan SIM dan sebagainya itu sekarang sudah mulai berbeda metode dalam terus ini saya
sampaikan bahwa sebetulnya untuk ini atau mungkin data-data vegatos yang lain sekarang ini
sebetulnya nggak wajib kita pakai data PES ataupun juga sore seperti Monggo jbhd MBS dan
sebagainya kita bisa pakai begini terus kemudian nanti kalau di sini ya kebetulan kita pakai kita
gunakan data ketawa terus pakai Athena ini adalah salah satu SQL untuk query dari data di dalam file
kemudian nanti kita tampilkan ke dalam dashboard open source atau solusi dalam on premise ini kita
bisa gunakan Stories mereka terima atau prestodb bisa diproses ini mungkin bisa kita tampilkan atau
bisa juga mungkin apa namanya yang lain yang lain ini merupakan salah satu faktor dari kita bisa
lihat di sini yang dia bangun yang pertama tetap meskipun dia menggunakan data diatas lampunya
yang namanya database transaksional dari relational database dan sebagainya ini sehari dia sekitar
0,2 atau sekitar 200 giga ya ini data tiap hari itu yang masuk ke sini kemudian sebagai tanda tanya
atau disimpan di file ke file system sore Kemudian pada menggunakan PP reduce tetapi yang di
dalam Cloud tadi di depan deh Jelaskan salah satu tools di dalam Sig data itu adalah dia nggak mau
bikin sendiri ada manfaatkan ini dalam awet terus dia pakai sepatu sama presto DP dari sini nantinya
akan ada aplikasi lain yang foto ini kita bisa gunakan SQL biasa terus kita kalau misalkan pakai
paketan kita bisa pakai penutup apa aja pelit Mini untuk bisa melakukan data analisis secara cepat
menggunakan paketan atau bisa juga ada tanya itu kita simpan ke dalam data Warehouse Jadi kalau
ini yang ini transaksional yang ini kita bisa juga gunakan data Warehouse yang nantinya bisa
digunakan untuk visualisasi ataupun juga bisa digunakan untuk melakukan penampilan di dalam
dashboard nya ini nggak cukup mahal kalau misalkan nggak mau yang mahal ya kita bisa gunakan
Seperti apa cakap kamu lakukan untuk melakukan jogging atau pun juga pakai apa CR + nggak bisa
untuk melakukan gaya guling di sini kalau kalau siang operatornya sini tiap hari jadi sangat besar
sekali cari di dalam satu hari itu sangat besar sekali dan penggunanya banyak ada ada ada yang analis
dari sisi bisnis bisa jadi mungkin dia nggak ngerti tentang ini strukturnya Tapi dia bisa ngelihat
visualisasi ini bisa memutuskan strategi strategi Marketing apa yang cocok di sini ada contoh ini
salah satu perusahaan apa namanya listrik yang mirip ya yang dia menampilkan harga rumah
apartemen dan sebagainya ini cukup populer di sini apa yang dilakukan ternyata di sini ada 2/20 yang
dia lakukan dari yang pertama ini dia menggunakan untuk melakukan reporting sama yang kedua ini
untuk analisis reporting karena dia nggak foto Real Time ini kita bisa lihat dulu filenya pakai plastik
my precious di sini dia pakai ada sekitar beberapa ratus 1 ribu not kalau kita pakai data center kita
sendiri bahkan mungkin sangat susah ya bikin ribuan server dalam waktu yang singkat harus beli
dulu dan sebagainya kalau pakai kalau kita bisa pakai bluetooth untuk risoles Tadi nanti kalau
misalkan sudah enggak enggak dipakai ya sudah kita Matikan aja jadi kalau kita cuma fotonya proses
mungkin cuma 23 jam sehari kalau kita foto kita Nyalakan mungkin 10-15 menit datanya nanti kita
ke situ kita proses sudah dapat kan datanya kita simpan ini destroy atau mungkin untuk makan kalau
besok notifikasi dan sebagainya ini kita bisa gunakan Amazon Genesis atau kalau mau yang open
source yang kita di Apache Kafka ataupun juga pacar kalau di sini kita bisa simpan kalau dia masuk
kita pakai dalam odp kalau kalian pakai sendiri mungkin bisa pakai untuk mengkodifikasi telepon
Stories yang lain apa saja Cassandra itu juga bisa karena dan wajah dengan cepat untuk notifikasi ini
bisa digunakan motif layar seperti kayak Kafka di sini nanti bisa menghapus notifikasi ke Kelayan
Bisa kan Bisa dari mobil atau pun juga dari desktop contoh yang lain ini ada perusahaan untuk ini
dalam media sosial media analisis data klik misalkan nanti diproses kemudian disimpan di Adobe
Flash pada akhirnya nanti akan dapatkan personalisasi ini biasanya kita bisa lihat di contoh situs-situs
berita kadang bisa nampilkan Sagan top ten berita trending hari ini misalkan atau mungkin juga ada
rekomendasi berita dan sebagainya Nah kalau kayak top trending biasa makan apa kita perlu pakai
Apache Spark kita pakai sendal biasa pun bisa tapi kalau volumenya besar dan tentunya Mungkin
kita nggak bisa pakai database MySQL biasa harus pakai infrastruktur sore yang lebih mumpuni
seperti itu contoh yang lain mungkin di sini kalau kita nggak mau mengelola server itu kalau di kelas
itu ada istilahnya itu serverless jadi kita bisa memanfaatkan function yang ada di dalam ke laut kalau
dia wes itu namanya wes lamda kalau di Google Kalau enggak salah OK Google kepanjangan dari
intinya adalah kalau misalkan ada Trigger kalau misalkan ada Trigger ini langsung suatu operasi
tertentu jadi kita nggak perlu menyediakan server sendiri ini biasanya dia relatif lebih murah tetapi
tentunya karena dia nggak ada server yaitu fitur-fiturnya juga akan lebih terbatas daripada kalau
misalkan kita menggunakan Cluster seperti ini contoh beberapa apa namanya Berapa SKS yang bisa
kita gunakan Kita juga bisa Nggak bohong kan masih di dalam data apa namanya untuk mendapatkan
value nya kemudian nanti kita bisa lemparkan ke sistem yang lain kalau kita punya data dari sosial
media Siapa pacar El time ini kita bisa menggunakan Genesis terus kemudian kita juga bisa gunakan
yang lain seperti kayak Kafka bisa juga gunakan Apache airflow dan sebagainya Jadi sebetulnya
bebas ketika kita mau pakai Cluster di Cloud ataupun di dalam premis itu sebetulnya tergantung dari
Problem apa yang ingin kita selesaikan Apakah di volumenya besar ataukah di velocity nya yang
tinggi kalau velocity berarti kita putus trimezyn yang cukup mumpuni kita bisa pakai sport streaming
bisa pakai apa cair atau bisa juga kita gunakan apa aja Kafka di sini terakhir ini juga ada tentang data
warehousing ini relatif lebih konvensional karena itu dia tapi bedanya di sini ta dalam data
Warehouse jadi kalau di komputer biasa bisa jadi mungkin hanya satu atau dua not Nah kalau
diupload kita bisa menyediakan banyak not sekaligus sehingga nanti proses suaranya bisa lebih cepat
dan juga ada pula yang hanya kita nggak perlu pusing pusing karena sudah otomatis nanti dijalankan
oleh Tuhan itu sendiri dan kalau misalkan kita ada foto misalkan sudah selesai prosesnya ya kita
tinggal bisa destroy jadi kita nggak perlu bayar apa-apa Mungkin itu saja materi dari saya terima
kasih