David Yudianto

 Menyimpan informasi  bentuk format elektronik

 Big Data sangat populer dikalangan dunia bisnis dan industri
 Big Data  istilah yang menggambarkan volume data yang besar, baik data yang
terstruktur maupun data yang tidak terstruktur
 Big Data  data yang memiliki skala (volume), distribusi (velocity), keragaman (variety)
yang sangat besar, dan atau abadi
 membutuhkan penggunaan arsitektur teknikal dan metode analitik yang inovatif untuk
mendapatkan wawasan yang dapat memberikan nilai bisnis baru (informasi yang
bermakna)
 Big Data  sekumpulan data yang begitu besar atau kompleks dimana tidak bisa ditangani
lagi dengan sistem teknologi komputer konvensional
 Big Data  proses menyampaikan wawasan pengambilan keputusan secara cepat dengan
menggunakan orang dan teknologi agar dapat menganalisis data dari berbagai jenis dan
sumber dalam jumlah yang besar guna menghasilkan aliran pengetahuan yang selanjutnya
akan ditindaklanjuti.
 Big Data menjadi pusat perhatian dalam dunia teknologi informasi sejak adanya Consumer
Generated Media (CGM) maupun Click Stream dalam volume yang sangat besar
 Consumer Generated Media (CGM)  segala macam jenis konten buatan pengguna dan
dipublikasikan secara terbuka dalam sebuah sistem.
 CGM dapat mencakup aplikasi satu konsumen ke banyak konsumen seperti berbagi
foto, penerbitan melalui blog, podcasting, video blogging jaringan sosial dan
sejenisnya.
 Big Data pada prinsipnya sama seperti data yang dikumpulkan dan disimpan lalu dianalisis
 Analitik Big Data memeriksa sejumlah besar data untuk mengungkap pola
tersembunyi, korelasi, dan wawasan lainnya
 menganalisis data yang ada dan mendapatkan jawaban dengan segera
 Kemampuan untuk bekerja lebih cepat, tetap tangkas. memberi organisasi
keunggulan kompetitif
 Pengambilan keputusan berbasis data, kinerja pendapatan kuat
 mendorong inovasi dan keunggulan kompetitif yang strategis
 membuka peluang analistis yang belum pernah terjadi sebelumnya
 semua data yang terkumpul digunakan untuk meningkatkan bisnis
 di mana data disimpan diharapkan menemukan nilai
 mengidentifikasi pola-pola yang tidak kita lihat atau tidak dapat temukan
sebelumnya
 penerapan teknik inovatif dan penghematan biaya untuk menyelesaikan masalah
 membantu organisasi memanfaatkan data mereka dan menggunakannya untuk
mengidentifikasi peluang baru
 Analitik data mengarah kepada pergerakan bisnis yang lebih cerdas, operasi yang
lebih efisien, laba yang lebih tinggi, dan pelanggan yang lebih bahagia.
1. Pengurangan biaya.
 Teknologi Big Data seperti Hadoop dan analitik berbasis cloud membawa
keuntungan biaya yang signifikan dalam hal menyimpan data dalam jumlah besar
 dapat mengidentifikasi cara-cara yang lebih efisien dalam melakukan bisnis

2. Pengambilan keputusan lebih cepat, lebih baik

 Dengan kecepatan Hadoop dan analitik in-memory, dikombinasikan dengan
kemampuan untuk menganalisis sumber data baru, perusahaan dapat menganalisis
informasi dengan segera
 mengambil keputusan berdasarkan apa yang telah mereka pelajari

3. Produk dan layanan baru

 Dengan kemampuan untuk mengukur kebutuhan dan kepuasan pelanggan melalui
analitik, muncul kekuatan untuk memberikan apa yang diinginkan pelanggan
 lebih banyak perusahaan menciptakan produk baru untuk memenuhi kebutuhan
pelanggan.
 Berdasarkan www.sas.com, konsep Big Data dimulai di awal tahun 2000-an
 Dimulai ketika analis industri Doug Laney mengartikulasikan definisi Big Data yang
terdiri dari 3 bagian utama yang disebut 3V (Volume,Velocity and Variety)
 Selain tiga bagian penting tersebut, para peneliti Big Data juga menambah bagian
yang termasuk penting lainnya seperti variabilitas dan kompleksitas
 Data
1. Menurut Pendit (1992) data adalah hasil observasi langsung terhadap suatu
kejadian, yang merupakan perlambangan yang mewakili objek atau konsep
dalam dunia nyata
2. Menurut Ralston dan Reily (Chamidi, 2004: 314), data didefinisikan sebagai fakta
atau apa yang dikatakan sebagai hasil dari suatu observasi terhadap fenomena
alam.

 Information
1. kumpulan data yang terstruktur yang kita komunikasikan melalui bahasa lisan,
surat kabar, video dan lain sebagainya
2. data yang telah diuubah menjadi sebuah bentuk yang berarti bagi penerimanya
dan bermanfaat dalam mengambil keputusan saat ini atau mendatang.

 Knowlegde
1. sesuatu yang digunakan manusia untuk memahami dunia, yang dapat diubah-
ubah berdasarkan informasi yang diterima.
 data adalah hasil observasi langsung terhadap suatu kejadian
 informasi adalah kumpulan data yang terstruktur untuk memperlihatkan hubungan-
hubungan entitas di atas
 Pengetahuan adalah model yang digunakan manusia untuk memahami dunia dan
yang dapat diubah-ubah oleh informasi yang diterima pikiran manusia.
 Variety of Data (Keragaman Data)
1. Data dapat diperoleh dari berbagai sumber, seperti sensor cuaca, sensor mobil,
data sensus, pembaruan Facebook, tweet, transaksi, penjualan, dan pemasaran
2. Format data dapat berupa terstruktur dan juga tidak terstruktur. Tipe data juga
bisa berbeda, seperti tipe data biner, teks, JSON, dan XML.

 Velocity of Data(Kecepatan Data)

1. Data dapat berasal dari gudang data, arsip file mode batch, data terbaru, atau
pembaruan waktu perjalanan saat menggunakan Uber, Grab, atau Gojek yang
baru saja dipesan.
2. Velocity mengacu pada peningkatan kecepatan di mana data ini dibuat, dan
peningkatan kecepatan di mana data dapat diproses, disimpan, dan dianalisis
oleh hubungan database

 Volume of Data (Volume Data)

1. Data dapat dikumpulkan dan disimpan selama satu jam, sehari, sebulan, setahun,
atau 10 tahun
2. Ukuran data tumbuh hingga 100-an TB bagi banyak perusahaan
3. Volume mengacu pada skala data, yang merupakan bagian dari apa yang
membuat Big Data menjadi lebih besar.
 Veracity of Data (Keabsahan Data)
1. Data dapat dianalisis untuk wawasan yang dapat ditindaklanjuti
2. banyak data dari semua jenis yang dianalisis dari berbagai sumber data, sangat
sulit untuk memastikan kebenaran dan bukti keakuratannya.

 Variability of Data (Variabilitas data)

1. Data yang maknanya terus berubah
2. perlu mengembangkan program-program canggih untuk dapat memahami
konteks di dalamnya dan menerjemahkan maknanya secara tepat

 Visualization(Visualisasi)
Visualisasi muncul dalam gambar ketika perlu menyajikan data dengan cara yang
dapat dibaca dan diakses setelah diproses.

 Value (Nilai)
1. Big Data semakin besar dan meningkat setiap hari
2. datanya juga berantakan dan terus berubah
3. tersedia untuk semua dalam berbagai format
4. tidak dapat digunakan tanpa analisis dan visualisasi.
 sebagian besar Big Data bersifat tidak terstruktur atau semi-terstruktur, yang
memerlukan teknik dan alat yang berbeda untuk memproses dan menganalisisnya

 Data terstruktur
berisi tipe data, format, dan struktur yang didefinisikan seperti : data transaksi, OLAP,
RDBMS tradisional, file CSV, dan bahkan spreadsheet sederhana)

 Data semiterstruktur
File data tekstual dengan pola dapat dilihat dan memungkinkan datanya dapat diurai
kembali seperti file data Extensible Markup Language (XML) yang mendeskripsikan
diri dan ditentukan oleh skema XML

 Data semi terstruktur

Data tekstual dengan format tidak menentu misalnya, data web clickstream yang
mungkin berisi ketidakkonsistenan dalam nilai dan format datanya

 Data tidak terstruktur

Data yang tidak memiliki struktur yang melekat, yang dapat mencakup dokumen
teks, PDF, gambar, dan video. Contoh Text files, email, social media, website, mobile
data, komunikasi, media, aplikasi bisnis, satellite imagery, scientific data, digital
surveillance dan sensor data.
 Pada lingkungan yang semakin kompetitif, perusahaan perlu mendapatkan
keunggulan berkelanjutan dengan mencapai keunggulan operasional
 sebuah perjalanan yang dimulai dengan data untuk visibilitas proses

 Sejumlah besar informasi terus meningkat dan sangat penting bagi perusahaan

 untuk benar-benar memahami dan mengendalikan operasi manufaktur mereka

dengan mengumpulkan data penting secara efisien dan memaksimalkan nilainya
 Data yang dioptimalkan memungkinkan pengambilan keputusan yang lebih baik
dan lebih cepat, peningkatan produktivitas, dan pengurangan biaya.
 Data historis banyak digunakan pada berbagai industri, seperti industri obat-
obatan, minyak dan gas, manufaktur, dan segala jenis rekayasa proses
 dirancang untuk mengukur proses produksi tertentu, seperti: total cacat untuk
perubahan tertentu, getaran kipas motor pada jalur produksi, tingkat pH untuk
instalasi pengolahan air, dan lain-lain
 cara yang efisien untuk mengumpulkan dan menyimpan data deret waktu (time
series)
 Data mungkin berasal dari jalur produksi, rute transportasi, perangkat jaringan,
satelit, dan perangkat lainnya
 Data disimpan dengan cap waktu dan informasi identitas lainnya seperti ID
perangkat dan lokasi
 dapat digunakan secara real-time atau disimpan untuk analisis offline

 Contoh: data cuaca terformat yang berasal dari lima stasiun cuaca

 mencakup ID stasiun, zona waktu, tanggal dalam format Universal Coordinated Time
(UTC), lintang, bujur, suhu, tekanan barometrik, kelembaban, suhu dalam ruangan,
dan curah hujan
 Kelemahan

1. tidak pernah digunakan oleh staf operasi dan pemeliharaan karena pengolahan
data historian membutuhkan keterampilan dan perangkat lunak khusus yang
menjadikannya mahal dan sulit untuk dibobol
2. lisensi perangkat lunak

3. biaya yang besar untuk mendapatkan semua jumlah data yang dibutuhkan

4. teknologi data historian yang tidak berubah selama beberapa dekade terakhir
yang berarti sulit untuk mengintegrasikan data historian ke dalam aplikasi
berbasis web modern.
 kumpulan data berupa file, arsip, atau tabel yang tersusun sedemikian rupa
menurut aturan tertentu, saling terhubung dan tersimpan dalam media elektronik
 pengguna mudah dalam mengelolanya serta mudah dalam mendapatkan informasi
 memberikan kecepatan dan kemudahan dalam menyeleksi data
 mendapatkan informasi yang diperlukan dalam waktu yang singkat
 bisa dipergunakan secara bersama-sama yang terpusat pada satu server
 aplikasinya bisa dihubungkan ke beberapa komputer lainnya
 memudahkan kinerja di perusahaan/instansi
 penghematan biaya
 Real-time Database
1. sistem pengolahan yang pemrosesannya menggunakan waktu nyata
2. dirancang untuk menangani beban kerja dimana kondisinya dapat berubah terus-
menerus
3. Contoh: pasar saham berubah dengan cepat dan dinamis
4. transaksi diproses cukup cepat bagi hasil untuk kembali dan bertindak segera
5. berguna untuk akuntansi, perbankan, hukum, catatan medis, multi-media, kontrol
proses, sistem reservasi, dan analisis data ilmiah
6. suatu transaksi diproses cukup cepat
7. hasilnya dapat segera ditindaklanjuti
8. berguna untuk akuntansi, perbankan, hukum, rekam medis, multimedia, control
proses, sistem reservasi dan analisis data ilmiah
9. Ketika merancang sistem real-time database, seseorang harus
mempertimbangkan bagaimana merepresentasikan waktu yang valid, bagaimana
fakta dikaitkan dengan sistem nyata.
 gudang penyimpanan yang menyimpan sejumlah besar data mentah dalam format
aslinya, termasuk data terstruktur, semi-terstruktur, dan tidak terstruktur
 Tujuan  menggunakan setiap data yang dihasilkan oleh suatu organisasi untuk
memberikan wawasan yang berharga dengan rincian lebih dalam
 dapat menyimpan data kompleks yang heterogen
 mengkonsolidasikan semua set jenis data apapun yang terdapat pada suatu
organisasi guna dapat dianalisis dan diintegrasikan menjadi data baru
 memberikan fleksibilitas, skalabilitas dan ketangkasan yang dibutuhkan oleh
perusahaan untuk mengelola volume, jenis, dan ketersediaan data waktu nyata yang
dihasilkan saat ini
 data yang terdapat dalam data lake adalah data mentah yang belum diproses atau
dianalisis
 Data lake dicirikan oleh tiga atribut utama
1. Kumpulkan semuanya(Collecting Everything)  Danau data berisi semua data,
baik sumber mentah selama periode waktu yang lama maupun data yang
diproses.
2. Menyelam di mana saja(Dive in Anywhere)  Danau data memungkinkan
pengguna di berbagai unit bisnis untuk menyaring, mengeksplorasi, dan
memperkaya data sesuai dengan persyaratan mereka.
3. Akses fleksibel(Flexible Access)  Danau data memungkinkan beberapa pola
akses data melintasi infrastruktur bersama: batch, interaktif, online, pencarian,
dalam memori, dan mesin pemrosesan lainnya.
 Data Ingestion and Storage
1. berguna untuk menerima data, baik secara real time atau dalam kelompok
2. Komponen ini juga memungkinkan pengguna untuk menyimpan dan mengakses
data.
 Data Processing
kemampuan untuk bekerja dengan data mentah sehingga dapat dianalisis melalui
proses standar.
 Data Analysis
merupakan modul-modul dengan fungsi memperoleh hasil analisis sistematis dari
suatu data
 Data Integration
1. kemampuan untuk menghubungkan aplikasi dengan platform
2. pertama-tama data harus diekstraksi terlebih dulu dalam format sesuai
kebutuhan.
 komponen-komponennya menyediakan berbagai fungsi yang membantu
perusahaan untuk mendapatkan lebih banyak konsumen
 meningkatkan produktivitas, dan membuat keputusan
 berkontribusi untuk meningkatkan pertumbuhan bisnis dengan pesat
 Keuntungan tersebut dapat diperoleh melalui cara kerja berikut:
1. Mengindeks data  jenis data dan database disimpan, termasuk diantaranya data
operasional, data dari aplikasi bisnis, atau data yang bersifat non-relasional
seperti data yang diperoleh dari aplikasi mobile dan media sosial
2. Machine learning  Perusahaan dapat memperoleh gambaran operasional dan
marketing melalui data yang diperoleh dari data lake. Data-data ini
menggambarkan tren serta pola perilaku konsumen. Kemudian, perusahaan
dapat menerapkan machine learning untuk membuat model prediksi dan
perkiraan dari data-data tersebut.
3. Mengembangkan interaksi dengan konsumen  menggabungkan data konsumen
dari platform CRM dengan hasil analisis media sosial. Penggabungan dapat
dilakukan dengan platform marketing yang menggambarkan riwayat pembelian
konsumen untuk mengidentifikasi mana konsumen yang paling menguntungkan,
apa yang melatarbelakangi pola perilaku konsumen, serta reward seperti apa
yang dapat meningkatkan kesetiaan konsumen
4. Analisis  memungkinkan para Data Scientist, pengembang data untuk
mengakses data sesuai kerangka dan perangkat analisis yang mereka miliki. Hal
ini dapat dilakukan analisis tanpa perlu memindahkan data dari satu sistem ke
sistem yang lain.
 Data Lake adalah fondasi utama yang dibutuhkan oleh alat analisis untuk proses
analisisnya
 Data lake merupakan tempat penyimpanan utama dari Big Data yang dikumpulkan
 Akurasi dalam pengambilang keputusan hanya bisa diperoleh ketika organisasi
memiliki fondasi yang kuat dengan data lake berkualitas tinggi
 Aspek-aspek penting yang harus diperhatikan untuk mendapatkan data lake
berkualitas tinggi antara lain
1. Pengelolaan data dari berbagai sumber internal dan eksternal
2. Menemukan dan mengganti data lama dengan data yang baru
3. Membersihkan dan memperkaya data melalu deduplikasi dan standardisasi.