Pengantar Big Data • Capaian Pembelajaran : – Memahami konsep Big Data – Memiliki keahlian dasar di bidang Data Sains – Mampu menggunakan aplikasi pemrograman Big Data (Hadoop, MapReduce, HIVE, dsb) Pengantar Big Data Pengantar Big Data Pengantar Big Data Pengantar Big Data • 3V Data – Volume • Semakin besar volume data, semakin sulit untuk mengolahnya dalam 1 komputer • Perkembangan teknologi big data sangat pesat dalam beberapa tahun terakhir – Velocity – Variety Pengantar Big Data • 3V Data – Volume – Velocity • Kecepatan pengolahan data semakin diperlukan dengan semakin besarnya volume data – Variety • Jenis data semakin beraneka ragam Pengantar Big Data • Dua problem penting yang harus diatasi: 1. Bagaimana menyimpan Big Data? 2. Bagaimana mengolah/menganalisis Big Data? Pengantar Big Data DFS (Distributed File System) Pengantar Big Data Inti dari Hadoop terdiri dari 2 komponen utama: • Penyimpanan: Hadoop Distributed File System (HDFS) – Framework untuk mendistribusikan data ke cluster supaya bisa scalable dan cepat • Pemrosesan: MapReduce – Framework untuk memproses data dengan cara yang handal (reliable) dan cepat