PENGERTIAN HADOOP

Salah satu implementasi dari Big Data yang cukup terkenal adalah Hadoop atau nama
resminya Apache Hadoop. Hadoop adalah teknologi yang dibuat dari sebuah artikel atau
paper. Paper ini di bawakan oleh Google untuk menggambarkan Big Data yang mereka
gunakan untuk menampung data mereka yang sangat besar. Jadi, Google menginspirasi
lahirnya Hadoop. Bedanya Big Data Google tidak bersifat open source sementara Hadoop
open source.
Hadoop disini disebut lebih dari sekedar software atau perangkat lunak. Hadoop adalah
sekumpulan software yang saling bekerja sama untuk mengolah data. Bisa disebut Hadoop
adalah sebuah ekosistem yang terdiri dari software-software yang bekerja sama. Secara garis
besar saya pribadi membagi ekosistem menjadi beberapa bagian:

1. Inti atau core dari Hadoop: Ini adalah software utama yang menjadi dasar dari
ekosistem. Software ini bisa didapat di web site Apache Hadoop. Inti hadoop ini terdiri
dari beberapa bagian yaitu Hadoop Distributed File System (HDFS) dan Map Reduce.
HDFS adalah tempat data-data dan file disimpan. Map Reducedisini adalah program
untuk melakukan datamining dan pengolahan data lainnya dari file atau data yang
disimpan di HDFS.
2. Data mining. Bagian ini sebenarnya bisa dikatan adalah API untuk menjalankan Map
Reduce. Bagian ini mempermudah membuat dan menjalankan Map Reduce. Dengan
demikian akan lebih mudah membuat dan menjalankan query. Contoh dari bagian ini
adalah Apache Pig dan Apache Hive
3. Database NoSQL (Not Only SQL). Bagian ini ada karena proses map reduce biasanya
makan waktu lama (karena data yang diproses baisanya besar) dan dilakukan secara
periodik dan tidak sewaktu-waktu. Bagian ini memberikan akses data yang lebih cepat
dan bisa sewaktu-waktu. Contoh NOSQL yang baisa dipakai adalah Apache
HBase dan Apache Cassandra.
4. Bagian pendukung lain. bagian ini padaumumnya dalah pendukung operasional
Hadoop. Contohnya adalah Apache Zookeeper yang berfungsi untuk mengatur distribusi
data dan pemrosesan data. Zookeeper dipakai oleh Apache HBase. Apache
Flume berfungsi untuk mengatur input kedalam hadoop dari sumer data yang bersifat
streaming misalnya dari Twitter. Ada banyak lagi software pendukung Hadoop ini.
 Seperti Apache Ambari, Apache Oozie dsbnya. Tidak mutlak harus memakai semuanya.
Hanya tergantung kebutuhan saja.

Hadoop bisa dijalankan disatu komputer saja (single node) ataupun dalam cluster yang
berisi banyak komputer (multi node). Single node biasanya untuk development atau training
saja. Hadoop memerlukan Java untuk bisa berjalan. Untuk proses instalasinya juga cukup
sederhana. Setelah file core Hadoop di download disitu ada petunjuk menjalankannya.
Selanjutnya bisa dipilih mana saja komponen lain yang dibutuhkan.

PENGERTIAN CLOUD

Dalam istilah sederhana, Cloud berarti menyimpan dan mengakses data atau
program yang tersipan di server yang terhubung internet. itu berarti anda dapat
mengakses file yang sama dari mana saja tanpa harus membawa file atau program
dalam sebuah hard drive. bahkan sekarang anda dapat mengakses file atau program
dari smart phone anda, mudah bukan.
Yang paling mendasar, cloud computing berarti anda dapat meng upload file
ke layanan dan kemudian download lagi di manapun Anda berada. Hal ini dapat
berguna untuk bekerja bersama-sama, atau untuk memungkinkan beberapa orang
untuk mengakses file yang sama. Kemampuan ini juga dapat digunakan untuk backup
informasi penting anda, bahkan jika komputer dirumah anda rusak atau hilang, file
anda akan tetap aman yang berada di cloud.
Menggunakan layanan cloud, Anda juga dapat menyimpan file musik dari
koleksi pribadi anda dan kemudian mendengarkan nya di manapun anda berada,
selama anda terhubung dengan internet. Ada layanan yang serupa juga untuk foto.
Akan tetapi, disamping kelebihan dan keunggulan dari Cloud, tidak lepas juga
akan kekurangan system tersebut, kekurangannya adalah terletak pada hal keamanan.
Setiap akun dilindungi oleh password yang bisa saja diketahui orang lain jika kita
tidak berhati-hati. Walaupun kita sudah begitu berhati-hati tetap tak menutup
kemungkinan akun kita dibuka orang lain. Kekurangan lain adalah gangguan pada
saat mengakses data, entah itu disebabkan karena koneksi yang bermasalah atau
server yang sedang ‘down’.
Hadoop cloud

REKAYASA DATA
Elastisitas dan fleksibilitas untuk pemrosesan data skala besar dan ilmu data

GUDANG DATA
SQL analitik kinerja tinggi dengan elastisitas untuk tumbuh dan menyusut seiring perubahan
kebutuhan bisnis

DATABASE OPERASIONAL
Berdayakan pembuat keputusan utama dengan memberikan data yang tepat pada waktu yang
tepat, dengan biaya dan kenyamanan cloud

BLOCKCHAIN
Blockchain adalah sistem pencatatan atau database yang tersebar luas di jaringan, atau
disebut juga dengan istilah distributed ledger.
Perbandingan Sistem Tradisional Dengan Blockchain
Saya yakin anda sudah bisa banyak menemukan definisi dari blockchain di internet,
jadi saya akan coba jelaskan artinya dengan cara saya sendiri. Mari kita bandingkan sistem
tradisional dengan sistem blockchain.
1) Sistem Tradisional: Kepercayaan Dengan Pihak Ketiga
Misalnya anda membeli secangkir kopi di café kesayangan anda di Mall. Sewaktu
anda membayar, anda menggesekkan kartu kredit anda di mesin kartu café. Di sini terjadi
sebuah transfer uang dari account anda ke account café tadi. Tapi anda tahu darimana bahwa
transfer ini benar-benar terjadi? Mengapa café anda bisa percaya bahwa uang anda telah
ditransfer ke account mereka? Ini dikarenakan ada pihak ketiga yang dipercaya oleh anda
dan café anda. Dalam hal ini, pihak ketiga itu adalah bank anda, atau jaringan kartu yang
anda gunakan (Visa, MasterCard, atau Amreican Express). Café anda mempercayai pihak
ketiga itu.
Tapi apa yang akan terjadi jika sistem bank anda, atau pihak jaringan kartu kredit anda
mengalami gangguan teknis atau misalnya di hack?
2) Sistem Blockchain
Blockchain adalah sistem yang tidak menggunakan pihak ketiga tersebut. Intinya,
catatan transaksi-transaksi yang sudah terjadi, disimpan oleh banyak komputer yang tersebar
di jaringan itu sendiri. Jadi akan lebih susah untuk men-hack sistem ratusan atau ribuan
komputer, dan kemungkinannya kecil untuk semua komputer itu mengalami gangguan di
waktu yang sama.
Jadi, jika anda misalnya membayar kopi anda menggunakan Bitcoin (salah satu
cryptocurrency), Bitcoin untuk pembayaran kopi tersebut ditransfer dari alamat Bitcoin anda
ke alamat Bitcoin cafe anda secara peer-to-peer. Dan transaksi ini akan dicatat di seluruh
komputer yang tersebar di jaringan Bitcoin.