CH 5: BIG DATA PLATFORMS AND OPERATING TOOLS

BIG DATA CAPABILITIES

Langkah pertama dalam seluruh Big Data adalah memahami apa yang ingin dicapai oleh organisasi.
Ada dua yang dibahas.

1. Pertama, organisasi harus melakukan perencanaan strategis. Pertanyaan utama disini

adalah: Apa visi jangka panjang perusahaan terkait Big Data?
2. Kedua, organisasi harus melakukan perencanaan informasi, fokus pada bagaimana organisasi
dapat mencapai strategi untuk langkah pertama dengan sumber daya yang ada (perangkat
keras, perangkat lunak, staf, dan anggaran masa depan)

Data analytics (DA) adalah studi tentang menganalisis asal informasi dengan tujuan untuk mencapai
kesimpulan tentang data. DA digunakan sebagai bagian dari banyak usaha komersial untuk
membantu organisasi membuat pilihan bisnis yang lebih baik dan untuk mengkonfirmasi atau
menyangkal model atau spekulasi yang ada.

DA berbeda dari data mining karena mencakup proses evaluasi yang tidak dimiliki oleh data mining.
Data mining melibatkan pencarian kumpulan informasi yang besar untuk menemukan pola dan
hubungan, sedangkan DA berfokus untuk menyimpulkan jawaban berdasarkan apa yang diketahui
analis.

Data analytics melibatkan inspection, cleaning, revising, and modeling dengan tujuan menemukan
valuable data (data yg bernilai), mengusulkan kesimpulan, dan mendukung pilihan yg bijak. DA
memiliki fitur dan metodologi yang berbeda, dengan banyak teknik dan aplikasi bidang bisnis, sains,
dan sosiologi.

Dalam aplikasi statistic, ada statistic deskriptif dan jenis utama DA adalah sebagai berikut:

 Exploratory: Menemukan karakteristik baru dalam data.

 Confirmatory: Menegaskan atau menyangkal keyakinan yang ada.
 Predictive: Berkonsentrasi pada model statistik untuk tujuan peramalan.
 Text: Mengekstrak dan mengklasifikasikan informasi dari data tidak terstruktur (seperti
email) menggunakan teknik statistik, struktural, dan linguistic

Predictive analytics berfokus pada memprediksi hasil atau pola di masa mendatang berdasarkan data
yang diekstraksi dari kumpulan data yang ada. Predictive analytics itu hanya meramalkan apa yang
mungkin terjadi dengan beberapa derajat keandalan dan menggabungkan scenario “What-if” dan
analisis risiko atau sensitivitas. Predictive analytics dapat mencakup praktik seperti data mining,
statistical modeling, and machine learning.
WHAT PLATFORMS CAN BE USED FOR BIG DATA?

Gambar 5-2 tidak dimulai dengan strategi, gambar ini berada di garis depan dari semua visi, tujuan,
perangkat keras, dan aplikasi TI. Sangat disayangkan memperoleh perangkat keras atau perangkat
lunak atau untuk Big Data tanpa membahas tujuan strategis yang berkaitan dengan teknologi
informasi untuk perusahaan. Oleh karena itu, strategi merupakan komponen penting dari sistem Big
Data.

Hardware and OS Selection

Hardware selection adalah inti dari sistem Big Data. Big Data akan membahas apa yang tersedia, di
mana tujuan akhir perusahaan, dan kemudian membuat rencana untuk memperoleh hardware yang
diperlukan. Setelah memilih hardware, perusahaan harus memilih operating system yang akan
dijalankan pada hardware tersebut. Operating system adalah perangkat lunak utama yang
mendukung fungsi utama komputer. Contohnya Windows, Linux, Unix, dan iOS.

Software Selection

Langkah selanjutnya melibatkan pemilihan program perangkat lunak/software yang berjalan pada
sistem operasi. Program sistem memiliki kontrol langsung terhadap komputer dan melakukan
operasi memori. Contoh program sistem adalah Device Drivers, BIOS software, HD Sector Boot
Software, Assembler dan software compiler.

Application programs adalah aplikasi akuntansi tradisional seperti accounting packages, CRM, ERP,
MS Office, iTunes, Adobe Photoshop, dan sejenisnya. Sedangkan program Big Data yang berjalan
bersama dengan Hadoop (termasuk programs to reduce, curate, save, analyze, predict, report)

Data aplikasi dapat terstruktur, semi terstruktur, atau tidak terstruktur. Data dari program
tradisional biasanya terstruktur. Data dari sumber luar (pemerintah, industri, ilmu pengetahuan)
atau dari sumber media lain (gambar, video, audio) biasanya semi terstruktur. Data dari media sosial
atau dari sumber streaming seperti mesin, peralatan, atau sensor biasanya tidak terstruktur. Lebih
membingungkan lagi, beberapa software dapat berfungsi di lebih dari satu aplikasi.

Gambar 5-3 mencoba menyelaraskan software applications dengan berbagai segmen Big Data.
Gambar ini tidak dimaksudkan untuk mencakup keseluruhan tetapi untuk menunjukkan bahwa
pemilihan perangkat lunak akan bergantung pada aplikasi yang ingin dijalankan oleh suatu
organisasi.

Apache Hadoop, platform pemrosesan data open-source yang mapan, pertama kali digunakan oleh
Yahoo dan Facebook pada tahun 2006. Cloudera memperkenalkan dukungan komersial untuk
perusahaan pada tahun 2008, dan MapR dan Hortonworks memasuki pasar masing-masing pada
tahun 2009 dan 2011. Microsoft dan Teradata menawarkan perangkat lunak pelengkap dan
dukungan untuk platform Hortonworks. Oracle dijual kembali dan mendukung Cloudera sementara
HP, SAP, dan lainnya bekerja dengan beberapa penyedia Hadoop.

Real-time stream processing and stream-analysis lebih dapat dicapai dengan Hadoop karena
kemajuan dalam bandwidth, memori, dan kekuatan pemrosesan.

Namun, teknologi ini belum digunakan secara luas. Beberapa vendor memiliki complex event
processing (CEP), yaitu tentang menerapkan aturan bisnis ke streaming event data.

Vendor Selection

1. 1010data Facts adalah kumpulan data dihosting yang memungkinkan dapat akses ke sumber
informasi Big Data yang berbeda dan terintegrasi dengan lancar ke data perusahaan.
 1010data memiliki akses ke berbagai macam data eksternal, termasuk pengeluaran
konsumen, e-commerce, cuaca, ekonometrika, transportasi, dan demografi.
2. Actian Vortex memberikan kemampuan untuk mewujudkan nilai bisnis dari Hadoop. Terbaik
di class data preparation and the broadest analytics mendukung hal-hal berikut:
 Elastic data preparation: membawa semua data dengan cepat menggunakan
analytic engines, data ingestion technology, and Konstanz Information Miner
(KNIME) user interface
 SQL analytics: menggunakan keterampilan, aplikasi, dan alat SQL dengan Hadoop
untuk dukungan SQL industri sepenuhnya
 Predictive analytics: menemukan tren dan pola dengan hyper-parallelized Hadoop
analytic operators yang didukung oleh KNIME.
3. Amazon Web Services (AWS), mulai menawarkan layanan infrastruktur TI untuk bisnis
melalui cloud computing pada tahun 2006. Cloud computing memungkinkan bisnis untuk
mengganti biaya infrastruktur di muka (tanpa perlu memesan server dan infrastruktur
lainnya dalam beberapa minggu atau bulan sebelumnya) dengan biaya variabel yang lebih
rendah dan lebih banyak yang disesuaikan dengan bisnis dalam hitungan menit.
4. Cloudera menawarkan platform terpadu untuk Big Data Enterprise Data Hub. Perusahaan
kini memiliki satu tempat untuk menyimpan, memproses, dan menganalisis semua data,
memberdayakan perusahaan untuk memperluas nilai investasi yang ada sambil
memungkinkan cara-cara baru yang mendasar untuk memperoleh nilai dari data. Cloudera
merupakan yang pertama dan saat ini merupakan penyedia dan pendukung terkemuka
Apache Hadoop untuk perusahaan.
5. HP Big Data Services dapat membantu infrastruktur TI untuk memproses peningkatan
volume byte dari email, media sosial, dan unduhan situs web dan mengubahnya menjadi
informasi yang bermanfaat. HP Big Data solutions mencakup strategi, desain, implementasi,
perlindungan, dan kepatuhan sebagai berikut:
 Big Data Architecture Strategy: Menentukan fungsionalitas dan kemampuan yang
diperlukan untuk menyelaraskan TI dengan inisiatif Big Data.
 Big Data System Infrastructure: HP akan merancang dan mengimplementasikan
platform terintegrasi berkinerja tinggi untuk mendukung arsitektur strategis untuk
Big Data.
 Big Data Protection: Memastikan ketersediaan, keamanan, dan kepatuhan sistem
Big Data.
6. Hortonworks Hadoop data platform (HDP) adalah satu-satunya HDP terbuka yang tersedia.
Semua solusi dalam HDP dikembangkan sebagai proyek melalui Apache Software Foundation
(ASF). HDP menawarkan penyimpanan dan komputasi skala linier di berbagai metode akses
mulai dari batch hingga interactive, to real time, search, and streaming. HDP terintegrasi
dengan aplikasi dan sistem yang ada untuk memanfaatkan Hadoop dengan sedikit
perubahan pada arsitektur dan keahlian data yang ada. HDP dapat diterapkan di cloud, di
lokasi, atau dari alat di Linux dan Windows.

Practice Questions

1. Based on the IBM survey, list several capabilities of Big Data

2. What is the purpose of Hadoop?

Teknologi Hadoop dirancang atau dibuat untuk menghilangkan masalah penanganan data
pada Big Data di perusahaan agar mencapai kesuksesan yang besar. Hadoop dapat
memproses data dalam jumlah besar dengan cepat dan juga beberapa aplikasi seperti
Facebook, Twitter, dan sejenisnya.