Nama kelompok :

1.M.Ikhwan Fakhmi

2.Fauzan Azhiman

3.Ardi mandani

4.yogi mardiyansya

5. Ronaldo

Soal :

Silahkan baca referesnsi tentang Challenges pada Big Data Analytics yang ada dan jelaskan
maksud2 dari challenges tersebut

perkelompok

Jawab:

Pengertian Big Data Arsitektur

Arsitektur Big data adalah struktur keseluruhan yang merepresentasikan dari logical
dan physical sistem dari big data.

Manfaat / benefit big data architecture

Untuk mendapatkan manfaat dari big data, sangat krusial untuk menginvestasi pada
infrastruktur big data yang mampu menangani data yang besar dan banyak.
Perusahaan dapat dapat berinvestasi pada solusi infrastruktur dan platform big data
Bigbox untuk mendapatkan manfaat big data atau benefit big data seperti

1. Meningkatkan kualitas pemahaman dan analisis

dari big data
2. Membuat keputusan yang lebih baik dan juga
lebih cepat
3. Mengurangi biaya operasional perusahaan
dengan menganalisis big data perusahaan untuk
menemukan apa saja yang dapat diperbaiki dan
dihemat
4. Memprediksi kebutuhan dan trend pada masa
yang akan datang
5. Mendorong perusahaan untuk dapat membuat
standar dalam perusahaan

6. Dapat menyediakan metode yang konsisten

untuk menerapkan teknologi terbaik untuk
menyelesaikan masalah

Tantangan dalam arsitektur big data / Big

Data Architecture Challenges
Dalam membuat big data arsitektur tentu pasti akan menghadapi berbagai
tantangan yaitu :

1. Memastikan arsitektur dapat memenuhi

kebutuhan perusahaan

2. Memprediksi kebutuhan big data walaupun

bertumbuh besar dan bertambah kompleks,
arsitektur big data masih dapat menanganinya
atau big data arsitektur ini dapat dengan mudah di
upgrade / scalable
Jika saat merancang arsitektur big data / big data architecture ini tidak bagus maka
dapat menimbulkan biaya yang cukup besar, performa yang tidak stabil atau tidak
mencukupi kebutuhan untuk mempelajari lebih lanjut dapat membaca artikel
: Permasalahan, Tantangan dan Solusi Big Data.

Big Data Architecture Layers

Lapisan pada arsitektur big data / big data architecture layers ini terdiri dari
beberapa lapisan
1. Big Data Source layers / lapisan big data
Big data dapat memproses baik batch processing ataupun real time processing dari
sumber-sumber big data seperti data warehouse, relational database, non relasional
database, Iot Devices dan dari berbagai sumber lainnya

2. Management & Storage layers / lapisan

manajemen dan penyimpanan big data
Lapisan ini menerima data dari big data source layers dan mengkonversi data
tersebut menjadi format yang dapat dimengerti dan diolah oleh data analytic tools /
alat data analytic dan disimpan sesuai dengan format datanya.

3. Analysis layer / lapisan analisis

Pada analysis layer, analytic tools melakukan ekstraksi data dari big data storage
layer

4. Consumption layer
Consumption layer menerima hasil analisa dari Big Data Analysis layer dan
memberikan analisis tersebut ke business intelligence layer

Big Data Architecture Processes

1. Menyambungkan koneksi ke Data Sources
“Connectors” dan “adapters” ini adalah sebuat platform, software atau fitur yang
sanggup melakukan koneksi ke berbagai format data apapun dan dapat juga
melakukan koneksi ke berbagai variasi storage system, proctol dan juga network.
Fitur ini sangat dibutuhkan saat implementasi big data untuk mempermudah
pengambilan dan meng load data. Pada platform big data yang tidak memiliki solusi
end to end biasanya pekerjaan ini dikerjakan oleh para data engineer.

2. Data governance
Proses Big Data governance ini bertugas untuk memastikan data yang dipergunakan
telah memenuhi data privasi dan keamanan dimulai dari saat pemprosesan, analisis,
penyimpanan dan penghapusan data
3. Systems Management
Seluruh proses harus di monitoring secara terus menerus melalui central
management consoles

4. Mempertahankan Quality of service

Big data harus dipertahankan quality of servicesnya dengan cara membuat
framework quality of service, dapat dimulai dengan mendefine data qualitynya,
compliance policies serta frekuensi dan besarnya data yang akan diolah pada big
data.

Bagaimana membangun big data

architecture
Untuk membangun arsitektur big data diperlukan beberapa langkah prosedur yaitu :

1. Menganalisa masalah
Langkah pertama dalam membangun arsitektur big data tentu adalah menganalisa
masalah terlebih dahulu ataupun mencari apa masalah ataupun tujuan yang ingin
dicapai oleh perusahaan? Hal hal yang biasanya perlu dipertimbangkan yaitu seperti
variasi data, kecepatan mengolah data serta masalah yang dihadapi sistem /
platform pada saat ini

Use case yang umum yang terjadi pada perusahaan diantaranya

•
o
▪ Melakukan data archival
▪ Offload processing
▪ Implementasi data lake
▪ Pemprosesan data unstructured
▪ Modernisasi data warehouse saat ini

2. Memilih Vendor
Saat ini banyak sekali di pasaran solusi big data, seperti microsoft, aws, hortonworks
dan bigbox, pilih yang sekiranya yang dapat mengatasi permasalahan big data
perusahaan.
3. Strategi Deployment
Deployment bisa dilakukan secara on premises, cloud based ataupun mixed,
disarankan memilih solusi server yang ada di Indonesia untuk mematuhi data
governance Indonesia, anda dapat melihat NeuCentrix solusi cloud yang lokasinya
tersebar di indonesia.

4. Capacity Planning
Dalam membangun big data arsitektur tentu perlu mempertimbangkan perencanaan
kapasitas bigd data yang akan dibangun, tentukan hardware, infrastructure sizing,
jumlah daily data yang akan di proses, jumlah data dengan melihat historical data
load pada bulan ataupun tahan sebelumnya, data retention period / jadwal
penyimpanan data, multiple data deployment dan sebagainya

5. Infrastructure sizing
Tahap infrastructure sizing ini dilakukan berdasarkan capacity planning, menentukan
jumlah cluster dan tipe hardware yang diperlukan, pertimbangkan juga tipe disk,
jumlah disk per mesin, tipe processing memory, besaran memori, jumlah CPU dan
corenya dan dimana data akan disimpan

6. Pembuatan Rancangan Disaster Recovery

Dalam membuat big data tentu perlu melakukan perencanaan backup dan disaster
recovery, pertimbangan dimana data yang sangat penting akan disimpan, backup
inverval, multiple datacenter deployment dan memilih metode active-active atau
active-passive disaster recovery yang paling tepat untuk perusahaan