LIFECYCLE BIG DATA

KELOMPOK II :

TRIXY MAHALIA
MUH ASRULLAH
ADE LUKMAN ZEN

KOMPONEN DATA DAN KONSEP DASAR

PENGANTAR BIG DATA
UNIVERSITAS INDONESIA MAJU
2023

1
 KATA PENGANTAR

Di era digital yang terus berkembang, data telah menjadi komoditas yang
sangat berharga. Organisasi dari berbagai sektor, baik bisnis, pemerintah, hingga
lembaga nirlaba, semakin menggantungkan diri pada data untuk menginformasikan
keputusan, meningkatkan efisiensi operasional, dan mencapai keunggulan
kompetitif. Dalam konteks ini, konsep "Big Data" telah muncul sebagai pilar
utama dalam pengelolaan informasi, yang mengacu pada volume, kecepatan,
variasi, dan kompleksitas data yang belum pernah terjadi sebelumnya.

Untuk memahami dan memanfaatkan potensi besar yang disimpan dalam

big data, penting bagi organisasi untuk mengadopsi pendekatan yang sistematis
dan terencana. Itulah sebabnya siklus hidup big data menjadi semakin penting.
Siklus hidup big data mencakup serangkaian tahap yang terstruktur dalam
pengumpulan, pengolahan, analisis, dan pemanfaatan data besar. Dengan
pemahaman yang baik tentang setiap tahap dalam siklus ini, organisasi dapat
mengelola data mereka secara efisien, menghasilkan wawasan yang berharga, dan
mengambil keputusan yang lebih baik.

Dalam buku ini, kami akan menggali lebih dalam tentang setiap tahap dalam
siklus hidup big data, menyajikan panduan praktis, strategi, dan alat yang
diperlukan untuk menghadapinya. Kami akan membahas konsep-konsep penting
dalam pengumpulan, penyimpanan, analisis, dan pengamanan data, serta cara
mengoptimalkan penggunaan data besar untuk mencapai tujuan bisnis dan
organisasi. Selain itu, kami akan membahas tantangan yang mungkin dihadapi
dalam pengelolaan big data, seperti keamanan data dan peraturan privasi, serta cara
mengatasi mereka.

2
 Siklus hidup big data bukanlah proses statis; ini adalah alur kerja yang
berkelanjutan yang mengikuti evolusi teknologi, kebutuhan bisnis, dan perubahan
lingkungan regulasi. Dalam panduan ini, kami akan membantu Anda menjaga diri
tetap relevan dalam era big data yang terus berkembang. Semoga panduan ini dapat
memberikan wawasan yang berharga dan memberdayakan Anda untuk
menghadapi tantangan yang datang dengan data besar, membantu Anda mencapai
kesuksesan organisasi, dan menjadikan big data sebagai aset strategis.

3
 DAFTAR ISI

LIFECYCLE BIG DATA....................................................................................................................................1

KATA PENGANTAR.......................................................................................................................................2
DAFTAR ISI...................................................................................................................................................4
BAB 1...........................................................................................................................................................5
PENDAHULUAN...........................................................................................................................................5
BAB II...........................................................................................................................................................8
LIFE CYCLE BIG DATA...................................................................................................................................8
1. Pengertian........................................................................................................................................8
2. Tujuan..............................................................................................................................................9
3. Siklus Hidup Lifecycle Big Data..................................................................................................11
4. Kenapa Big Data Itu Penting.........................................................................................................14
BAB III........................................................................................................................................................16
KESIMPULAN.............................................................................................................................................16
DAFTAR PUSTAKA......................................................................................................................................18

4
 BAB 1
PENDAHULUAN

Siklus hidup data besar (Big Data lifecycle) adalah proses yang
menggambarkan perjalanan data besar dari pengumpulan awal hingga pemanfaatan
akhir. Siklus ini mencakup sejumlah tahap yang membantu organisasi dalam
mengelola dan menerapkan data besar mereka. Berikut adalah pendahuluan
mengenai siklus hidup data besar:

1. Pengumpulan (Collection)
Tahap pertama dalam siklus hidup data besar adalah pengumpulan data.
Data ini dapat berasal dari berbagai sumber, termasuk sensor, perangkat
mobile, situs web, media sosial, dan banyak lagi. Penting untuk
mengumpulkan data yang relevan dan bermanfaat untuk tujuan bisnis atau
analisis.
2. Penyimpanan (Storage)
Setelah data dikumpulkan, data besar perlu disimpan di infrastruktur yang
sesuai. Ini bisa berarti menggunakan penyimpanan berbasis awan, server
lokal, atau kombinasi keduanya. Kapasitas penyimpanan yang cukup dan
skalabilitas menjadi faktor penting dalam tahap ini.
3. Pemrosesan (Processing)
Setelah disimpan, data perlu diproses. Proses ini dapat melibatkan berbagai
teknologi pemrosesan data besar, seperti sistem pemrosesan batch,
streaming, atau teknik pemrosesan berbasis cluster. Tujuannya adalah untuk
mengubah data mentah menjadi informasi yang bermanfaat.
4. Analisis (Analysis)

5
 Setelah diproses, data besar siap untuk dianalisis. Analisis data besar
melibatkan teknik statistik, pembelajaran mesin, dan kecerdasan buatan
untuk mengidentifikasi pola, tren, dan wawasan yang berguna. Hasil analisis
ini dapat membantu pengambilan keputusan bisnis.
5. Visualisasi (Visualization)
Hasil analisis data besar sering disajikan dalam bentuk visualisasi yang
mudah dimengerti. Ini bisa berupa grafik, bagan, peta panas, atau jenis
visualisasi lainnya yang membantu dalam komunikasi hasil analisis kepada
para pemangku kepentingan.
6. Pengambilan Keputusan (Decision Making)
Hasil analisis data besar digunakan untuk pengambilan keputusan strategis.
Keputusan ini dapat berkisar dari perubahan dalam operasi bisnis,
pengembangan produk, hingga perencanaan sumber daya manusia.
7. Optimisasi (Optimization)
Setelah pengambilan keputusan, organisasi dapat mengoptimalkan operasi
mereka berdasarkan wawasan yang diperoleh dari data besar. Ini bisa berarti
perbaikan proses, penyesuaian strategi, atau tindakan lain yang diperlukan
untuk mencapai tujuan.
8. Siklus Berulang (Iterative Cycle)
Siklus hidup data besar adalah proses berulang. Setelah satu siklus selesai,
organisasi akan terus mengumpulkan, menyimpan, memproses, menganalisis,
dan mengambil keputusan berdasarkan data baru. Ini memungkinkan
organisasi untuk terus berkembang dan beradaptasi dengan perubahan
lingkungan.

Siklus hidup data besar membantu organisasi dalam memaksimalkan nilai

dari data besar mereka dan membuat keputusan yang lebih cerdas. Hal ini juga

6
membutuhkan perhatian terhadap masalah privasi dan keamanan data sepanjang
setiap tahap dalam siklus ini.

BAB II
LIFE CYCLE BIG DATA
1. Pengertian
Life cycle Big Data adalah konsep yang mengacu pada serangkaian
tahapan atau proses yang terjadi sepanjang siklus hidup data besar (Big
Data). Tahapan-tahapan ini mencakup pengumpulan, penyimpanan,
pemrosesan, analisis, dan pengambilan tindakan berdasarkan data tersebut.
Berikut adalah pengertian Life Cycle Big Data menurut beberapa referensi:
1. Menurut Gartner, siklus hidup Big Data mencakup empat tahap utama,
yaitu
Capture (Pengumpulan), Store (Penyimpanan), Process (Pemrosesan),
dan Analyze (Analisis). Gartner juga menekankan pentingnya
menciptakan nilai dari data dalam seluruh siklus hidupnya.
2. IBM: IBM mendefinisikan siklus hidup Big Data sebagai serangkaian
langkah yang mencakup : ingestion (penerimaan), storage
(penyimpanan), processing (pemrosesan), analysis (analisis), dan action
(tindakan). Langkah terakhir, yaitu "action," mengacu pada pengambilan
tindakan atau keputusan berdasarkan hasil analisis data.
3. IDC (International Data Corporation): IDC menggambarkan siklus hidup
Big Data dalam enam tahap. Tahap-tahap ini meliputi : Capture
(Pengumpulan), Discover and Enrich (Penemuan dan Pemperkayaan),
Filter and Refine (Penyaringan dan Pemurnian), Store and Manage
(Penyimpanan dan Pengelolaan), Analyze and Visualize (Analisis dan
Visualisasi), serta Act (Tindakan). Tahap terakhir, "Act," menyoroti

7
 pentingnya pengambilan tindakan berdasarkan wawasan yang diperoleh
dari data.
4. Apache Hadoop : Apache Hadoop, kerangka kerja terkenal untuk
pengolahan data besar, juga menggambarkan siklus hidup Big Data.
Siklus ini mencakup tahapan yaitu : Ingest (Penerimaan), Store
(Penyimpanan), Process (Pemrosesan), Analyze (Analisis), dan Visualize
and Act (Visualisasi dan Tindakan). Hadoop menekankan pentingnya
penggunaan alat dan teknologi khusus untuk setiap tahap dalam siklus
ini.

Pengertian Life Cycle Big Data dapat bervariasi sedikit antara

berbagai referensi, tetapi secara umum, konsep ini mencakup serangkaian
tahapan penting yang melibatkan pengumpulan, penyimpanan,
pemrosesan, analisis, dan pengambilan tindakan berdasarkan data besar.
Dalam konteks Big Data, penting untuk memahami dan mengelola
seluruh siklus hidup data dengan efisien untuk mendapatkan nilai yang
maksimal dari informasi yang tersedia.

2. Tujuan
Tujuan dari siklus hidup big data adalah mengatur, mengelola, dan
mengoptimalkan penggunaan data besar (big data) dalam konteks
organisasi atau bisnis. Siklus hidup big data bertujuan untuk mencapai
beberapa hasil utama, termasuk:
1. Pengumpulan Data yang Efisien: Menciptakan struktur pengumpulan
data yang efisien dan efektif dari berbagai sumber data, termasuk

8
 perangkat, sensor, platform media sosial, dan aplikasi bisnis.
Tujuannya adalah untuk memastikan bahwa data yang relevan dan
bermutu tinggi dikumpulkan tanpa redundansi atau pengumpulan data
yang berlebihan.
2. Pengolahan Data yang Akurat: Memproses data dengan benar,
termasuk membersihkan, mentransformasi, dan menggabungkan data,
sehingga data menjadi siap untuk analisis lebih lanjut. Tujuannya
adalah untuk memastikan bahwa data yang diolah adalah data yang
berkualitas tinggi.
3. Analisis Data yang Mendalam: Menganalisis data untuk
mengidentifikasi pola, tren, dan wawasan yang dapat digunakan untuk
pengambilan keputusan yang lebih baik, pelaporan, dan perencanaan
strategis. Tujuannya adalah untuk mendapatkan pemahaman yang
lebih dalam tentang data dan menjadikannya aset berharga.
4. Pengambilan Keputusan yang Didukung Data: Menggunakan wawasan
yang ditemukan dari analisis data untuk mendukung pengambilan
keputusan yang lebih baik dan lebih informasional. Tujuannya adalah
untuk membantu organisasi membuat keputusan yang berdasarkan
bukti daripada intuisi semata.
5. Perbaikan Proses dan Efisiensi Operasional: Menggunakan data untuk
mengidentifikasi peluang perbaikan dalam proses bisnis dan
operasional. Tujuan ini mencakup peningkatan efisiensi, pengurangan
biaya, dan peningkatan kualitas produk atau layanan.
6. Inovasi dan Pengembangan Produk: Menggunakan data untuk
merancang dan mengembangkan produk atau layanan baru, serta untuk
mendukung inovasi dalam organisasi. Tujuannya adalah untuk

9
 menciptakan nilai tambah bagi pelanggan dan mencapai keunggulan
kompetitif.
7. Pematuhan Regulasi dan Keamanan Data: Memastikan bahwa
organisasi mematuhi peraturan dan kebijakan privasi data yang
berlaku, serta menjaga keamanan data dari ancaman dan akses yang
tidak sah.
8. Pengelolaan Siklus Hidup Data: Mengelola siklus hidup data, termasuk
pemeliharaan data, penyimpanan data, penghapusan data yang tidak
diperlukan, dan pemusnahan data yang sudah tidak digunakan lagi.
9. Optimisasi Sumber Daya: Mengelola sumber daya IT dan infrastruktur
untuk meminimalkan biaya dan memaksimalkan kinerja dalam
pengelolaan data besar.
10.Meningkatkan Kualitas Keputusan dan Kinerja Organisasi: Tujuan
akhir dari siklus hidup big data adalah untuk meningkatkan kualitas
keputusan dan kinerja organisasi secara keseluruhan melalui
pemanfaatan data yang efektif.

Dengan demikian, siklus hidup big data bertujuan untuk

mengoptimalkan nilai yang dapat diperoleh dari data besar, sambil
menjaga keamanan dan privasi data yang sangat penting dalam
lingkungan bisnis dan regulasi saat ini.

3. Siklus Hidup Lifecycle Big Data

Menggunakan siklus hidup (lifecycle) Big Data adalah pendekatan

metodologi yang digunakan untuk mengelola proyek-proyek Big Data dari

10
 konsepsi hingga produksi. Berikut adalah langkah-langkah umum dalam
siklus hidup Big Data:

1) Konsepsi:

- Identifikasi masalah atau tujuan bisnis yang ingin dicapai dengan Big
Data.

- Tentukan sumber data yang akan digunakan.

- Tentukan metrik keberhasilan dan manfaat yang diharapkan.

2) Perencanaan:

- Rencanakan infrastruktur teknologi yang diperlukan (cluster Hadoop,

database NoSQL, dsb.).

- Rencanakan anggaran dan sumber daya manusia yang diperlukan.

- Buat rencana keamanan data.

3) Pengumpulan Data:

- Ekstrak data dari sumber-sumber yang ditentukan.

- Bersihkan dan olah data untuk memastikan kualitas data yang baik.

- Tentukan bagaimana data akan disimpan dan dielola.

4) Pengolahan Data:

- Lakukan analisis data untuk mendapatkan wawasan yang berarti.

- Gunakan alat seperti Hadoop, Spark, Hive, atau alat lainnya.

- Buat model data jika diperlukan, seperti model pembelajaran mesin.

5) Penyimpanan Data:

11
 - Tentukan cara data akan disimpan, apakah di sistem penyimpanan skala
besar seperti HDF atau dalam sistem manajemen basis data NoSQL.

- Pertimbangkan solusi peningkatan kinerja dan redundansi.

6) Analisis:

- Jalankan analisis data untuk mencapai tujuan yang telah ditentukan pada
tahap konsepsi.

- Gunakan teknik-teknik seperti analisis statistik, pembelajaran mesin, atau

pembelajaran mendalam.

7) Visualisasi:

- Buat laporan dan visualisasi data untuk memahami hasil analisis.

- Gunakan alat seperti Tableau, Power BI, atau Python matplotlib.

8) Penyediaan:

- Siapkan lingkungan produksi untuk meluncurkan solusi Big Data Anda.

- Uji solusi Anda secara menyeluruh untuk memastikan keandalan dan

performa yang baik.

9) Produksi:

- Lanjutkan untuk menjalankan solusi Big Data Anda secara rutin.

- Pantau dan kelola sistem untuk memastikan kinerja yang baik.

10) Pengoptimalan:

- Lakukan perbaikan dan pengoptimalan berkelanjutan berdasarkan masukan

dari lingkungan produksi.

12
 - Pertimbangkan peningkatan dalam hal keamanan, kinerja, dan
fungsionalitas.

11) Penyusutan (Deprovisioning):

- Jika solusi Big Data tidak lagi diperlukan, lakukan penonaktifan dan
penghapusan data yang tidak lagi diperlukan.

12) Pemulihan Bencana:

- Pastikan Anda memiliki rencana pemulihan bencana yang akan

memungkinkan Anda untuk mengembalikan sistem jika terjadi kegagalan.

Penting untuk mencatat bahwa siklus hidup Big Data adalah proses
yang berkelanjutan, dan selalu dapat ditingkatkan dan disesuaikan dengan
kebutuhan proyek Anda. Pastikan untuk mematuhi praktik terbaik dalam
hal keamanan data dan privasi serta mengikuti perkembangan teknologi Big
Data yang terbaru.

4. Kenapa Big Data Itu Penting

Big data memiliki banyak pentingnya dalam berbagai bidang. Berikut

beberapa alasan mengapa big data penting:

a. Wawasan yang Mendalam: Big data memungkinkan organisasi untuk

mengumpulkan dan menganalisis sejumlah besar data dari berbagai
sumber. Dengan demikian, mereka dapat mendapatkan wawasan yang
mendalam tentang tren, pola, dan perilaku yang mungkin tidak terdeteksi

13
 melalui analisis data tradisional. Ini dapat membantu dalam pengambilan
keputusan yang lebih baik.
b. Keunggulan Kompetitif: Perusahaan yang dapat memanfaatkan big data
dengan baik dapat memiliki keunggulan kompetitif. Mereka dapat
menggunakan data untuk mengoptimalkan operasi, mengidentifikasi
peluang baru, dan merespons perubahan pasar dengan lebih cepat daripada
pesaing mereka.
c. Peningkatan Keputusan: Big data membantu dalam pengambilan
keputusan yang lebih baik dan informasi yang lebih baik. Ini bisa
mengarah pada keputusan yang lebih tepat dan strategi bisnis yang lebih
efektif.
d. Inovasi: Big data dapat digunakan untuk inovasi produk dan layanan.
Dengan memahami preferensi pelanggan dan tren pasar, perusahaan dapat
mengembangkan produk yang lebih sesuai dengan kebutuhan pelanggan.
e. Efisiensi Operasional: Big data dapat digunakan untuk mengoptimalkan
operasi bisnis. Misalnya, perusahaan dapat menggunakan big data untuk
mengurangi biaya produksi, mengelola rantai pasokan dengan lebih baik,
dan meningkatkan efisiensi proses.
f. Personalisasi: Big data memungkinkan perusahaan untuk memberikan
pengalaman yang lebih personal kepada pelanggan. Dengan menganalisis
data perilaku pelanggan, perusahaan dapat menyediakan rekomendasi yang
lebih sesuai dan pelayanan yang lebih disesuaikan.
g. Keamanan Informasi: Big data juga penting dalam keamanan informasi.
Dengan memantau dan menganalisis data, perusahaan dapat mendeteksi
ancaman keamanan lebih awal dan melindungi sistem dan data mereka dari
serangan.

14
h. Kesehatan dan Penelitian Ilmiah: Di sektor kesehatan dan penelitian
ilmiah, big data digunakan untuk analisis genom, pemodelan penyakit, dan
penemuan obat-obatan baru. Ini dapat membantu dalam pengembangan
pengobatan dan perawatan kesehatan yang lebih efektif.
i. Lingkungan dan Keberlanjutan: Big data dapat digunakan untuk
mengawasi dan mengelola lingkungan. Data besar dapat membantu dalam
pemantauan emisi karbon, pengelolaan sumber daya alam, dan
peningkatan keberlanjutan.
j. Pendidikan dan Pelayanan Publik: Big data dapat digunakan untuk
meningkatkan sistem pendidikan dan pelayanan publik. Dengan
menganalisis data, lembaga pendidikan dan pemerintah dapat merancang
program yang lebih efektif dan memberikan layanan yang lebih baik
kepada masyarakat.

Dalam rangka memanfaatkan potensi big data, organisasi perlu

memiliki infrastruktur yang sesuai, sumber daya analisis data yang
kompeten, dan perhatian terhadap masalah privasi dan keamanan data.
Kesimpulannya, big data penting karena dapat mengubah cara organisasi
beroperasi, meningkatkan daya saing, dan memberikan manfaat dalam
berbagai aspek kehidupan dan bisnis.

15
 BAB III
KESIMPULAN

Siklus hidup atau lifecycle big data mengacu pada serangkaian tahap yang ditempuh data
dari pengumpulan hingga penggunaan akhir. Kesimpulan tentang siklus hidup big data
adalah sebagai berikut:

1. Pengumpulan Data: Siklus dimulai dengan pengumpulan data dari berbagai sumber
seperti sensor, perangkat mobile, media sosial, dan banyak lagi. Data yang dikumpulkan
dapat bersifat terstruktur atau tidak terstruktur.
2. Penyimpanan Data: Setelah data dikumpulkan, langkah selanjutnya adalah
menyimpannya dalam infrastruktur penyimpanan yang sesuai. Banyak organisasi
menggunakan penyimpanan berbasis awan (cloud storage) karena skalabilitasnya.
3. Pembersihan dan Pemrosesan Data: Data yang dikumpulkan seringkali memerlukan
pembersihan dan pemrosesan awal untuk menghilangkan anomali, kesalahan, dan
duplikasi. Proses ETL (Extract, Transform, Load) sering digunakan untuk merapihkan
data.
4. Analisis Data: Setelah data bersih, langkah berikutnya adalah menganalisisnya. Big data
memungkinkan analisis yang mendalam dan kompleks. Metode analisis seperti analisis
statistik, machine learning, dan data mining digunakan untuk mendapatkan wawasan.
5. Penyimpanan Hasil: Hasil analisis disimpan kembali dalam infrastruktur penyimpanan
data untuk penggunaan berikutnya.

16
6. Visualisasi Data: Visualisasi data digunakan untuk membuat wawasan dari data lebih
mudah dimengerti oleh pengguna akhir. Grafik, grafik, dan dashboard adalah alat yang
umum digunakan.
7. Pengambilan Keputusan: Hasil analisis digunakan untuk mendukung pengambilan
keputusan yang lebih baik dalam berbagai aspek, seperti bisnis, ilmu pengetahuan, dan
pemerintahan.
8. Penggunaan Lanjutan: Data yang telah dianalisis dapat digunakan untuk mengembangkan
model prediktif, sistem rekomendasi, dan banyak aplikasi lainnya.
9. Pemantauan dan Pemeliharaan: Data dan infrastruktur big data perlu dipantau dan
dipelihara secara berkala untuk memastikan kualitas data dan kinerja sistem.
10. Siklus Berulang: Siklus hidup big data adalah proses berkelanjutan. Data terus
dikumpulkan, dianalisis, dan digunakan, dan siklus ini terus berulang.

Kesimpulan akhir adalah bahwa siklus hidup big data adalah proses berkelanjutan yang
memungkinkan organisasi untuk memanfaatkan data dalam pengambilan keputusan, inovasi,
dan perbaikan berkelanjutan. Penting untuk memahami dan mengelola setiap tahap dalam
siklus ini untuk mendapatkan manfaat maksimal dari big data.

17
 DAFTAR PUSTAKA

"Big Data: A Revolution That Will Transform How We Live, Work, and Think" oleh Viktor
Mayer-Schönberger dan Kenneth Cukier.
- Buku ini membahas dampak Big Data pada berbagai aspek kehidupan dan bisnis, serta
menggambarkan konsep siklus hidup data.

"Hadoop: The Definitive Guide" oleh Tom White.

- Buku ini fokus pada teknologi Hadoop, yang merupakan salah satu fondasi penting dalam
pengelolaan dan analisis Big Data.

"Data Science for Business: What You Need to Know about Data Mining and Data-Analytic
Thinking" oleh Foster Provost dan Tom Fawcett.
- Buku ini membahas bagaimana Big Data digunakan untuk tujuan bisnis dan analisis,
termasuk tahapan siklus hidup data.

"Big Data: Principles and Best Practices of Scalable Realtime Data Systems" oleh Nathan Marz
dan James Warren.
- Buku ini membahas prinsip-prinsip pengolahan data secara real-time dalam skala besar.

"Python for Data Analysis" oleh Wes McKinney.

- Buku ini fokus pada pemrograman dan analisis data menggunakan bahasa pemrograman
Python, yang sering digunakan dalam analisis Big Data.

18
19