DATA ENGINEERING

Materi 1
Pengantar Big Data Engineering pada
Business Itelegence

Robby Cokro B.
©2019 1/
 Sub Pokok Bahasan
● Big Data
● Profesi Terkini
● Business Intelegence
● Database
● Skema Database
● Pemodelan Data
● Model Data
● Data Warehouse
● Data Mart
● Data Staging Area
● Operasional Data Store
● Personal Data Store
 Tujuan Pembelajaran

● Memahami teori dan konsep big data dan topik

terkait serta tren perkembangannya pada saat
sekarang
● Instalasi kebutuhan lingkungan kerja Data
Engineering
 Big Data
Banyak yang telah mencoba memberikan definisi terhadap
bigdata. Dari Wikipedia:
“Big data is a broad term for data sets so large or complex that
traditional data processing applications are inadequate.
Challenges include analysis, capture, data curation, search,
sharing, storage, transfer, visualization, and information
privacy.”

Sedangkan definisi big data dari Gartner:

“Big data is high-volume, high-velocity and high-variety
information assets that demand cost-effective, innovative forms
of information processing for enhanced insight and decision
making.”
 Big Data
● Big data, adalah istilah umum untuk segala himpunan data (data set)
dalam jumlah yang sangat besar, rumit dan tak terstruktur sehingga
menjadikannya sukar ditangani apabila hanya menggunakan perkakas
manajemen basis data biasa atau aplikasi pemroses data tradisional
belaka. Big data diartikan sebagai pertumbuhan data dan informasi yang
eksponensial dengan kecepatan dalam pertambahannya dan memiliki data
yang bervariasi sehingga menyebabkan tantangan baru dalam pengolahan
sejumlah data besar yang heterogen dan mengetahui bagaimana cara
memahami semua data tersebut.
● Tiga karakteristik Big data:
1)Volume, big data memiliki jumlah data yang sangat besar sehingga dalam
proses pengolahan data dibutuhkan suatu penyimpanan yang besar dan
dibutuhkan analisis yang lebih spesifik.
2)Velocity, big data memiliki aliran data yang yang cepat dan real time.
3)Variety, big data memiliki bentuk format data yang beragam baik
terstruktur ataupun tidak terstruktur dan bergantung pada banyaknya
sumber data.
 Profesi Terkini
● Data Analyst
● adalah orang yang membangun laporan (baik dalam bentuk grafik maupun tabel) sesuai
dengan kebutuhan para pimpinan. Laporan tsb akan dijadikan referensi utama bagi para
pemimpin dalam mengambil kebijakan untuk mengarahkan perusahaan. Untuk dapat
membangun laporan, seorang Data Analyst harus menguasai query untuk mengetahui apakah
laporan mengambil data yg benar dan laporan memiliki format yg benar untuk mempermudah
pemahaman.
● Data Engineer
● adalah orang yang membangun infrastruktur untuk big data, yaitu seluruh data yang dapat
berguna untuk diambil datanya tapi masih tidak beraturan (tidak terstruktur). Selanjutnya
Data Engineer akan mengolah big data dan mencuplik beberapa data penting yg berkaitan dan
meletakkannya di suatu database khusus untuk selanjutnya diolah oleh Data Analyst atau Data
Scientist.
● Data Scientist
● adalah Data Analyst yang memiliki kemampuan untuk menyediakan “penerawangan” atau
ramalan atas data. Jika Data Analyst hanya membuat laporan, maka Data Scientist selain
membuat laporan juga harus dapat memberikan nilai terhadap data tersebut, spt misalnya
trends, forecast, dan prediction untuk membantu para pemimpin dalam mengambil kebijakan
arah perusahaan.
 Business Intelegence
Business Intelligence adalah sekumpulan teknik dan alat untuk
mentransformasi dari data mentah menjadi informasi yang berguna dan
bermakna untuk tujuan analisis bisnis. Teknologi BI dapat menangani
data yang tak terstruktur dalam jumlah yang sangat besar untuk
membantu mengidentifikasi, mengembangkan, dan selain itu membuat
kesempatan strategi bisnis yang baru.
Tujuan dari BI yaitu untuk memudahkan interpretasi dari jumlah data
yang besar tersebut. Mengidentifikasi kesempatan yang baru dan
mengimplementasikan suatu strategi yang efektif berdasarkan wawasan
dapat menyediakan bisnis suatu keuntungan pasar yang kompetitif dan
stabilitas jangka panjang.
 Database

Pangkalan data atau basis data (database) adalah

kumpulan informasi yang disimpan di dalam
komputer secara sistematik sehingga dapat diperiksa
menggunakan suatu program komputer untuk
memperoleh informasi dari basis data tersebut.
Perangkat lunak yang digunakan untuk mengelola dan
memanggil kueri (query) basis data disebut sistem
manajemen basis data (database management
system, DBMS).
 Skema Database

1. Skema Konseptual : Mendeskripsikan beberapa

domain dari semantik (ruang lingkup pada sebuah
model, sebagai contoh, bisa saja model tersebut
bisa berupa sesuatu area yang menarik daripada
sebuah organisasi atau industri
2. Skema Logis : Mendeskripsikan sebuah struktur dari
beberapa domain sebuah informasi
3. Skema Fisik : Mendeskripsikan sebuah
makna-makna dari sifat fisik sebuah penyimpanan
data.
 Pemodelan Data
● Pemodelan data adalah proses yang digunakan untuk mendefinisikan
dan menganalisis kebutuhan data yang diperlukan untuk mendukung
proses bisnis dalam lingkup sistem informasi yang sesuai dalam
organisasi.
● Model data memberikan struktur untuk data yang digunakan dalam
sistem informasi dengan menyediakan definisi dan format tertentu.
● Teknik pemodelan data dan metodologi yang digunakan untuk model
data dengan cara, standar yang konsisten, dapat diprediksi untuk
mengelolanya sebagai sumber daya. Penggunaan standar pemodelan
data sangat disarankan untuk semua proyek yang membutuhkan sarana
standar mendefinisikan dan menganalisis data dalam sebuah organisasi,
misalnya, menggunakan pemodelan data:
● 1. Untuk mengelola data sebagai sumber daya.
● 2. Untuk integrasi sistem informasi.
● 3. Untuk merancang database / gudang data (repositori data yang alias)
 Model Data
1. OBDM (Object Based Data Model) = Model Data berbasis Obyek
Merupakan himpunan data dan prosedur atau relasi yang menjelaskan
hubungan logik antar data dalam suatu Basis Data berdasarkan pada obyek
data. Model ini terdiri dari yaitu: Entity Relationship model (ER-M), Semantic
model dan Binary model
2. RBDM (Record Based Data Model) = Model data berbasis Record
Model data berbasis Record merupakan himpunan data dan prosdur/relasi
yang menjelaskan hubungan logik antar data dalam suatu Basis Data model
yang didasarkan pada record. Model ini terdiri dari yaitu: Hierarchycal
model, Network model dan Relational model
3. PBDM ( Physical Based Data Model) = Model data berbasis Fisik
Model data berbasis fisik digunakan untuk menguraikan data di tingkat
internal atau menjelaskan kepada pemakai bagaimana data-data dalam
basis data disimpan dalam media penyimpanan secara fisik. Model ini
terdiri dari yaitu: Unifying model dan frame memory.
 Data Warehouse

Database / data warehouse sangat ideal untuk

menyimpan data yang dibutuhkan untuk operasional
day-to-day suatu organisasi, atau untuk menghasilkan
report bulanan. Namun, cost per terabyte (biaya
penyimpanan) jauh lebih tinggi dibandingkan big data
platform seperti Hadoop. Oleh karena itu, untuk
menyimpan data-data yang belum diketahui nilai
bisnisnya dan dalam volume besar, platform berbasis
big data seperti Hadoop memberikan solusi yang lebih
masuk akal.
 Data Warehouse

Data warehouse adalah kumpulan data dari berbagai

sumber internal maupun eksternal yang dikumpulkan
menjadi satu dalam tempat penyimpanan yang
berukuran besar yang bisa digunakan untuk
pengambilan keputusan, dan bersifat berorientasi
subjek, terintegrasi, time-variant, dan non-volatine.
 Data Mart

Data Mart adalah fasilitas penyimpan data yang

berorentasi pada Subject tertentu atau berorentasi
pada Departemen tertentu dari suatu organisasi, fokus
pada kebutuhan Departemen tertentu seperti Sales,
Marketing, Operation atau Collection. Sehingga suatu
Organisasi bisa mempunyai lebih dari satu Data Mart.
Data Mart pada umumnya di organisasikan sebagai
suatu Dimensional Model, sperti Star-Schema (OLAP
Cube) yang tersusun dari sebuah tabel Fact dan
beberapa tabel Dimension.
 Data Staging Area
● Staging area, atau landing zone, adalah area penyimpanan
antara yang digunakan untuk pemrosesan data selama proses
extract, transform dan load (ETL). Data staging area berada di
antara sumber data dan target data, yang seringkali berupa
gudang data, data mart, atau repositori data lainnya.
● Data staging area seringkali bersifat sementara, dengan isinya
dihapus sebelum menjalankan proses ETL atau segera setelah
berhasil menyelesaikan proses ETL. Namun, ada arsitektur
area pementasan, yang dirancang untuk menyimpan data
untuk waktu yang lama untuk tujuan pengarsipan atau
pemecahan masalah.
 Operasional Data Store
● Operational Data Stores adalah sebuah kumpulan database yang
terintegrasi yang didesain untuk mendukung operational monitoring.
● Sementara di Operational Data Stores, data dapat dihapus redundansi, dan
diperiksa kepatuhannya terhadap aturan bisnis terkait. Operational Data
Stores dapat digunakan untuk mengintegrasikan data yang berbeda dari
berbagai sumber sehingga operasi bisnis, analisis dan pelaporan dapat
dilakukan saat operasi bisnis terjadi. Operational Data Stores adalah
tempat di mana sebagian besar data yang digunakan dalam operasi saat ini
disimpan sebelum dipindahkan ke data warehouse untuk penyimpanan
atau pengarsipan jangka panjang.
● Operational Data Stores dirancang untuk permintaan yang relatif
sederhana pada sejumlah kecil data (seperti menemukan status pesanan
pelanggan), daripada query kompleks pada sejumlah besar data
warehouse. Operational Data Stores mirip dengan memori jangka pendek
karena hanya menyimpan informasi yang sangat baru; sebagai
perbandingan, data warehouse lebih seperti memori jangka panjang
karena menyimpan informasi yang relatif permanen.
 Personal Data Store
● Personal data services atau personal data stores (PDS) adalah
layanan yang memungkinkan individu menyimpan, mengelola,
dan menggunakan data pribadi kunci dengan cara yang sangat
aman dan terstruktur.
● Personal data stores (PDS) memberi pengguna titik kontrol
utama untuk informasi pribadi mereka (mis. Minat, informasi
kontak, afiliasi, preferensi, teman). Atribut data pengguna
yang dikelola oleh layanan dapat disimpan dalam repositori
bersama, atau mereka dapat disimpan beberapa repositori
terdistribusi eksternal, atau kombinasi keduanya. Atribut dari
PDS dapat diakses melalui API. Pengguna instance PDS yang
sama dapat diizinkan untuk berbagi set atribut secara selektif
dengan pengguna lain.
 Referensi
https://www.dictio.id/t/apa-yang-dimaksud-dengan-pemodelan-data-apa-saja-macamnya
/13148/4

18/