TEKNIK

PENGUMPULAN
DATA
Fakultas : FTI
Program Studi : TEKNIK
INFORMATIKA

Tatap Muka

Kode Matakuliah : Kode MK

Disusun oleh : Dr. Abdusy Syarif, ST,
MT
 DESKRIPSI MATERI PERTEMUAN 4

Materi Pertemuan 1 Teknik Pengumpulan Data

Deskripsi Materi - Memahami Teknik Pengumpulan Data
Sub Capaian Luaran yang diharapkan setelah mengikuti materi pada pertemuan ini
Pembelajaran Mata - Mahasiswa diharapkan memiliki pemahaman dasar tentang
Kuliah (Sub CPMK) beberapa teknik pengumpulan big data dari beberapa sumber big
data.

Deskrispsi Tugas

Kontrak Perkuliahan

2020 Nama Mata Kuliah

2 Nama Dosen – No Telp
Pusat Bahan Ajar dan eLearning
http://www.undira.ac.id
 PENDAHULUAN

Dalam era digital yang terus berkembang, data menjadi salah satu aset paling berharga. Dengan
jumlah data yang terus bertambah, pengelolaan dan analisis data semakin penting. Big Data adalah
konsep yang mengacu pada data dalam volume, kecepatan, variasi, dan keakuratan yang tinggi.
Pengumpulan data adalah langkah kunci dalam ekosistem Big Data, dan dalam modul ini, kita akan
menjelaskan secara rinci teknik pengumpulan data dalam dunia Big Data.

1. Sumber Data atau Identifikasi Sumber Data

Sebelum membahas teknik pengumpulan data, penting untuk memahami sumber data dalam Big
Data. Sumber data dapat berasal dari berbagai sumber, termasuk sensor, perangkat mobile, media
sosial, website, dan perangkat IoT (Internet of Things). Dengan memahami sumber data, organisasi
dapat memilih teknik yang sesuai untuk mengumpulkan data dengan efisien. Sumber data juga dapat
berasal dari berbagai sumber, seperti database internal, data streaming, perangkat IoT, media sosial,
sensor fisik, perangkat mobile, dan banyak lagi. Identifikasi sumber data yang paling relevan untuk
tujuan analisis Anda.

2. Data Streaming

Data streaming adalah teknik pengumpulan data yang mendukung pengumpulan data secara kontinu
dalam waktu nyata. Data ini seringkali sangat cepat dan datang dalam aliran tanpa henti. Teknologi
seperti Apache Kafka dan Apache Flink digunakan untuk mengelola data streaming, yang berguna
untuk analisis real-time dan pemantauan.

3. ETL (Extract, Transform, Load)

ETL adalah proses yang umum digunakan dalam pengumpulan data Big Data. Ini melibatkan
ekstraksi data dari berbagai sumber, mentransformasikannya ke dalam format yang sesuai, dan
memuatnya ke dalam sistem penyimpanan data. ETL sangat penting untuk menjaga kualitas dan
konsistensi data dalam ekosistem Big Data. Pada tahap ini, diperlukan pemahaman data untuk
memahami karakteristik data yang akan Anda kumpulkan. Ini melibatkan identifikasi struktur data,
format data, serta kecepatan, volume, dan variasi data. Dan diperlukan juga sebuah rencana
pengumpulan data yang mencakup teknik pengumpulan data yang akan digunakan, frekuensi
pengumpulan data, dan sumber data yang akan diakses. Pastikan rencana ini sesuai dengan tujuan
analisis Big Data Anda.

4. Data Warehousing

2020 Nama Mata Kuliah

3 Nama Dosen – No Telp
Pusat Bahan Ajar dan eLearning
http://www.undira.ac.id
Data warehousing adalah teknik yang melibatkan penyimpanan data dalam basis data sentral yang
besar. Data ini kemudian dapat diakses dan dianalisis oleh pengguna yang berbeda dalam
organisasi. Teknologi seperti Amazon Redshift dan Google BigQuery adalah contoh solusi data
warehousing dalam Big Data.

5. Data Lake

Data lake adalah konsep penyimpanan data yang fleksibel dan skalabel untuk data Big Data. Data
disimpan dalam format mentah, dan analisis dapat dilakukan dengan berbagai alat dan bahasa
pemrograman. Hadoop Distributed File System (HDFS) adalah contoh sistem penyimpanan data lake
yang populer.

6. Web Scraping

Teknik pengumpulan data lainnya adalah web scraping, yang melibatkan ekstraksi data dari situs
web. Ini sering digunakan untuk mengumpulkan data dari sumber online seperti media sosial,
e-commerce, dan berita. Namun, web scraping perlu dilakukan dengan etika dan sesuai dengan
hukum yang berlaku.

7. Pengumpulan Data Sensor

Sumber data yang sangat umum dalam Big Data adalah sensor. Sensor fisik seperti sensor cuaca,
sensor kendaraan, dan sensor suhu digunakan untuk mengumpulkan data dalam waktu nyata. Teknik
pengumpulan data ini diperlukan untuk banyak aplikasi, termasuk Internet of Things (IoT) dan smart
cities.

8. Pengumpulan Data dari Media Sosial

Media sosial adalah sumber data yang sangat berharga dalam Big Data. Data dari platform seperti
Facebook, Twitter, dan Instagram dapat memberikan wawasan tentang tren, preferensi pengguna,
dan sentimen publik. Pengumpulan data dari media sosial melibatkan penggunaan API (Application
Programming Interface) yang disediakan oleh platform tersebut.

9. Pengumpulan Data dari Perangkat Mobile

Banyak orang menggunakan perangkat mobile, dan data dari perangkat ini dapat memberikan
wawasan berharga. Pengumpulan data dari perangkat mobile melibatkan penggunaan aplikasi yang
meminta izin dari pengguna untuk mengakses data seperti lokasi, kontak, dan aktivitas pengguna.

10. Pengumpulan Data dalam Analisis Telemetri

2020 Nama Mata Kuliah

4 Nama Dosen – No Telp
Pusat Bahan Ajar dan eLearning
http://www.undira.ac.id
Teknik pengumpulan data lainnya adalah analisis telemetri, yang melibatkan pengumpulan data dari
perangkat elektronik seperti kendaraan, pesawat, dan perangkat medis. Data ini dapat digunakan
untuk pemantauan kinerja, pemeliharaan, dan analisis prediktif.

Sekarang mari kita lihat teknik pengumpulan data dari aspek: Bagaimana, Apa, Kapan, Dimana, Oleh
Siapa, dan Kenapa.

1. Bagaimana (How)

Pengumpulan data dari media sosial atau aplikasi lainnya melibatkan beberapa teknik dan langkah
berikut:

● Pemanfaatan API (Application Programming Interface): Banyak platform media sosial seperti
Twitter, Facebook, dan Instagram menyediakan API yang memungkinkan pengguna untuk
mengakses data mereka secara terstruktur. Dengan menggunakan API ini, Anda dapat
mengambil data yang relevan seperti posting, komentar, atau profil pengguna.
● Web Scraping: Ini adalah metode lain yang digunakan untuk mengumpulkan data dari media
sosial. Ini melibatkan pengambilan data langsung dari halaman web platform media sosial.
Namun, web scraping perlu dilakukan dengan etika dan sesuai dengan aturan platform media
sosial yang bersangkutan.
● Alat Analisis Sentimen: Beberapa perusahaan menggunakan alat khusus untuk
mengumpulkan data dari media sosial dengan tujuan mengukur sentimen publik terhadap
merek, produk, atau topik tertentu. Alat ini dapat mengidentifikasi apakah komentar adalah
positif, negatif, atau netral.

2. Apa (What)

Data yang diambil dari media sosial atau aplikasi dapat mencakup berbagai jenis informasi, termasuk:

● Postingan (Tweets, Status, Gambar, dll.): Data ini mencakup teks postingan, gambar, dan
video yang diunggah oleh pengguna. Postingan dapat berisi informasi tentang peristiwa,
opini, atau pengalaman.
● Metadata: Data terkait: Metadata mencakup informasi seperti tanggal dan waktu posting,
lokasi (jika diizinkan oleh pengguna), jumlah like dan komentar, dan profil pengguna yang
membuat postingan.
● Komunikasi antar Pengguna: Data media sosial juga mencakup percakapan atau interaksi
antara pengguna. Ini termasuk komentar, balasan, dan pesan pribadi.

3. Kapan (When)

2020 Nama Mata Kuliah

5 Nama Dosen – No Telp
Pusat Bahan Ajar dan eLearning
http://www.undira.ac.id
Data dari media sosial dapat dikumpulkan sepanjang waktu. Terutama dalam analisis yang
melibatkan trending topics atau peristiwa real-time, data dapat diambil seketika saat peristiwa terjadi.
Namun, pengumpulan data juga dapat dilakukan dalam jangka waktu tertentu, seperti mengumpulkan
data selama sebulan terakhir atau setahun terakhir untuk analisis jangka panjang.

4. Dimana (Where)

Media sosial adalah platform online, sehingga data yang dikumpulkan berasal dari platform media
sosial itu sendiri. Ini mencakup situs web dan aplikasi seperti Twitter, Facebook, Instagram, LinkedIn,
dan banyak lainnya.

5. Oleh Siapa (Who)

Pengumpulan data dari media sosial atau aplikasi bisa dilakukan oleh berbagai pihak, termasuk:

● Perusahaan dan Bisnis: Banyak perusahaan mengumpulkan data dari media sosial untuk
memahami pendapat pelanggan, mengukur reputasi merek, dan mengidentifikasi tren pasar.
● Peneliti dan Akademisi: Peneliti sosial dan akademisi sering menggunakan data media sosial
untuk studi dan penelitian.
● Pihak Pemerintah dan Penegak Hukum: Pihak berwenang dan penegak hukum juga dapat
menggunakan data media sosial dalam penyelidikan dan pemantauan.
● Individu Pengguna: Pengguna media sosial juga dapat mengumpulkan data mereka sendiri
untuk analisis pribadi atau untuk berbagi dengan orang lain.

6. Kenapa (Why)

Ada berbagai alasan mengapa orang mengumpulkan data dari media sosial, termasuk:

● Analisis Sentimen: Untuk mengukur sentimen publik terhadap merek, produk, atau topik
tertentu.
● Pelacakan Tren: Untuk mengidentifikasi tren yang sedang berkembang di media sosial, yang
dapat membantu dalam pengambilan keputusan bisnis atau penelitian.
● Pemahaman Pelanggan: Untuk memahami lebih baik perilaku dan preferensi pelanggan.
● Pemantauan Keamanan dan Penegakan Hukum: Dalam beberapa kasus, data media sosial
dapat digunakan untuk kepentingan keamanan nasional dan penegakan hukum.
● Penelitian Akademis: Untuk penelitian akademis dan studi sosial.

2020 Nama Mata Kuliah

6 Nama Dosen – No Telp
Pusat Bahan Ajar dan eLearning
http://www.undira.ac.id
 Kesimpulan
Pengumpulan data adalah tahap kunci dalam ekosistem Big Data. Dengan pemahaman yang baik
tentang sumber data dan berbagai teknik pengumpulan data, organisasi dapat mengambil
keuntungan dari data Big Data untuk mengambil keputusan yang lebih baik, mengidentifikasi peluang
bisnis, dan memahami tren pasar. Dengan teknik yang tepat, data Big Data dapat menjadi aset
berharga yang menggerakkan inovasi dan keunggulan kompetitif.

Dalam dunia yang semakin terhubung, pengumpulan data dalam Big Data adalah kunci untuk
memahami kompleksitas masyarakat, ekonomi, dan teknologi. Dengan terus berkembangnya
teknologi dan pertumbuhan data yang tak terhentikan, penting untuk terus memahami dan
mengadopsi teknik pengumpulan data yang relevan dan efektif.

Dengan demikian, dalam artikel ini kita telah menjelaskan berbagai teknik pengumpulan data dalam
dunia Big Data yang melibatkan penggunaan data streaming, ETL, data warehousing, data lake, web
scraping, pengumpulan data sensor, pengumpulan data dari media sosial, pengumpulan data dari
perangkat mobile, dan analisis telemetri. Dengan pemahaman yang baik tentang teknik ini, organisasi
dapat memaksimalkan potensi data Big Data mereka untuk keuntungan bisnis dan pemahaman yang
lebih baik tentang dunia yang semakin kompleks.

DAFTAR PUSTAKA

[1] Dr. Rajni Bhalla, Introduction to Big Data, Lovely Professional University.

2020 Nama Mata Kuliah

7 Nama Dosen – No Telp
Pusat Bahan Ajar dan eLearning
http://www.undira.ac.id