WEB

CRAWLER

Okghi Adam Qowiy, Teddy Anugrah Ramanel, Asep Haryono

PUSAT TEKNOLOGI SISTEM DAN PRASARANA TRASNPORTASI
29 Mei 2020
Pengertian web crawler

Web Crawler adalah suatu program atau

script otomat yang relatif simple, yang
dengan metode tertentu melakukan scan
atau “crawl” ke semua halaman-
halaman Internet untuk membuat index
dari data yang dicarinya.
Nama lain untuk web crawl adalah web
spider, web robot, bot, crawl dan
automatic indexer.

2
SUMBER DATA

Menggunakan API pihak ketiga seperti

Facebook API, Twitter API dan sebagainya

3
Arsitektur Web crawler

4
Tahapan
Web Crawling

Import Access
Tentukan
Library Token Otentikasi
sumber Store Data
yang API
data API
dibutuhkan

5
Implementasi
Project

6
7
RENCANA
BIG DATA PROJECT

8
THE END