WEB

CRAWLER

Okghi Adam Qowiy, Teddy Anugrah Ramanel, Asep Haryono

PUSAT TEKNOLOGI SISTEM DAN PRASARANA TRASNPORTASI
29 Mei 2020
Pengertian web crawler

Web Crawler adalah suatu program atau

script otomat yang relatif simple, yang
dengan metode tertentu melakukan scan
atau “crawl” ke semua halaman-
halaman Internet untuk membuat index
dari data yang dicarinya.
Nama lain untuk web crawl adalah web
spider, web robot, bot, crawl dan
automatic indexer.
Sumber Data

Menggunakan API pihak ketiga seperti

Facebook API, Twitter API dan sebagainya
Perbedaan Scraping dan Crawling
Arsitektur Web Crawler
 Tahapan
Web Crawling

Import Access
Tentukan
Library Token Otentikasi
sumber Store Data
yang API
data API
dibutuhkan
Implementasi
Project
RENCANA
BIG DATA PROJECT
THE END