WEB SCRAPPING

Kelompok 4 BM6A
01
Web scrapping merupakan sebagai
proses pengambilan data dari sebuah
website. Ada dua cara metode web
scrapping, Yaitu metode manual dan
otomatis. PENGERTIAN
Metode manual adalah cara menyalin
data hanya dengan copy paste dari
sebuah website. Sedangkan metode
otomatis memakai koding, aplikasi,
atau extention browser.
02 FUNGSI

Monitoring harga di pasaran

Adanya web scrapping bisa
memonitoring harga produk yang sama
di pasaran. Jika mempunyai produk
tertentu, maka bisa dengan mudah
melihat perbandingan harganya dengan
memakai web scrapping.
03 FUNGSI
Analisa competitor
Bukan hanya bisa mengetahui harga produk yang serupa
dari competitor. Adanya web scrapping juga bisa
memberitahukan dengan dalam berbagia macam informasi
perusahaan lain.
Web scrapping akan melakukan analisa competitor. Data
tersebut akan berguna dalam pengambilan keputusan dan
merencanakan strategi yang tepat dalam berbisnis.
Mendapatkan informasi yang akurat dan actual
Anda dapat menggunakan beberapa tools dalam melakukan
Web Scraping seperti Google Spreadsheet, Octoparse dan
lainnya.
 DASAR-DASAR
04
Sistem web scraping pada dasarnya sangat
sederhana, yaitu terdiri atas dua bagian:
web crawler dan web scraper. Ibarat jejaring
dunia maya, web crawler adalah ‘laba-laba’
dengan kecerdasan buatan (AI) yang bergerak
menelusuri internet untuk mencari informasi
dalam suatu URL. Sementara itu, web scraper
adalah alat yang digunakan untuk mengekstrak
data dari URL yang sebelumnya ditelusuri
oleh crawler. Scraper didesain secara
kompleks, tergantung informasi yang harus
diekstrak.
 MANFAAT
05 SCRAPINGDARI WEB

THE PROBLEM?

Mendapatkan Lead
Membandingkan ulasan dalam skala besar
Optimasi harga produk
Mencari informasi sebuah perusahaan
06 KENDALA

Tidak ada teknik web scraping yang 100% efektif — Metode web scraping,
baik yang dibahas dalam artikel ini maupun yang menggunakan aplikasi,
tidak ada yang sempurna.
Data yang didapat tidak selalu rapi — Apapun metode yang Anda pakai
pasti akan menyisakan teks-teks yang tidak diinginkan, seperti tag
HTML.
Pemahaman tentang struktur halaman website tetap menjadi kewajiban —
Tidak semua teknik web scraping memerlukan koding.
Akses Anda ke suatu website dapat diblokir — terlalu sering melakukan
web scraping terhadap suatu website dapat menyebabkan IP Anda diblokir
oleh adminnya.
Tidak semua website mudah diekstrak datanya — Salah satu tugas web
developer memang selalu memperbarui websitenya, baik dari segi kode
maupun struktur halamannya, untuk alasan keamanan.
07 CARA KERJA
Cara kerja web scraper cenderung sederhana
sekaligus rumit. Pertama, web scraper akan
diberikan sejumlah URL untuk dimuat sebelum
dilakukan proses scraping. Scraper kemudian
memuat kode HTML laman yang dituju.
Beberapa scraper yang lebih canggih bahkan
mampu memuat seluruh isi dalam website,
termasuk CSS dan elemen Javascript.

Dari data yang sudah dimuat, scraper

kemudian akan mengekstrak data yang
sebelumnya sudah dipilih oleh pengguna
sebelum program dijalankan.
08 CARA KERJA
Misalnya, seorang data scientist
membutuhkan informasi mengenai harga dan
model dalam satu platform e-commerce. Dia
akan memprogram scraper dengan mengutamakan
dua informasi tersebut dan mengabaikan
review produk atau komentar pembeli.
Data yang sudah diekstrak kemudian akan
dikumpulkan dalam satu format, yang
nantinya akan digunakan oleh data scientist
untuk proses analisis. Format yang
digunakan dapat berupa CSV, Excel, atau
bahkan format JSON yang nantinya bisa
digunakan sebagai API.
 THANK YOU
I hope you can get useful knowledge from
this presentation. Good luck !