SPATIAL DATA SCRAPPING

BERBASIS GOOGLE MAPS DAN CHROME BROWSER

Seringkali perencana mengalami kesulitan dalam perolehan data spasial, lama, ataupun
ketidaktersediaannya, yang mana hal tersebut menghambat proses analisis dan perencanaan yang
ada. Dengan semakin berkembangnya teknologi, maka dibutuhkan metode untuk memperoleh data-
data tersebut secara instan berbasis website atau sumber-sumber online, salah satunya menggunakan
metode data scrapping. Mengutip dari Idcloudhost (2022), data scraping atau yang juga sering disebut
data extraction merupakan teknik atau metode otomatisasi yang memungkinkan seseorang untuk
mengekstrak data dari sebuah website, database, aplikasi enterprise, atau sistem legacy yang
kemudian dapat menyimpannya ke dalam sebuah file dengan format tabular atau spreadsheet.
Metode mengotomatisasi proses copy paste secara manual yang dimana proses ini memakan waktu
berjam-jam atau bahkan berhari-hari (Data Scraping : Definisi, Cara Kerja Dan 2 Tipe/Jenisnya -
IDCloudHost, 2022).

Umumnya data scraping digunakan untuk beberapa pekerjaan yang berkaitan dengan data seperti
research untuk konten website,keperluan bisnis dalam komparasi harga, atau melakukan riset pasar
pada sumber data publik. Kebanyakan data pada website merupakan data tidak terstruktur dalam
format HTML yang kemudian diubah menjadi data dengan format terstruktur ke dalam spreadsheet
atau database Anda sehingga dapat dimanipulasi. Sedangkan ada banyak cara yang digunakan dalam
melakukan data scraping untuk memperoleh data dari sebuah website seperti layanan online, API
tertentu atau bahkan perusahaan yang memiliki code untuk melakukan data scraping dari awal (Data
Scraping : Definisi, Cara Kerja Dan 2 Tipe/Jenisnya - IDCloudHost, 2022).

Pada perolehan data spasial, metode ini dapat berguna untuk “memangkas” waktu yang
dibutuhkan dalam perolehan data, terutama titik-titik tertentu, melalui scrapping data titik-titik
tertentu (fasilitas atau sarana) melalui scrapping berbasis google maps dan chrome browser. Adapun
langkah-langkah untuk melakukan data scrapping berbasis google maps dan chrome browser akan
dijabarkan sebagai berikut.

1. Install extension “Instant Data Scrapper” dan Scrapping data

2. Cleaning Data dan import ke Google Spreadsheet
3. Install add-on “Geocode by Awesome Tables” dan lakkukan Geocoding
4. Import ke QGIS

Pada modul ini kita akan mempelajari cara mengunduh data spasial sekolah menengah atas (SMA)
di Kabupaten Sidoarjo. Adapun batas administrasi yang akan kita gunakan dalam kasus ini dapat
diunduh melalui link: https://intip.in/WADMKKSidoarjo.

Kemudian, detail dari tiap langkah-langkahnya disajikan sebagai berikut.

1. Install Extension “Instant Data Scrapper” dan Scrapping Data

“Instant Data Scrapper” merupakan ekstension untuk mengekstrak data dari halaman
web dan mengekspornya sebagai file Excel atau CSV, di mana ekstension ini merupakan alat
ekstraksi data otomatis untuk situs web apa pun. Ini menggunakan AI untuk memprediksi data
mana yang paling relevan pada halaman HTML dan memungkinkan menyimpannya ke file Excel
atau CSV (XLS, XLSX, CSV).
 Berikut langkah-langkah untuk menginstall ekstensi “Instant Data Scrapper”

▪ Buka Google Chrome dan cari dengan keyword “Instant Data Scrapper” atau dapat
diakses melalui link: https://chrome.google.com/webstore/detail/instant-data-
scraper/ofaokhiedipichpaobibbnahnkdoiiah

▪ Klik tambahkan ke chrome

▪ Maka akan muncul ekstensi Instant Data Scrapper pada bagian atas kanan browser,
kemudian klik ekstensi/extension dan sematkan
▪ Lakukan scrapping dengan membuka tab baru, kemudian memasukkan kata kunci data
yang ingin kita cari. Dalam hal ini kita akan mencoba mengekstrak titik persebaran
sekolah menengah atas (SMA) di Kabupaten Sidoarjo.

▪ Pilih “tempat lainnya”

▪ Maka akan keluar tampilan pencarian berbasis spasial

▪ Selanjutnya kita klik pada ekstensi “Instant Data Scrapper”, maka akan keluar tampilan
sebagai berikut.
▪ Pilih locate next button, lalu scroll ke bawah dan arahkan pada tombol “Berikutnya”
atau “Next”

▪ Kemudian klik “Start Crawling”

 ▪ Apabila sudah muncul box kuning seperti di bawah, maka pencarian telah selesai dan
didapatkan 154 titik yang diekstraksi

▪ Kemudian kita simpan dalam bentuk xlsx untuk kemudian kita cleaning data terlebih
dahulu pada Microsoft Excel

2. Cleaning Data dan import ke Google Spreadsheet

Berikutnya kita akan melakukan cleaning data dengan tujuan untuk menghilangkan data-
data yang di luar konteks dari apa yang kita butuhkan, serta merapikan ulang data tersebut.
Langkah-langkahnya antara lain.

▪ Buka file xlsx dari data scrapping yang telah kita lakukan, klik enable editing dan save as
dengan nama “SMA Sidoarjo” (untuk namanya dapat disesuaikan masing-masing)
▪ Ubah sel/judul kolom dengan nama “vzRMeAg4Oi8__kl-trunc-name” menjadi “Nama”
dan sel/judul kolom “rllt__details 2” menjadi “Alamat”

▪ Kemudian kita lakukan cleaning data dengan cara mencari data yang tidak sesuai,
kemudian kita masukkan sesuai namanya atau kita hapus barisnya (misalkan data-data
yang kosong atau termasukkan dengan SMP, dan lain sebagainya), kemudian simpan
▪ Pada awalnya kita mendapatkan 154 data, kemudian setelah kita lakukan cleaning data
maka didapatkan data “bersih” sebanyak 141 data

▪ Berikutnya, kita akan memasukkan data excel yang telah kita dapatkan ke dalam google
spreadsheet untuk melakukan geocoding. Pertama-tama kita buka google spreadsheet
baru

▪ Kemudian kita atur format lokasi menjadi “Inggris Raya” dengan cara memilih “File”,
kemudian “Setelan”, lalu kita pilih lokasi menjadi “Inggris Raya”, kemudian kita pilih
“Simpan dan muat ulang”
 ▪ Selanjutnya kita bisa copy-paste tabel pada excel kita ke dalam google spreadsheet

3. Install add-on “Geocode by Awesome Tables” dan lakkukan Geocoding

Selanjutnya kita akan menginstall add-on “Geocode by Awesome Tables” untuk
melakukan geocoding atau dengan kata lain untuk mendapatkan data spasial dari data tersebut
berupa longitude dan latitude. Langkah-langkahnya sebagai berikut.

▪ Buka opsi “Ekstensi”, kemudian menuju “Add-on” dan pilih “Dapatkan add-on”

▪ Maka akan keluar kotak pilih untuk add-ons, kemudian kita cari “Geocode by Awesome
Tables”
▪ Selanjutnya kita pilih add-on “Geocode by Awesome Tables” dan klik install

▪ Maka akan terinstall add-on “Geocode by Awesome Tables”

▪ Kemudian akan muncul ekstensi “Geocode by Awesome Tables”, selanjutnya kita bisa
langsung klik “Start Geocoding”

▪ Maka akan muncul kotak “Geocode” sebagai berikut

▪ Selanjutnya pilih “Are your address in multiple columns” untuk memasukkan address
dengan data “Nama” dan “Alamat” yang telah kita ubah sebelumnya. Hal ini dilakukan
untuk mengakuratkan hasil pencarian titik longitude dan latitude. Klik centang pada
“Nama” dan “Alamat”, kemudian klik “Insert column”
▪ Selanjutnya kita pilih “Geocode!” dan tunggu proses geocodingnya

▪ Ketika telah selesai, maka akan muncul kolom “Full Address”, “Latitude”, dan
“Longitude”. Ketika proses telah selesai semua, maka kita telah mendapatkan titik-titik
spasial dari data yang kita scrapping.
▪ Kemudian beri nama spreadsheet dengan nama “SMA Sidoarjo” (nama bisa disesuaikan)
dan save file spreadsheet dengan format .csv (comma separated value)
4. Import ke QGIS
Berikutnya, kita akan memasukkan data yang telah kita scrapping dan geocode
sebelumnya pada QGIS, sehingga terlihat persebaran titiknya. Langkah-langkahnya antara lain.

▪ Buka QGIS dan buka “New Empty Project”

▪ Selanjutnya pilih “Open Data Source Manager”

▪ Kemudian akan keluar kotak “Data Source Manager” dan pilih “Delimited Text”
▪ Selanjutnya kita akan mengimpor file dengan format .csv sebelumnya dengan menekan
titik tiga pada baris “File name”

▪ Pilih file .csv yang berisi hasil scrapping yang telah kita unduh sebelumnya dan klik
“Open”

▪ Secara otomatis, beberapa opsi yang ada pada kotak “Data Source Manager” akan
menyesuaikan dari file .csv tersebut, seperti Longitude dan Latitude sebagai X field dan
Y field. Maka selanjutnya bisa langsung kita pilih “Add”
 ▪ Maka akan muncul titik persebaran dari data yang kita scrapping sebelumnya

5. Cleaning Data Pada QGIS

Selanjutnya kita akan membersihkan data pada QGIS, hal ini dibutuhkan karena terdapat
data-data yang di luar wilayah dari administrasi yang kita pilih (dalam hal ini Kabupaten Sidoarjo).
Langkah-langkahnya sebagai berikut.

▪ Export data dari titik-titik persebaran yang berasal dari file .csv sebelumnya, klik
“Export” lalu pilih “Save Feature As”
▪ Maka akan keluar kotak “Save Feature As”, kemudian pilih titik tiga pada baris “File
Name” untuk memilih tempat penyimpanan

▪ Pilih tempat penyimpanan dan beri nama “SMA_Sidoarjo.shp” (nama dapat

disesuaikan), kemudian klik “Save”
▪ Pilih CRS dengan opsi “EPSG:32749 – WGS 84 / UTM Zone 49s”

▪ Kemudain klik “Ok”. Maka akan keluar file baru yang telah kita simpan sebagai shapefile

▪ Selanjutnya kita masukkan file batas administrasi yang telah kita unduh sebelumnya
▪ Kemudian kita akan membersihkan data dengan cara klik “Select by Location”

▪ Masukkan “Select Feature From” dengan data “SMA_Sidoarjo.shp” dan baris “By
comparing to the features from” dengan data “WADMKK_Sidoarjo.shp”. Kemudian klik
“Run”

▪ Maka akan ter-select titik-titik yang berada di Kabupaten Sidoarjo

▪ Selanjutnya kita buka attribute table dari titik “SMA_Sidoarjo.shp”

▪ Klik “Invert Selection”

▪ Aktifkan “Toggle editing” dan pilih “Delete selected features”

▪ Klik “Save” dan non-aktifkan “Toggle editing”

▪ Dan kita akan mendapatkan data spasial dari SMA di Kabuapten Sidoarjo menggunakan
metode scrapping dari google maps dan chrome browser

SELAMAT MENCOBA!
6. Referensi

Data Scraping : Definisi, Cara Kerja dan 2 Tipe/Jenisnya - IDCloudHost. (2022, January 13).
https://idcloudhost.com/data-scraping-definisi-cara-kerja-dan-2-tipe-jenisnya/