TEMA 6

SEMANTIC POINTS
CLOUDS (HD MAP)
Kelompok 17
SNAPNET: 3D POINT
CLOUD SEMANTIC
LABELING WITH 2D
DEEP SEGMENTATION
NETWORKS
 ANGGOTA KELOMPOK

1. Dionysius Swedha Cahya Danendra (21/474007/TK/52270)

2. Yasmin Menanda Haliza (21/474901/TK/52419)
3. Anak Agung Adi Putra Wiguna Jaya (21/476573/TK/52484)
4. Muhammad Irfan Fadlil Amal (21/482862/TK/53384)
2 PEMBAHASAN
Model Data Semantic Metode

Point Clouds Point Cloud Preprocessing

Abstrak Semantic Labelling

Segmented Semantic Labelling 3D Back Projection

MODEL DATA SEMANTIC
Model Data Semantic adalah metode
penataan dari suatu data untuk
merepresentasikan dengan cara logis
tertentu. Merupakan model data
konseptual yang mencakup informasi
semantik yang menambahkan
makna dasar pada data dan
hubungan yang ada di antara
mereka. Pendekatan terhadap
pemodelan data dan organisasi data
ini memungkinkan pengembangan
program aplikasi yang mudah dan
juga memudahkan pemeliharaan
konsistensi data saat data diperbarui.
Point Cloud
Point cloud adalah sekumpulan titik yang
merepresentasikan bentuk permukaan objek
yang dipindai, yang menghasilkan koordinat
3D (X,Y dan Z). Hal Yang membedakan
dengan koordinat biasa adalah, point cloud
mengandung data RGB yaitu Red Green and
Blue yang memberikan warna pada setiap
titik, sehingga dapat membentuk model 3D
yang menyerupai dengan objek yang
dipindai.
ABSTRAK Secara umum jurnal yang berjudul “Snapnet: 3D Point Cloud
Semantic Labeling With 2D Deep Segmentation Networks”
menjawab pertanyaan tentang penggunaan Convolutional
Neural Networks (CNNs) pada data 3D masih menjadi
masalah yang tertunda. Jurnal ini memberikan tiga ide
dengan metode baru, umum, dan efisien untuk pelabelan
point cloud yang tidak terstruktur, yaitu:
1. Memilih banyak snapshot yang sesuai dari point cloud
dengan menghasilkan tampilan RGB dan tampilan komposit
kedalaman yang berisi fitur geometris.
2. Melakukan pelabelan piksel dari setiap pasangan snapshot
2D menggunakan jaringan yang sepenuhnya konvolusional.
3. Melakukan proyeksi balik—cepat dari prediksi label di ruang
3D menggunakan buffering yang efisien untuk memberi label
pada setiap titik 3D.
Segmented Semantic Labelling
Dalam melakukan ekstrak data semantik,
prosesnya dibutuhkan secara cepat agar
lebih efisien dan dapat dilanjutkan dengan
labelling kelas pada setiap titik 3D yang
ditentukan. Labelling Dapat dilakukan
menggunakan SnapNet, dimana kerangka
kerja SnapNet ini dapat digunakan secara
efisien dan dapat memperluas pekerjaan.
Penerapan SnapNet yang luas juga
mempermudah dalam berbagai jenis hal
yang berbeda, misalnya SnapNet ke berbagai
jenis point clouds. Beberapa point clouds
berasal dari sensor laser, fotogrametri, atau
kamera Red-Green-Blue-Depth (RGB-D).
Segmentasi semantik point clouds adalah
masalah yang terkenal dalam geometri
komputasi dan visi komputer. Masalah ini
sebagian terkait dengan segmentasi semantik 2D,
di mana tujuannya adalah untuk memberi label
pada setiap piksel gambar. Tahap awal pelabelan
semantik untuk point cloud terutama difokuskan
pada akuisisi laser udara (Lidar). Tujuannya
adalah untuk membedakan bangunan dan jalan
dari vegetasi. Banyak algoritma untuk ekstraksi
semantik tingkat yang lebih tinggi dalam formasi
diterbitkan dalam beberapa tahun terakhir. Dalam
klasifikasi perkotaan, mengklasifikasikan benda-
benda kecil seperti mobil atau perabot jalan dan
membedakan antara jalan dan medan alam
menjadi penentu pada skala sekecil mungkin:
level titik.
 METODE
Langkah Pelabelan Semantik
Preprocessing memberikan label
bertujuan untuk untuk setiap pasangan
menghilangkan: piksel yang sesuai dari
point cloud Pembuatan Snapshot dua gambar input.
fitur titik komputasi Atribut mesh dan Menggunakan jaringan Memproyeksikan
(keadaan asli dan titik segmentasi dalam kembali ke 3D
local noise) Menghasilkan dua berdasarkan SegNet Untuk setiap titik
menghasilkan jenis tampilan dan fusi dengan mesh, kami memilih
mesh (RGB) koreksi residual labelnya dengan
komposit melihat gambar
kedalaman yang terlihat.
dengan memilih
berbagai posisi
kamera
POINT CLOUD PREPROCESSING
Masalah utama untuk pembuatan gambar ketika berhadapan dengan point
cloud adalah sparsity. Sparsity merupakan keadaan dimana terdapat
banyaknya data atau nilai rating yang kosong. Misalnya pada saat mengambil
data, sampel objek di latar depan diambil kurang sempurna dan memungkinkan
untuk melihat latar belakang di belakang objeknya. Hal ini menyebabkan gambar
yang sulit untuk dipahami, bahkan untuk ahli manusia yang terlatih. Untuk
mengatasi masalah ini, kami membuat mesh dasar dari adegan yang
menghasilkan gambar yang tampak lebih baik. Langkah-langkah yang dilakukan
untuk menghasilkan gambar tersebut antara lain Point Cloud Decimation, Mesh
Generation, dan Composite Colors
 Point Cloud Decimation
Point Cloud, terutama yang ditangkap oleh laser, memiliki kerapatan titik yang bervariasi
tergantung pada jarak ke sensor. Menghilangkan point cloud yang ada dan mengganti
dengan point cloud yang lebih ringan sehingga pemrosesan selanjutnya dapat diterapkan
dalam waktu yang ditentukan. Digunakan voxelize pada data, dan menjaga titik terdekat ke
setiap pusat voxel. Memilih ukuran voxel 0,1m dan terbukti menghasilkan point cloud yang
relatif kecil sambil mempertahankan sebagian besar fitur dan bentuk asli.
Mesh Generation
Varian apriori yang diketahui dari data yang digunakan adalah poin-poin nya memiliki
kepadatan homogen karena penipisan. Agar praktis, dipilih algoritma mesh generation.
Metode ini membutuhkan point cloud yang ditempatkan secara normal. Oleh karena itu
mesh ditunjukkan menggunakan M = (V, F ) dengan V adalah kumpulan sudut dan F adalah
bidangnya.
 Composite Colors
Hal yang dibutuhkan dalam metode ini adalah informasi warna dan volume
untuk semantic labelling. Lalu datanya diekstrak dua fitur umum dari point cloud:
deviasi normal ke vertikal dan estimasi kebisingan pada skala tertentu. Deviasi
normal ke vertikal di titik p adalah :
normdevp = arccos(|np.v|)
dimana np merupakan vektor normal dan v adalah vektor vertikal. Dengan p
adalah p adalah perkiraan penyebaran titik di lingkungannya
noisep = λ2/λ0
dimana λ0 adalah nilai singular tertinggi dan λ2 adalah nilai singular terendah
 SEMANTIC LABELING
Ada beberapa arsitektur jaringan saraf konvolusional yang dalam untuk pelabelan
semantik, biasanya diturunkan dari Fully Convolutional Jaringan. Dalam makalah ini,
menggunakan implementasi khusus yaitu:
• SegNet
Bagian encoder dari SegNet didasarkan pada VGG-16, CNN yang dalam dengan 16
lapisan yang dirancang untuk klasifikasi gambar. Hanya bagian konvolusi disimpan,
sementara lapisan yang terhubung sepenuhnya dijatuhkan. Selama unpooling, peta
fitur dalam dekoder diambil sampelnya dengan menempatkan nilai ke posisi yang
diberikan oleh indeks maksimum selama penyatuan simetris di pembuat enkode.
• U-Net
Berdasarkan VGG-16 untuk bagian encoder, menggunakan trik yang berbeda untuk
upsampling. Menggabungkan peta fitur dari decoder convolutional layer upsampled
dengan duplikasi dengan fitur simetris peta di encoder. Konvolusi selanjutnya
memadukan kedua jenis informasi.
SEMANTIC LABELING
3D BACK PROJECTION
PROJECTION TO PROJECTION TO
MESH THE ORIGINAL
Memperkirakan POINT CLOUD
label pada setiap Memproyeksikan
simpul dari mesh simpul berlabel ke
yang digunakan point cloud asli
untuk
menghasilkan
gambar
EXPERIMENT
LIDAR SENSORS
Laser point clouds

MULTIPLE 2D VIEWS AND

PHOTOGRAMMETRY
Photogrammetric point clouds

LOW-COST RGB-D
CAMERAS
RGB-D camera point clouds
LIDAR SENSORS
Laser point clouds
8 Kelas:
-Medan buatan manusia (abu-abu)
-Medan alami (hijau)
-Vegetasi tinggi (hijau tua)
-Vegetasi rendah (kuning)
-Bangunan (merah)
-Hardscape (ungu) artefak pemindaian (cyan)
-Mobil (merah muda).
LIDAR SENSORS
Laser point clouds
MULTIPLE 2D VIEWS AND
PHOTOGRAMMETRY
Photogrammetric point clouds
LOW-COST RGB-D
CAMERAS
RGB-D camera point clouds
 KESIMPULAN
Jadi, dapat disimpulkan bahwa dalam jurnal yang kami gunakan telah
menyajikan kerangka kerja yang efisien untuk pelabelan semantik 3D pont
cloud. Pertama-tama gambar menghasilkan RGB dan geometris, yang kemudian
akan dimasukkan untuk dilakukan segmentasi semantik. Selanjutnya gambar
yang sudah dilakukan segmentasi ini dikumpulkan pada model 3D untuk diberi
label masing-masing.

Di dalam jurnal ini juga bereksperimen pada pemindaian laser, rekonstruksi

metrik fotogram, dan data RGB-D. Terakhir, untuk data RGB-D tunggal,
memperoleh kinerja yang baik.
THANK
YOU!