Neural Network terdiri dari tiga tipe lapisan (layer): Input, hidden, dan Output, masing-masing

terdiri dari satu sampai beberapa node sedangkan setiap node merepresentasikan satu set
weights dan satu bias. Ini akan membawa kita ke pertanyaan, Bagaimana cara membuat sebuah
DNN ? Itu adalah fakta bahwa multiple hidden layer menghubungkan antara lapisan (layer)
Input dan Output sedangkan beberapa fungsi matematika dikombinasikan diantara mereka.
Bagian esensial dari setiap hidden layer adalah fungsi aktivasi untuk mengintrodusir non-
linearity kedalam jaringan (network), yang membuatnya mampu menyelesaikan persamaan
non-linear. Deep Learning bekerja dengan menurunkan kompleksitas kombinasi fungsi dengan
kedalaman lapisan (depth layer). Setelah informasi telah melewati jaringan DNN, sangat sering
dipasang kembali (reassembled). Ini dapat selesai contohnya dengan fully connected layer
untuk mengisi arah N fungsi softmax yang mengirim weights yang mungkin dari kemungkinan
N yang muncul. Berbeda dengan itu DNN bisa juga dilatih dengan sebuah mode end-to-end
dimana input dipetakan langsung untuk mengontrol sinyal output. Akhirnya, ada dua bagian
yang berbeda pada sebuah jaringan : Pertama proses pelatihan, dimana error yang dihitung
adalah minimum oleh backpropagation, dimana bias dan weights ditambahkan sesuai gradien
negatif, dalam kombinasi dengan berbagai optimisasi kemungkinan seperti leraningrate dan
momentum. Kedua interferensi, dimana pelatihan telah selesai dan jaringan tersebut
dioperasikan pada pekerjaan spesifik pada data yang tidak diketahui.

Gambar 1.1 Penjelasan arsitektur sebuah CNN dengan lapisan ganda tersembunyi
Secara umum pada autonomous driving ada empat pertanyaan yang harus dijawab untuk
mencapai tujuan final seperti yang dideskripsikan oleh Friedman dkk, pada kuliah mereka
tentang deep learning pada autonomous driving.
1. Dimana saya? → Lokalisasi dan Pemetaan
2. Dimana orang lain? →Scene understanding
3. Bagaimana saya bisa dari A ke B? →Movement Planning
4. Apa yang dilakukan pengemudi? →Driver State
Berikut penjelasan singkat bagamana menjawab keempat pertanyaan tersebut.
1. Lokalisasi dan Pemetaan
Menggunakan signal Kamera untuk mendapatkan lokasi kotak bergerak (bounding boxes)
yang akurat disekitar pixels dari objek yang terdeteksi juga jarak dan kecepatan relatif
yang didapatkan dari menyesusaikan dengan sinyal radar. Disamping deteksi objek 2D dan
3D adalah mungkin juga dengan deteksi gambar mononocular tunggal dengan asumsi
bahwa objek yang dikenali oleh sensor pada kendaraan harus berada pada pada ground
plane ( ketinggian nol). Seperti system SVTA, kamera dan sinyal Lidar dari KITTI dataset
dijadikan sebagai input. Untuk pendekatan ini ada dua sistem CNN yang digunakan. Satu
untuk deteksi object range dekat (2-25m) dan satu untuk range jauh (15-55m) hal ini
dikarenakan rendahnya resolusi gambar. Untuk proyeksi output jarak akhir maka kedua
CNNs dikombinasikan.
2. Pemahaman Adegan (Scene Understanding)
Segmentasi semantic adalah sebuah teknik yang digunakan untuk pemahaman adegan
jalan. Badrinarayanan dkk menggunakan sebuah CNN special encoder-decoder. Setelah
input gambar diproses sepanjang jaringan klasifikasi cerdas, untuk mengidentifikasi setiap
pixel ke objek yang termasuk. Itu mendapat akurasi 88% untuk mobil dan 96% untuk jalan.
Meskipun itu dipengaruhi oleh pejalan kaki, yang mendapat akurasi 62% yang
mengungguli semua algoritma metode lain diatas 10%.

Gambar 1.2 Arsitektur CNN special yang dibuat oleh Badrinarayan dkk.
3. Rencana Pergerakan ( Movement Planning)
Aplikasi lain dari