Nama‌ ‌:‌‌Ahsannul‌‌kholikin‌ 

NIM‌‌
  :‌‌19SA1295‌  ‌

Kelas‌ :‌‌IF19S‌  ‌

  ‌ ‌

UAS‌‌Visi‌‌Komputer‌  ‌

1.‌‌ D
‌ ata‌‌augmentation‌‌adalah‌‌teknik‌‌pembuatan‌‌data‌‌baru‌‌dengan‌‌  
memanfaatkan‌‌data‌‌yang‌‌ada.‌‌Salah‌‌satu‌‌penggunaan‌‌data‌‌augmentation‌‌  
pada‌‌data‌‌citra‌‌adalah‌‌melakukan‌‌flip‌‌atau‌‌random‌‌cropping‌‌atau‌‌rotasi‌‌pada‌‌
 
original‌‌citra.‌‌Data‌‌augmentation‌‌ini‌‌akan‌‌mengurangi‌‌overfitting‌‌karena‌‌hasil‌‌
 
dari‌‌data‌‌augmentation‌‌ini‌‌biasanya‌‌noisy,‌‌menyebabkan‌‌model‌‌kita‌‌tidak‌‌  
condong‌‌terhadap‌‌data‌‌yang‌‌terlalu‌‌ideal.‌  ‌

 ‌

2.‌‌ I‌ stilah‌‌dalam‌‌Deep‌‌Learning‌‌CNN.‌  ‌

a)‌‌ N
‌ euron‌  ‌

Dalam‌‌artificial‌‌neural‌‌network,‌‌neuron‌‌adalah‌‌fungsi‌‌matematika‌‌( ‌‌
mathematical‌‌function‌‌)‌‌yang‌‌memodelkan‌‌fungsi‌‌dari‌‌Biologic‌‌Neuron.‌‌  
Biasanya,‌‌neuron‌‌menghitung‌‌rata-rata‌‌inputnya,‌‌dan‌‌jumlah‌‌hitunganya‌‌  
melewati‌‌fungsi‌‌non‌‌linier,‌‌sehingga‌‌sering‌‌disebut‌‌fungsi‌‌aktivasi.‌  ‌

Output‌‌dari‌‌neuron‌‌kemudian‌‌dapat‌‌dikirim‌‌sebagai‌‌input‌‌ke‌‌neuron‌‌dari‌‌
 
layer‌‌lain,‌‌yang‌‌dapat‌‌mengulangi‌‌perhitungan‌‌yang‌‌sama‌‌(jumlah‌‌input‌‌dan‌‌
 
transformasi‌‌dengan‌‌fungsi‌‌aktivasi).‌  ‌
  ‌

b)‌‌ C
‌ onvolution‌‌Layer‌  ‌

Convolutional‌‌layer‌‌terdiri‌‌dari‌‌neuron‌‌yang‌‌tersusun‌‌sedemikian‌‌rupa‌‌  
sehingga‌‌membentuk‌‌sebuah‌‌filter‌‌dengan‌‌panjang‌‌dan‌‌tinggi‌‌(pixel).‌‌  
Sebagai‌‌contoh‌‌,‌‌layer‌‌pertama‌‌pada‌‌feature‌‌extraction‌‌layer‌‌adalah‌‌conv.‌‌  
layer‌‌dengan‌‌ukuran‌‌5x5x3.‌‌Panjang‌‌5‌‌pixel,‌‌tinggi‌‌5‌‌pixel,‌‌dan‌‌tebal/jumlah‌‌
 
3‌‌buah‌‌sesuai‌‌dengan‌‌channel‌‌dari‌‌gambar‌‌tersebut.‌  ‌

 ‌

c)‌‌ S
‌ tride‌  ‌

Stride‌‌adalah‌‌parameter‌‌yang‌‌menentukan‌‌berapa‌‌jumlah‌‌pergeseran‌‌filter.‌‌  
Jika‌‌nilai‌‌stride‌‌adalah‌‌1,‌‌maka‌‌conv.‌‌filter‌‌akan‌‌bergeser‌‌sebanyak‌‌1‌‌pixel‌‌
 
secara‌‌horizontal‌‌lalu‌‌vertical.‌‌Pada‌‌ilustrasi‌‌diatas,‌‌stride‌‌yang‌‌digunakan‌‌ 
adalah‌‌2.‌  ‌
  ‌

d)‌‌ D
‌ ense‌‌Layer‌  ‌

Dalam‌‌setiap‌‌neural‌‌network,‌‌dense‌‌layer‌‌adalah‌‌lapisan‌‌yang‌‌terhubung‌‌  
erat‌‌dengan‌‌lapisan‌‌(‌‌layer‌‌)‌‌sebelumnya‌‌yang‌‌berarti‌‌layer‌‌neuron‌‌
 
terhubung‌‌ke‌‌setiap‌‌neuron‌‌dari‌‌lapisan‌‌sebelumnya.‌‌Lapisan‌‌ini‌‌adalah‌‌
 
lapisan‌‌yang‌‌paling‌‌umum‌‌digunakan‌‌dalam‌‌artificial‌‌neural‌‌network.‌  ‌

 ‌

e)‌‌ P
‌ ooling‌‌Layer‌  ‌
 Polling‌‌layer‌‌biasanya‌‌berada‌‌setelah‌‌conv.‌‌layer.‌‌Pada‌‌prinsipnya‌‌pooling‌‌  
layer‌‌terdiri‌‌dari‌‌sebuah‌‌filter‌‌dengan‌‌ukuran‌‌dan‌‌stride‌‌tertentu‌‌yang‌‌
 
bergeser‌‌pada‌‌seluruh‌‌area‌‌feature‌‌map.‌‌Pooling‌‌yang‌‌biasa‌‌digunakan‌‌  
adalah‌‌Max‌‌Pooling‌‌dan‌‌Average‌‌Pooling.‌‌Tujuan‌‌dari‌‌penggunaan‌‌pooling‌‌  
layer‌‌adalah‌‌mengurangi‌‌dimensi‌‌dari‌‌feature‌‌map‌‌(downsampling),‌‌  
sehingga‌‌mempercepat‌‌komputasi‌‌karena‌‌parameter‌‌yang‌‌harus‌‌di‌‌update‌‌  
semakin‌‌sedikit‌‌dan‌‌mengatasi‌‌overfitting.‌  ‌

 ‌

3.‌‌ F
‌ ungsi‌‌aktivasi‌  ‌

a)‌‌ S
‌ igmoid‌  ‌

Sigmoid‌‌akan‌‌mengubah‌‌nilai‌‌z‌‌kita‌‌menjadi‌‌non-linear‌‌dan‌‌bernilai‌‌dari‌‌nol‌‌
 
sampai‌‌satu.‌‌Ciri-ciri:‌  ‌

1.‌‌ S
‌ igmoid‌‌mematikan‌‌gradient,‌‌property‌‌yang‌‌paling‌‌tidak‌‌  
diinginkan‌‌dari‌‌Sigmoid‌‌adalah‌‌ketika‌‌activation‌‌dari‌‌neuron‌‌  
mengeluarkan‌‌nilai‌‌yang‌‌berada‌‌pada‌‌ekor‌‌0‌‌atau‌‌1,‌‌dimana‌‌  
gradient‌‌di‌‌wilayah‌‌ini‌‌hampir‌‌nol.‌‌Karena‌‌itu,‌‌jika‌‌gradient‌‌
 
memiliki‌‌nilai‌‌yang‌‌sangat‌‌kecil,‌‌Sigmoid‌‌akan‌‌“mematikan”‌‌  
gradient‌‌dan‌‌kita‌‌sangat‌‌tidak‌‌menginginkan‌‌hal‌‌ini‌‌terjadi‌‌saat‌‌  
melakukan‌‌backpropagation.‌  ‌

2.‌‌ O
‌ utput‌‌dari‌‌Sigmoid‌‌tidak‌‌zero-centered.‌‌Hal‌‌ini‌‌berimplikasi‌‌  
pada‌‌kedinamisan‌‌saat‌‌melakukan‌‌gradient‌‌descent,‌‌karna‌‌  
apabila‌‌data‌‌yang‌‌datang‌‌ke‌‌neuron‌‌selalu‌‌positif‌‌(e.g.‌‌x‌‌>‌‌0 ‌‌
elementwise‌‌pada‌‌f‌‌=‌‌w^Tx+b))‌‌maka‌‌gradient‌‌pada‌‌weights‌‌  
selama‌‌backpropagation‌‌akan‌‌menjadi‌‌semua‌‌positif‌‌atau‌‌semua‌‌  
negatif.‌‌Hal‌‌seperti‌‌ini‌‌dapat‌‌mengganggu‌‌proses‌‌training,‌‌tetapi‌‌  
hal‌‌ini‌‌tidak‌‌separah‌‌seperti‌‌hal‌‌yang‌‌ada‌‌pada‌‌point‌‌
 
pertama(mematikan‌‌gradient).‌  ‌

 ‌
b)‌‌ T
‌ anh‌  ‌

Tanh‌‌akan‌‌mengubah‌‌nilai‌‌input‌‌x‌‌nya‌‌menjadi‌‌sebuah‌‌nilai‌‌yang‌‌memiliki‌‌
 
range‌‌mulai‌‌dari‌‌-1‌‌sampai‌‌1.‌‌Ciri-ciri:‌  ‌

1.‌‌ S
‌ ama‌‌seperti‌‌Sigmoid,‌‌Tanh‌‌memiliki‌‌kekurangan‌‌yaitu‌‌bisa‌‌
 
mematikan‌‌gradient.‌  ‌

2.‌‌ k‌ elebihannya‌‌adalah‌‌output‌‌yang‌‌dimiliki‌‌Tanh‌‌merupakan‌‌
 
zero-centered‌  ‌

c)‌‌ R
‌ eLU‌  ‌

ReLU‌‌pada‌‌intinya‌‌hanya‌‌membuat‌‌pembatas‌‌pada‌‌bilangan‌‌nol,‌‌artinya‌‌  
apabila‌‌x‌‌≤‌‌0‌‌maka‌‌x‌‌=‌‌0‌‌dan‌‌apabila‌‌x‌‌>‌‌0‌‌maka‌‌x‌‌=‌‌x.‌‌Ciri-ciri:‌  ‌

1.‌‌ R
‌ eLU‌‌sangat‌‌mempercepat‌‌proses‌‌konvergensi‌‌yang‌‌dilakukan‌‌  
dengan‌‌stochastic‌‌gradient‌‌descent‌‌jika‌‌dibandingkan‌‌dengan‌‌
 
sigmoid‌‌/‌‌tanh.‌  ‌

2.‌‌ J‌ ika‌‌kita‌‌bandingkan‌‌dengan‌‌sigmoid/tanh‌‌yang‌‌memiliki‌‌
 
operasi-operasi‌‌yang‌‌“expensive”‌‌(exponentials,‌‌etc.),‌‌ReLU‌‌bisa‌‌
 
kita‌‌implementasikan‌‌hanya‌‌dengan‌‌membuat‌‌  
pembatas(threshold)‌‌pada‌‌bilangan‌‌nol.‌  ‌

3.‌‌ S
‌ ayangnya,‌‌unit‌‌ReLU‌‌bisa‌‌menjadi‌‌rapuh‌‌pada‌‌saat‌‌proses‌‌  
training‌‌dan‌‌bisa‌‌membuat‌‌unit‌‌tersebut‌‌“mati”.‌‌Sebagai‌‌  
contohnya,‌‌kita‌‌mungkin‌‌bisa‌‌menemukan‌‌bahwa‌‌40%‌‌dari‌‌  
network‌‌kita‌‌“mati”‌‌(neuron‌‌yang‌‌tidak‌‌akan‌‌pernah‌‌aktif‌‌selama‌‌  
proses‌‌training)‌‌apabila‌‌learning‌‌rate‌‌yang‌‌kita‌‌inisialisasi‌‌terlalu‌‌
 
tinggi.‌‌Namun‌‌apabila‌‌kita‌‌menginisialisasi‌‌learning‌‌rate‌‌kita‌‌  
secara‌‌tepat‌‌maka‌‌hal‌‌seperti‌‌ini‌‌jarang‌‌menjadi‌‌masalah.‌  ‌

d)‌‌ L
‌ eaky‌‌ReLU‌  ‌

Gradien‌‌untuk‌‌masukan‌‌negatif‌‌tidak‌‌akan‌‌mati‌‌dibandingkan‌‌dengan‌‌ULT‌‌& ‌‌
tidak‌‌konsisten‌‌dengan‌‌masukan‌‌negatif.‌  ‌

e)‌‌ M
‌ axout‌  ‌

Aktivasi‌‌Maxout‌‌adalah‌‌generalisasi‌‌dari‌‌ULT‌‌dan‌‌fungsi‌‌Leaky‌‌ULT.‌‌Maxout‌‌
 
dapat‌‌dilihat‌‌sebagai‌‌menambahkan‌‌lapisan‌‌fungsi‌‌aktivasi‌‌ke‌‌jaringan‌‌
 
pembelajaran‌‌dalam,‌‌yang‌‌berisi‌‌parameter‌‌k.‌  ‌

f)‌‌ E
‌ LU‌  ‌
 ELU‌‌juga‌‌diusulkan‌‌untuk‌‌memecahkan‌‌masalah‌‌ULT.‌‌Jelas,‌‌ELU‌‌memiliki‌‌
 
semua‌‌keunggulan‌‌ReLU.‌‌Ciri-ciri:‌  ‌

1.‌‌ T
‌ idak‌‌ada‌‌masalah‌‌Dead‌‌ReLU.‌  ‌

2.‌‌ D
‌ alam‌‌kasus‌‌data‌‌negatif,‌‌itu‌‌terhitung‌‌mahal.‌  ‌

4.‌‌ L
‌ INK‌‌: ‌ ‌

https://colab.research.google.com/drive/1_1AYdwnGsW-Ebt3QReqvgk8Y4sChK‌
89Y?usp=sharing‌  ‌

 ‌