UJIAN AKHIR SEMESTER

VISI KOMPUTER

Oleh :

DANIA DWI SAFITRI

G1A020030

Dosen Pengampu :

1. Arie Vatresia, S.T., M.T.I.,Ph.D.

2. Ferzha Putra Utama, S.T., M.Eng.

PROGRAM STUDI INFORMATIKA

FAKULTAS TEKNIK

UNIVERSITAS BENGKULU

2023
Question 1
Let us assume that we use the nearest-neighbor (NN) algorith for classification of d-dimensional
vectors into one of labels {1, . . . ,L}, together with the Euclidean distance metric and a set of
labeled training data points xn ∈ R d , n ∈ {1, . . . , N}. The training data points create a
segmentation of the R d space into N so-called Voronoi cells: For each n ∈ {1, . . . , N}, the
Voronoi cell Vn ⊂ R d is the subset of R d such that any point y ∈ Vn has training point xn as its
nearest neighbor, and thus y is classified as having the same label as xn. We can “color” each
such cell by the label of the training point xn it is associated with. Figure 1 shows two Voronoi
segmentation examples, for the cases d = 2, 3 and L = 2. Prove that all Voronoi cells are convex:
this means that, if y and z belong to the same Voronoi cell, y, z ∈ Vn, then so does any point on
the linear segment connecting y and z. In mathematical terms, for all y, z ∈ Vn, it holds that αy
+(1−α)z ∈ Vn for all 0 ≤ α ≤ 1. Hint: It will be helpful to consider the case of two dimensions (d
= 2) and two training data points (N = 2). Under these assumptions, the problem should reduce to
a simple Euclidean geometry exercise. Once you have worked out this case, you can generalize
to the case of two dimensions (d = 2) and multiple data points (N ≥ 2). Finally, you can extend
this to the full case of any number of dimensions (d ≥ 2) and multiple data points (N ≥ 2)

Jawab:
Asumsi, membuktikan bahwa :

d = 2 dimensi

N = 2 data poin

Misalkan terdapat dua titik data, x1 dan x2, dalam bidang dengan sel Voronoi masing-masing
V1 dan V2. Hipotesisnya adalah bahwa titik y dan z berada dalam sel Voronoi yang sama, yaitu
V1 atau V2. Berdasarkan definisi sel Voronoi, dapat disimpulkan bahwa y dan z adalah titik
terdekat dari x1 atau x2. Oleh karena itu, jarak dari y ke x1 atau x2 harus lebih kecil atau
setidaknya sama dengan jarak dari z ke x1 atau x2. Dengan menggunakan teorema segitiga,
dapat dirumuskan persamaan sebagai berikut :
 d(y, x1) + d(x1, x2) ≤ d(y, x2) + d(z, x2)
d(z, x1) + d(x1, x2) ≤ d(z, x2)
(y - x1) ⋅ (y - x2) ≤ (z - x1) ⋅ (z - x2)
Eliminasi d(x1, x2) dari kedua persamaan ini dengan menambahkannya :

d(y, x1) + d(z, x1) ≤ d(y, x2) + d(z, x2)

d(y, x1) - d(y, x2) ≤ d(z, x2) - d(z, x1)
(y - x1) ⋅ (y - x2) ≤ (z - x1) ⋅ (z - x2)
Ini berlaku untuk setiap pasangan titik y dan z yang terdapat dalam sel Voronoi yang sama,
karena vektor (y - x1) dan (z - x1) selalu memiliki arah yang sejajar. Sebagai hasilnya, dapat
disimpulkan bahwa semua sel Voronoi memiliki sifat konveks.

a. Pembuktian untuk N ≥ 2 data poin

Untuk N ≥ 2 data poin menggunakan analogi. Perhatikan bahwa batas antara dua sel Voronoi
merupakan perpotongan dua garis bisector tegak lurus yang menghubungkan dua data poin. Titik
pada perpotongan kedua garis bisector tegak lurus tersebut memiliki jarak yang sama ke kedua
data poin. Oleh karena itu, titik pada perpotongan dua garis bisector tegak lurus pasti terletak di
dalam kedua sel Voronoi. Sehingga, dapat disimpulkan bahwa semua sel Voronoi bersifat
konveks untuk N ≥ 2 data poin.

b. Pembuktian untuk d ≥ 2 dimensi

Untuk N ≥ 2 data poin menggunakan analogi dengan menggunakan hyperplane sebagai

pengganti garis bisector tegak lurus. Hyperplane adalah permukaan yang membagi ruang secara
equidistant dari dua atau lebih titik. Titik pada hyperplane pasti berada di dalam sel Voronoi yang
dibentuk oleh hyperplane tersebut. Oleh karena itu, semua Voronoi sel adalah konveks untuk d ≥
2 dimensi.

Dengan menggambarkan secara visual dan menerapkan teorema segitiga, kita dapat
menyajikan bukti bahwa setiap sel Voronoi memiliki sifat konveks. Artinya, setiap titik yang
terletak pada segmen garis yang menghubungkan dua titik dalam sel Voronoi yang sama juga
pasti berada dalam sel Voronoi tersebut. Teorema segitiga, yang merupakan dasar dalam
geometri menyatakan bahwa total panjang dua sisi segitiga harus selalu lebih besar dari panjang
sisi ketiganya. Sifat-sifat dari perpotongan garis bisector tegak lurus atau hyperplane
menunjukkan bahwa titik yang berada pada perpotongan tersebut pasti terletak di dalam kedua
sel Voronoi yang bersangkutan. Dengan memanfaatkan teorema segitiga dan sifat-sifat
perpotongan garis bisector tegak lurus atau hyperplane ini, dapat disimpulkan bahwa setiap sel
Voronoi bersifat konveks.
Question 2
1. Prove that if we have a linear activation function, then the number of hidden layers has no
effect on the actual network.
Jawab :
Asumsikan sebuah jaringan saraf dengan fungsi aktivasi linier, misalnya, f(x) = ax, di mana a
adalah konstanta yang mempengaruhi aktivasi. Output dari satu lapisan tersembunyi dengan
fungsi ini dapat dinyatakan sebagai :

Y=WX

Dengan :

W adalah matriks bobot

X adalah inputnya.

Jika kita menambahkan lapisan tersembunyi tambahan, outputnya menjadi

Z = W Y = W (W X)

Proses ini dapat dilanjutkan untuk sejumlah lapisan berapapun, dan menyusunnya menjadi

Y Final= W n X

Nilai n mewakili jumlah lapisan tersembunyi, hasil akhir dari jaringan dengan n lapisan
tersembunyi dapat dijelaskan sebagai W^n X. Di sini, W^n dapat dianggap sebagai matriks bobot
tunggal yang setara dengan seluruh jaringan, dan ekspresi W^n X dapat disederhanakan menjadi
W_Final X, dengan W_Final sebagai matriks bobot setelah melalui semua lapisan tersembunyi.

W Final=¿ W n

Beberapa lapisan linier dapat digabungkan menjadi satu lapisan setara, sehingga tidak perlu
menambahkan lapisan tersembunyi tambahan. Ini berarti bahwa dalam konteks fungsi aktivasi
linier, jumlah lapisan tersembunyi tidak memberikan peningkatan ekspresifitas atau daya
representasi jaringan. Jadi, secara efektif, jumlah lapisan tersembunyi tidak berpengaruh pada
kemampuan jaringan untuk memodelkan hubungan yang lebih kompleks.

2. A common activation function is the sigmoid function σ(x) = ¿) Derive the gradient of the
sigmoid function with respect to x, and show that it can be written as a function of σ(x) itself that
is, if we know the value of the sigmoid, we can also compute its gradient without having access
to x directly. Hint: We (very) briefly saw the gradient of the sigmoid function in class.

Jawab :
Fungsi sigmoid yang diberikan adalah σ(x) = 1 / (1 + e^(-x)). Untuk menurunkan
gradiennya, dimulai dengan mencari turunan dari σ(x) terhadap x:

- Fungsi sigmoidnya adalah

d d
σ ( x )= ¿ )
dx dx
Dengan menerapkan aturan hasil bagi dan menyederhanakannya
−x
d e
σ ( x )=¿ −x 2
dx (1+e )
- Kemudian, menyatakan turunan ini dalam bentuk σ ( x ) dengan membagi setiap suku e− x :
d
σ ( x )=σ ( x ) . ¿)
dx
1
- Maka, ( −x ) adalah σ(x). Jadi, kita dapat menyatakan gradien sebagai fungsi dari σ(x):
1+ e

d
σ ( x )= σ ( x )(1- σ ( x ) )
dx

Turunan dari fungsi sigmoid σ'(x) dapat dihitung dengan menggunakan nilai σ(x) itu sendiri.
Keuntungannya terletak pada fakta bahwa dalam implementasi praktis, ketika menjalankan
proses pembelajaran (backpropagation) pada jaringan saraf, seringkali lebih mudah mengakses
nilai output sigmoid daripada nilai aktual x. Hal ini mempermudah perhitungan gradien selama
pelatihan model.
3. How does the gradient of the sigmoid activation function behaves as the absolute value of x
increases? Can you think of any problems this behavior may create for the gradient descent
algorithm, when the sigmoid is used as the activation function for many layers?

Jawab :
Kenaikan gradien sigmoid dengan |x| merujuk pada kenyataan bahwa saat nilai absolut x
meningkat, fungsi sigmoid σ(x) cenderung mendekati nilai 0 atau 1. Saat menghitung gradien
sigmoid σ(x)(1 - σ(x)), hal ini dapat diinterpretasikan sebagai hasil perkalian dari nilai-nilai yang
mendekati 0 atau 1.

a. Jika x sangat besar (positif atau negatif), e− x, akan mendekati 0, dan σ(x) akan mendekati 1.
Oleh karena itu, σ’(x)(akan mendekati 0.
b. Jika x sangat kecil (positif atau negatif), e− x, akan mendekati ∞ , dan σ(x) akan mendekati 0.
Oleh karena itu, σ’(x)(akan mendekati 0.

Dengan kata lain, ketika nilai absolut x meningkat, gradien sigmoid menjadi sangat kecil,
yang mengakibatkan masalah gradien menghilang (vanishing gradient problem) ketika
digunakan dalam jaringan saraf dengan banyak lapisan. Kendala ini dapat berdampak pada
algoritma penurunan gradien (gradient descent) yang digunakan untuk melatih jaringan saraf
dengan banyak lapisan yang memanfaatkan sigmoid sebagai fungsi aktivasi. Gradien yang sangat
kecil dapat menghambat proses pembelajaran karena perubahan kecil dalam bobot tidak
memberikan kontribusi yang signifikan terhadap peningkatan kinerja jaringan. Oleh karena itu,
dalam situasi seperti ini, alternatif seperti ReLU (Rectified Linear Unit) atau variasi-variasi
ReLU mungkin menjadi pilihan yang lebih baik, karena mereka tidak mengalami masalah
gradien menghilang sebagaimana yang dialami oleh fungsi sigmoid.

4. Often, the sigmoid function is replaced with the hyperbolic tangent function, tanh(x) =
(−2 x)
(1−e )
(−2 x) . Show that this function and its gradient can be written in terms of σ(x).
(1+ e )

Jawab :
 Secara umum, fungsi sigmoid (σ) dan fungsi tangen hiperbolik (tanh) sering digunakan
dalam jaringan saraf. Terdapat hubungan matematis antara keduanya. Berikut fungsi tangen
hiperbolik dalam bentuk fungsi sigmoid.

Fungsi tangen hiperbolik (tanh) dapat diwakili sebagai berikut:

tanh(x) = ( 1 - e (−2 x)) / ( 1 + e (−2 x))

Kemudian, menyatakan tanh(x) dalam bentuk fungsi sigmoid (σ(x)).

❑
tanh(x) = 2σ(2x) – 1/ ( 1 + σ (2 x ) )

Selanjutnya, hitung gradien dari tanh(x) terhadap x.

tanh'(x) = 1 - tanh 2(x)

= 1 - (2 σ ( 2 x )−1)2

5. What are the output ranges of the sigmoid and the hyperbolic tangent functions? When would
we prefer to use each of these functions?

Jawab :

Pemilihan kedua fungsi ini dapat dipengaruhi oleh karakteristik masalah dan preferensi
empiris selama eksperimen. Sigmoid dan Tanh adalah dua fungsi aktivasi yang umum
digunakan, terutama dalam konteks jaringan saraf.
a. Fungsi Sigmoid (Rentang Keluaran (0, 1))
Fungsi Sigmoid memetakan nilai input ke rentang keluaran antara 0 dan 1. Karena rentang
keluaran yang terbatas, sigmoid sering digunakan di output lapisan jaringan saraf untuk tugas
klasifikasi biner, seperti dalam prediksi apakah gambar adalah kucing atau bukan. Output yang
mendekati 0 menunjukkan keputusan kelas satu, sementara output yang mendekati 1
menunjukkan keputusan kelas lainnya.
b. Fungsi Tangen Hiperbolik (Tanh) (Rentang Keluaran (-1, 1))
Fungsi Tanh memiliki rentang keluaran dari -1 hingga 1. Ini membuat fungsi tanh berbeda dari
sigmoid yang hanya memiliki rentang keluaran antara 0 dan 1. Rentang yang mencakup nilai
negatif dan positif membuat Tanh dapat menangani lebih baik variasi data dan informasi yang
berada di kedua arah. Salah satu keunggulan Tanh, terutama dalam lapisan tersembunyi jaringan
saraf, adalah bahwa keluarannya terpusat di sekitar nilai nol. Hal ini membantu mengatasi
masalah gradien hilang dan mempercepat konvergensi selama pelatihan, karena sinyal yang
dikirimkan ke lapisan sebelumnya dan selanjutnya tidak terlalu condong ke arah ekstrem (seperti
pada sigmoid).