Data

Mining
Background
Generative
Adversarial
Networks
Generative Adversarial Network (GANs) terdiri dari
generator G dan sebuah diskriminator D yang bersaing
dalam game 2 player

diskriminator mencoba untuk membedakan data

pelatihan riil dari gambar sedangkan generator
mencoba mengelabui diskriminator

min ❑max 𝑉 ( 𝐷 , 𝐺)= 𝐸 𝑥 𝑝 𝑑𝑎𝑡𝑎( 𝑥) [ log 𝐷( 𝑥 )]+ 𝐸 𝑥 𝑝𝑧 ( 𝑧 ) [ log ( 1− 𝐷 ( 𝐺 ( 𝑧 ) ) )]

𝐺 𝐷
Deep Symetric
Structured Joint Embedding
Untuk mendapatkan representasi vektor visual-diskriminatif dari deskripsi teks, digunakan deep convolutional and recurrent text
encoders yang mempelajari fungsi korespondensi dengan gambar. Pengklasifikasi teks yang diinduksi oleh korespondensi fungsi
dilatih dengan mengoptimalkan kerugian terstruktur melalui persamaan berikut:

𝑁
1
𝑁
∑ ∆ ( 𝑦𝑛 , 𝑓 𝑣 ( 𝑣 𝑛 ) )+ ∆ ¿
𝑛 =1

Dimana merupakan training dataset, adalah 0-1 probabilitas dari loss, merupakan gambar, deskripsi teks, dan class labels.
Classifier dari dan diparameterkan sebagai berikut:

Dimana merupakan encoder dari gambar, merupakan encoder text, ) merupakan set deskripsi teks dari kelas y dan berlaku )
untuk gambar.

Maksudnya di sini adalah bahwa pengkodean teks harus memiliki kompatibilitas yang lebih tinggi dengan gambar dari kelas
yang sesuai dibandingkan dengan kelas lain dan sebaliknya.