Machine Translated by Google

Pengenalan Pola 119 (2021) 108085

Daftar konten tersedia di ScienceDirect

Pengenalan Pola
beranda jurnal: www.elsevier.com/locate/patcog

Fitur pembelajaran dari matriks kovarian wavelet gabor untuk wajah

pengakuan dalam kondisi yang merugikan
B
Chaorong Li a,ÿ , Yuanyuan Huang , Wei Huangc , Fengqing Qina,ÿ
A
Departemen Ilmu Komputer dan Teknik Informasi, Yibin University, Yibin 644000, China
B
Departemen Teknik Dunia Maya, Universitas Teknologi Informasi Chengdu, Chengdu, 610225, Tiongkok c Universitas
Sains dan Teknologi Elektronik Tiongkok, Chengdu, 611731, Tiongkok

artikel info abstrak

Riwayat artikel: Pengenalan wajah dalam kondisi buruk, seperti resolusi rendah, pencahayaan sulit, buram, dan noise
Diterima 26 September 2020 tetap merupakan tugas yang menantang. Di antara metode pengenalan wajah yang ada, Gabor wavelet memainkan peran yang signifikan
Revisi 28 Mei 2021
peran dan memiliki kinerja yang kuat dalam kondisi buruk karena memodelkan korteks visual otak mam malian. Telah dibuktikan bahwa
Diterima 29 Mei 2021
subband dari Gabor Wavelet (GW) dapat secara efisien direpresentasikan oleh matriks kovarians. Namun, karena matriks kovarian
Tersedia online 4 Juni 2021
bukan milik ruang Euclidean,
Kata kunci: Ukuran berbasis Euclidean seperti 2-norma tidak dapat langsung diterapkan pada matriks kovarians, dan lebih penting lagi, sulit untuk
Pengenalan wajah menggabungkan teknik pembelajaran untuk matriks kovarians untuk mempromosikan kinerja pengenalan wajah. Untuk mengatasi
Gelombang Gabor masalah ini, kami mengusulkan dua metode yang menjanjikan dengan mempelajari
Matriks kovarians
Matriks Kovarian Gabor Wavelet (LCMoG). Metode pertama, disebut LCMoG-CNN, menggunakan Con volutional Neural Network (CNN)
Jaringan saraf konvolusional
dangkal untuk memproyeksikan matriks kovarian GW ke dalam vektor fitur ruang clidean Eu; metode kedua, disebut LCMoG-LWPZ,
menggunakan matriks-logaritma untuk menyematkan kovarians
matriks dalam ruang linier dan kemudian menggunakan Analisis Komponen Utama Pemutih (WPCA) untuk mempelajarinya
fitur wajah dari matriks kovarian tertanam. Metode yang diusulkan efektif untuk mengekstraksi
fitur halus dari gambar wajah dan memiliki kinerja yang lebih baik daripada Deep CNN (DCNN) untuk variasi kecil
pose wajah. Untuk pose wajah yang sangat bervariasi, fitur LCMoG yang digabungkan dengan fitur DCNN dapat ditingkatkan
kinerja pengenalan wajah. Dalam percobaan, metode yang diusulkan menghasilkan pengakuan & akurasi verifikasi yang menjanjikan
dalam kondisi buruk.

© 2021 Elsevier Ltd. Semua hak dilindungi undang-undang.

1. Perkenalan
Teknik pengenalan wajah telah dipelajari secara intensif
bertahun-tahun. Berbagai pose, iluminasi yang tidak merata, dan kebisingan di dalam
gambar masih menjadi kendala utama yang sangat melemahkan kinerja metode.
Bahkan dengan model canggih dan
algoritma, ketangguhan pengenalan wajah belum terlalu memuaskan di bawah
lingkungan yang kompleks. Oleh karena itu, mengembangkan yang kuat
metode pengenalan wajah dalam kondisi buruk adalah masalah terbuka.
Dalam aplikasi nyata, hanya layak jika pengenalan wajah
Metode ini kuat di bawah berbagai kondisi buruk. Sebagai deskriptor kerajinan
tangan klasik, Gabor wavelet (GW) memiliki kinerja yang kuat dalam kondisi buruk
karena memodelkan korteks visual.
dari otak mamalia. Kita tahu bahwa sejumlah besar sub-band GW akan dihasilkan
saat GW digunakan untuk memfilter gambar, dan
cara mengekstrak fitur diskriminatif dari berbagai sub-
ÿ Penulis yang sesuai.
Alamat email: lichaorong88@163.com (C.Li), qinfq@yibinu.edu.cn (F.Qin).
band adalah masalah rumit. Selain itu, matriks kovarians milik
ke manifold Riemannian, kesamaan antara dua kovarians
matriks tidak dapat dihitung dengan menggunakan jarak Euclidean dan itu
juga sulit untuk mengintegrasikan fungsi pembelajaran dalam ruang Euclidean
untuk meningkatkan kinerja.
Matriks kovarian terkait dengan probabilitas multivariat
model. Beberapa metode yang menggunakan matriks kovarians untuk representasi
gambar telah melaporkan hasil yang menjanjikan: Pada [1], Tuzel
et al. memetakan setiap piksel ke vektor fitur 5 dimensi termasuk
intensitas citra, norma turunan orde pertama dan kedua
intensitas, dan menggunakan matriks kovarians untuk memodelkan fitur ini. Yanwei
dkk. [2] mengusulkan metode yang menggunakan matriks kovarians regional
berbasis Gabor sebagai deskriptor wajah; keduanya
lokasi piksel dan koefisien Gabor digunakan untuk membentuk
matriks kovarians. Di bidang pembelajaran mesin, model Gaussian
[3] dan Model Campuran Gaussian (GMM) [4] adalah yang paling umum
model berbasis kovarians, dan mereka sering diterapkan pada representasi dan
pengenalan gambar. Masalah mendasar dalam menggunakan model probabilitas
untuk pengenalan citra adalah mengukur dis

https://doi.org/10.1016/j.patcog.2021.108085
0031-3203/© 2021 Elsevier Ltd. Semua hak dilindungi undang-undang.
Machine Translated by Google
C. Li, Y. Huang, W. Huang dkk.
kesamaan antara dua model. Umumnya, Kullback-Leibler Diver gence (KLD)
adalah ukuran ketidaksamaan yang lebih disukai antar model. Keterbatasan utama
model probabilitas dengan KLD adalah mahalnya biaya komputasi perbedaan
antara dua model,
dan yang terburuk, beberapa model probabilitas seperti GMM tidak memilikinya
KLD bentuk tertutup.
Karena matriks kovarians milik manifold Riemannian, jarak Eu clidean tidak
dapat langsung digunakan. Oleh karena itu, Tuzel et al.
[1] diusulkan menggunakan jarak Riemannian berbasis nilai eigen sebagai
ukuran matriks kovarians. Diberikan dua matriks kovarians C1
dan C2, jarak Riemannian didefinisikan sebagai:
D
RD(C1,C2) = lnÿ2 (C1,C2),
Saya
saya=1
di mana ÿi(C1,C2)i=1,···,d adalah nilai eigen umum dari C1 dan
C2. Perhitungan biaya jarak Riemannian dalam fitur
langkah pencocokan mahal karena kita harus menghabiskan banyak waktu
untuk menghitung nilai eigen umum dari C1 dan C2. Untuk
mengurangi biaya perhitungan, para peneliti telah mempelajari pendekatan embed
ding yang mengubah matriks kovarian menjadi ruang linier. Sebagai contoh, Log-
Euclidean distance (LED) [5] dikembangkan untuk menyisipkan matriks definit
positif simetris ke dalam ruang Euclidean klasik di mana menghitung perbedaan
dua
matriks hanya melibatkan pengurangan elemen, dilambangkan sebagai:
LED(C1,C2) = log(C1) ÿ log(C2)F ,
dimana log adalah operator logaritma matriks dan menunjukkan ma
·F
norma trix Frobenius.
Model statistik multivariat termasuk berbasis kovarians
model memiliki dua kelemahan. Pertama, karena operasi matriks yang rumit,
perhitungan ukuran dalam a
Ruang Riemannian memakan waktu dibandingkan dengan perhitungan dalam
ruang Euclidean. Kedua, sulit untuk resor
pendekatan pembelajaran yang efektif untuk meningkatkan kinerja.
Baru-baru ini, para peneliti mengusulkan beberapa pendekatan untuk mengatasi
kekurangan ini. Misalnya, Harandi et al. [6] memodelkan
manifold berdimensi tinggi menjadi manifold berdimensi rendah dengan
proyeksi ortogonal. Wang dkk. [7] menyajikan diskriminatif
kerangka berbasis pembelajaran representasi berorientasi kovarians untuk
berurusan dengan pengenalan wajah. Berbeda dengan cara yang disebutkan
di atas, kami merancang dua metode efisien dengan menggunakan CNN / WPCA
untuk mempelajari fitur wajah dari matriks kovarian GW. Kita
metode dapat secara efisien mengubah manifold Riemannian menjadi a
ruang linear dan sementara mengintegrasikan dengan fungsi pembelajaran
dari CNN/WPCA.
Dalam karya ini, kami mengusulkan dua pendekatan berbasis pembelajaran
mengubah matriks kovarian menjadi ruang linier dan menggunakannya
untuk pengenalan wajah. Berbeda dengan matriks berbasis kovarian lainnya
metode, metode kami membangun matriks kovarians di GW
domain dan menggabungkan fungsi pembelajaran Convolutional
Neural Network (CNN) atau Analisis Komponen Utama Pemutihan
(WPCA) untuk mendapatkan kinerja yang lebih kuat. Ada dua kontribusi dalam
karya ini:
• Kami mengusulkan LCMoG-CNN berdasarkan GW,matriks kovarians
dan CNN untuk ekstraksi fitur wajah. Transformasi LCMoG-CNN
gambar menjadi sejumlah matriks kovarians menyatu yang dibangun dari
fitur magnitudo dan sudut GW, dan
CNN digunakan untuk mempelajari fitur wajah. Dari sudut pandang
jaringan, matriks kovarians kombinasi dari GW
dan CNN dapat mengurangi jumlah level CNN, lalu
mencapai hasil yang menjanjikan bahkan dalam dataset kecil tanpa
data pelatihan luar. Lebih jauh lagi, karena CNN digunakan
untuk memproyeksikan matriks kovarian ke dalam ruang Euclidean
dan pencocokan fitur dilakukan dalam ruang Euclidean,
Pengenalan Pola 119 (2021) 108085
LCMoG-CNN jauh lebih cepat daripada metode berbasis matriks kovarian
lainnya.
• Kami mengusulkan metode lain yang efisien berbasis LCMoG-LWPZ
tentang GW dan Analisis Komponen Utama Pemutihan
(WPCA) untuk pengenalan wajah. Dalam LCMoG-LWPZ, kovarians
matriks GW tertanam ke dalam ruang Euclidean klasik oleh
menggunakan matriks-logaritma, dan WPCA diadopsi untuk mempelajari wajah
fitur dari matriks kovarians. LCMoG-LWPZ cukup
kompeten di bawah kondisi sampel tunggal per orang
(SSPP).
Sisa dari makalah ini disusun sebagai berikut: Pertama di
Bagian 2 kami memberikan pekerjaan terkait pengenalan wajah dalam kondisi
(1) sulit. Bagian 3 menjelaskan wavelet Gabor dan matriks kovarian dalam domain
GW. Bagian 4 menjelaskan implementasinya
dari LCMoG-CNN. Pada Bagian 5, kami menjelaskan metode yang diusulkan
LCMoG-LWPZ. Hasil percobaan disajikan pada Bagian 6 dan
berdasarkan percobaan kami menyajikan analisis komprehensif. Akhirnya,
kesimpulan ditarik dalam Bagian 7.
2. Pekerjaan terkait
Salah satu masalah khas yang dihadapi oleh metode pengenalan wajah adalah
bagaimana menangani berbagai pose dan ekspresi. Besar
sejumlah metode telah dikembangkan untuk mengatasi masalah ini.
Metode tersebut meliputi metode berbasis Gabor [8], metode berbasis LBP [9]),
(2)
Algoritma Pembelajaran Berakar Dalam [10] dan pembelajaran mendalam
model [11]. Masalah lainnya adalah pencahayaan yang tidak merata. Pendekatan
yang menangani masalah variasi iluminasi terbagi menjadi dua
kategori utama: metode pasif dan metode aktif. Aktif
metode bertujuan untuk mengatasi variasi iluminasi dengan mengadopsi teknik
pencitraan aktif (misalnya, inframerah termal) untuk mendapatkan gambar wajah
di bawah kondisi iluminasi yang konsisten. Metode pasif cenderung menghilangkan
efek iluminasi yang tidak merata dengan menyelidiki
gambar yang telah diubah oleh variasi iluminasi.
Dibandingkan dengan metode aktif, metode pasif seperti normalisasi iluminasi
lebih umum digunakan karena sifatnya
kompleksitas komputasi yang lebih rendah. Misalnya, Vishwakarma et al.
[12] menggunakan pengubah non-linier untuk normalisasi iluminasi adaptif;
Plichoski et al. [13] menggunakan pemerataan histogram pada wavelet
domain transformasi untuk mengimbangi efek iluminasi yang tidak merata.
Dalam pengawasan video, gambar wajah diambil dari video
biasanya beresolusi rendah (lebih rendah dari 32 × 32). Namun, atau model dinar
tidak selalu memberikan hasil yang memuaskan dari gambar wajah beresolusi
rendah dan noise. Ada dua skema dasar
untuk mengatasi masalah dengan resolusi rendah: (1) Menggunakan metode
rekonstruksi untuk mengembalikan citra wajah beresolusi rendah menjadi citra
beresolusi tinggi. Chen dkk. [14] mengusulkan kesadaran identitas
jaringan super-resolusi untuk memulihkan informasi identitas wajah beresolusi
rendah. (2) Merancang model pengenalan wajah secara langsung
untuk gambar beresolusi rendah. Shiming et al. [15] menggunakan distilasi
teknik mengubah model wajah kompleks yang dilatih sebelumnya pada wajah
beresolusi tinggi pribadi menjadi model yang ringan untuk wajah beresolusi rendah
pengakuan.
Buram gerakan sering muncul pada gambar yang diambil
kamera bergerak seperti kamera genggam atau kendaraan otomatis
kamera. Pada teknologi awal, deskriptor buatan tangan dirancang untuk mengurangi
dampak buram gerakan, tetapi efeknya tidak
sangat jelas. Sekarang, jaringan pembelajaran yang dalam adalah model dasar yang digunakan
selesaikan masalah ini. Songnan [16] mengusulkan metode berbasis CNN
yang melibatkan estimasi keburaman gerakan dan pemulihan gambar jernih laten.
Qin dkk. [17] menggunakan teknik pembelajaran kernel untuk
memulihkan gambar dari motion blur. Yun dkk. [18] menggunakan generatif
jaringan permusuhan untuk menghapus blur.
Single sample per person (SSPP) face recognition merupakan topik penelitian
pengenalan wajah yang menarik dan penting sejak kemunculannya
2
Machine Translated by Google
C. Li, Y. Huang, W. Huang dkk.
aplikasi potensial seperti identifikasi ID, pengawasan video
dan penegakan hukum. Banyak metode seperti deep convolution neural
jaringan (DCNN) menghasilkan kinerja yang baik dengan pelatihan yang memadai
set yang terdiri dari beberapa sampel per orang; Namun, ini
metode mungkin gagal bekerja dengan baik untuk masalah SSPP. Untuk menangani
tantangan SSPP, beberapa metode telah dimanfaatkan, seperti
pengkodean jarang multi-skala diskriminatif (DMSC) [19] dan metode berbasis
pembuat kode Autoen [20].
Gambar wajah yang dihasilkan dalam beberapa kondisi buruk (misalnya,
baik pose yang bervariasi maupun iluminasi yang bervariasi muncul dalam gambar
wajah) membawa tantangan besar pada metode pengenalan. Hingga saat ini, hanya
sedikit algoritme yang dapat menyelesaikan semua masalah ini dengan sempurna. Untuk
misalnya, teknik pembelajaran mendalam [21] dianggap sebagai jenis teknik
pengenalan wajah yang kuat dengan berbagai pose; Namun, itu
berjalan tidak baik di bawah pencahayaan ekstrim dan kondisi kebisingan Gaussian,
dan terlebih lagi, diperlukan banyak sampel wajah untuk melatihnya
jaringan yang dalam. Oleh karena itu, kami mengusulkan dua metode pengenalan
wajah berdasarkan matriks kovarian GW, dan menerapkannya
kombinasi kedua metode tersebut untuk menghasilkan fitur wajah yang lebih kuat
dalam berbagai kondisi yang merugikan.
3. Gabor wavelet dan matriks kovariansnya
Gabor wavelet (GW) merupakan jenis wavelet yang kompleks dan keluarannya
terdiri dari bagian real dan bagian imajiner. Karena GW mampu
untuk menghasilkan informasi diskriminatif pada arah yang berbeda dan
skala, itu banyak digunakan di bidang pengenalan pola seperti
pengenalan gambar. Jika suatu gambar difilter oleh GW, maka akan ada
L × D subbands (L menunjukkan jumlah skala dan D menunjukkan
jumlah arah). Secara khusus, subband GW dihasilkan
dengan menggabungkan kernel Gabor dengan citra I(x, y) sebagai berikut:
gl,d (z) = I(x, y) ÿ ÿl,d (x, y),
di mana z = (x, y). l = 1, ··· gl,d (z) , L, dan d = 1, ··· ,D. Unsur-unsur dari
adalah bilangan kompleks, dan besarnya Ml,d (z) dan sebuah gles Al,d (z) masing-
masing dapat dihitung dengan menggunakan bagian real
Rel,d (z) dan bagian imajiner Iml,d (z):
Ml,d (z) = Re2 (z) + Im2 (z),
aku, d aku, d
Al,d (z) = arctan(Rel,d (z)/ Iml,d (z)).
Sastra [22] telah menunjukkan bahwa dependensi ada
dalam domain GW. Sehingga cocok untuk membangun model statistik multivariat
pada domain GW. Dalam karya ini, matriks kovarians adalah
digunakan sebagai model untuk menangkap ketergantungan subband GW karena
merupakan model nonparametrik dan lebih efisien secara komputasi daripada model
parametrik. Jika koefisien dalam subband
dianggap sebagai pengamatan dari variabel acak Xk dimana
k = 1, ··· K, maka
, kita dapat dengan mudah merepresentasikan citra wajah dengan
menggunakan matriks kovarian Ci,j = COV (Xi, Xj) dimana COV adalah operator
kovarian dari dua variabel Xi dan Xj. Lebih khusus lagi, diberikan
dekomposisi skala -L dan arah-D dari GW, pertama, kami atur
magnitudo dan subband sudut ke dalam pengamatan berikut
matriks masing-masing:
Zm = [M00, M01, M02, ··· , ML×D],
Za = [A00, A01, A02 ··· , AL×D],
di mana Mij / Aij menunjukkan subband magnitudo / sudut vektor
dalam skala ke-i, arah ke-j. Ukuran Zm dan Za adalah N × K (di mana N
adalah jumlah koefisien dalam suatu subband; K = L × D menunjukkan
jumlah semua subband GW). Setiap kolom Zm atau Za adalah a
subband vektor dari GW mewakili pengamatan dari variabel, dan setiap baris adalah
vektor sampel dimensi-K, dilambangkan sebagai
Pengenalan Pola 119 (2021) 108085
{zi}i=1,···N. Menurut operator COV, matriks kovarians di GW
domain diberikan oleh:
N
1 T
C= (zi ÿ ÿ) (zi ÿ ÿ), (8)
N ÿ1
saya=1
1 N
di mana ÿ = i=1Nzi adalah rata-rata titik sampel. Ukuran dari
matriks kovarians C adalah K × K.
4. Mempelajari fitur matriks kovarian menggunakan CNN (LCMoG-CNN)
Pada bagian ini, kita mengembangkan statistik multivariat
model dengan membangun matriks kovarians dalam domain GW untuk
representasi gambar. Untuk meningkatkan kinerja, kami memadukannya
matriks kovarians subband magnitudo dan sudut GW
untuk pengenalan wajah (disebut matriks kovarians leburan). Seluruhnya
skema pembentukan matriks kovarians fusi dalam domain Gabor diilustrasikan pada
Gambar 1 di mana blok citra wajah pertama-tama didekomposisi oleh GW, dan
kemudian subband ini diorganisasikan ke dalam matriks observasi Zm dan Za.
Dengan menggunakan COV, dihasilkan dua matriks kovarians Cm dan Ca. Bagian
segitiga atas dari matriks covarians dari subband magnitudo digabungkan dengan
bagian segitiga bawah subbands sudut, dinyatakan sebagai:
CF = triu(Cm) + tril(Ca, ÿ1), (9)
di mana triu(Cm) menunjukkan operasi pemangkasan matriks gular trian atas Cm
termasuk diagonal utama; tril(Ca, ÿ1) menunjukkan
operasi memotong matriks segitiga bawah Ca di bawah
diagonal utama. Akhirnya, kami mencapai matriks kovarian CF yang menyatu
dengan Cm dan Ca.
Karena matriks kovarians yang menyatu menggabungkan keduanya
fitur magnitudo dan sudut, ini berisi lebih banyak fitur wajah dan
(3) juga menghasilkan kinerja yang lebih baik daripada ma trix kovarians besarnya atau
matriks kovarians sudut (lihat Gambar 12 dalam eksperimen
Bagian). Berbeda dengan metode berbasis matriks kovarian lainnya
yang menghitung perbedaan antara model di ruang nian Rieman, metode yang
diusulkan, disebut LCMoG-CNN, memproyeksikan
menggabungkan matriks kovarian ke dalam ruang Euclidean berdimensi rendah dengan
menggunakan CNN dan menggunakan pengklasifikasi linier untuk mengenali wajah. Gambar 2
(4)
menunjukkan kerangka LCMoG-CNN untuk pengenalan wajah. CNN
bahwa memproyeksikan matriks kovarians yang menyatu perlu dilatih sebelum dapat
(5) digunakan. Pada fase ekstraksi fitur LCMoG-CNN,
CNN terlatih digunakan untuk mengubah matriks kovarians yang menyatu menjadi
vektor. Gambar wajah pertama-tama dibagi menjadi M × M yang tidak tumpang tindih
blok, dan setiap blok digunakan sebagai input operasi FCOV ÿ ÿGW(·) , yaitu, blok
lokal akan dipetakan ke dalam kovariansi gabungan
matriks, dinyatakan sebagai:
CFi = FCOV ÿ ÿGW(Bi), di (10)
mana Bi adalah blok lokal ke-i, dan CFi menunjukkan fusi yang dipetakan
matriks kovarian adalah keluaran dari FCOV ÿ ÿGW(·) yang diterapkan pada Bi.
Kami memetakan blok satu per satu, dan blok lokal akan menjadi matriks lokal di
lokasi yang sesuai pada gambar. Akhirnya, a
citra wajah akan diubah menjadi matriks yang lebih besar (disebut fitur
matriks) yang terdiri dari sejumlah matriks lokal yang lebih kecil
CFi . Ukuran matriks fitur tergantung pada jumlah
(6) blok dan ukuran penguraian GW (jumlah subband GW).
Misalnya, jika gambar wajah dibagi menjadi 4 × 4 blok, dan skala 5
dan dekomposisi GW 8 arah dilakukan untuk setiap blok
(7)
grid, maka ukuran matriks fitur adalah 160 × 160 (160 = 4 × 5 × 8).
Semua gambar wajah dalam database diubah menjadi matriks fitur dengan
menggunakan FCOV ÿ ÿGW(·). Kemudian pada tahap pembelajaran,
matriks fitur ini digunakan untuk melatih CNN. Yang terlatih
CNN akan mengubah (memproyeksikan) matriks fitur menjadi vektor fitur. Pada
tahap pengenalan, classifier seperti SVM (support vec tor machine) dapat digunakan
untuk mengenali citra wajah. Selanjutnya,
3
Machine Translated by Google

C. Li, Y. Huang, W. Huang dkk. Pengenalan Pola 119 (2021) 108085

Gambar 1. FCOV-GW. Membangun matriks kovarians gabungan dalam domain GW dengan menggunakan operator COV. Zm adalah matriks Pengamatan dari subband magnitudo; Cm adalah kovarians
matriks subband besarnya; Ca adalah matriks kovarian dari subband sudut; Matriks CF adalah matriks kovarians yang menyatu. COV menunjukkan operator kovarians. Angka ini
hanya menunjukkan prosedur rinci membangun Cm; prosedur membangun Ca mirip dengan Cm .

Gambar 2. Framework LCMoG-CNN untuk pengenalan wajah. Setelah tahap preprocessing & divide, citra wajah akan ditransformasikan menjadi matriks fitur yang tersusun
dari sejumlah matriks kovarians yang menyatu, dan kemudian matriks fitur akan diproyeksikan ke vektor oleh CNN terlatih. Pada tahap pengenalan digunakan classifier linier
mengenali wajah-wajah itu.

tugas utamanya adalah merancang CNN yang akan melakukan tugas secara efisien T di mana ada
Diberikan matriks sampel K × N S = [x1, ···xK]
transformasi matriks fitur. Di sini, kami merancang CNN yang memproyeksikan K sampel pelatihan dan setiap sampel adalah vektor dimensi N ,
yang memiliki 8 layer termasuk layer input, ditunjukkan pada Gambar 3. Dua kita menghitung matriks proyek U dari S dengan menggunakan WPCA.
lapisan convolutional dan dua lapisan max-pool, serta tiga lapisan penuh Biasanya, matriks sampel S akan dipusatkan ke matriks A
lapisan koneksi, digunakan dalam jaringan. Kerugian lintas-entropi adalah T
dengan mengurangkan rata-rata kolomnya, dilambangkan dengan A = [m1, ··· ,mK] ,
K
dipanggil sebagai fungsi kerugian jaringan. Vektor output akhir, a mi = xi ÿ x¯, x¯ = i=1 K1xi. Perhatikan bahwa baris terpusat
Vektor 200 dimensi, adalah fitur wajah. matriks A sesuai dengan pengamatan dan kolom untuk variabel. Itu
langkah pertama WPCA adalah menghitung matriks proyeksi ortogonal U dan
5. Mempelajari fitur matriks kovarian menggunakan Log-Euclidean nilai eigen ÿi dari matriks kovarians AT × A. Jika
Standarisasi skor Z WPCA (LCMoG-LWPZ) jumlah dimensi jauh lebih besar dari jumlah sampel (N >> K), maka kita
menghitung nilai eigen dari A × AT yang
Analisis komponen utama (PCA) adalah teknik statistik adalah matriks dengan ukuran yang jauh lebih kecil. Vektor eigen dari AT × A adalah
yang mempekerjakan transformasi ortogonal untuk mengkonversi satu set maka ui = AT vi, di mana vi adalah vektor eigen dari A × AT .
pengamatan variabel berkorelasi menjadi satu set baru pengamatan variabel
Kolom U terdiri dari vektor eigen dari matriks covarians. Vektor berdimensi
independen linear. Himpunan variabel setelah transformasi disebut komponen tinggi dapat dikompresi menjadi
utama. Tujuan PCA vektor berdimensi rendah y dengan memproyeksikannya pada U, yaitu: y = UT x.
adalah untuk mengurangi korelasi data dimensi tinggi dan memperoleh Langkah kedua WPCA adalah mengubah U menjadi W dengan memutihkan
data dimensi rendah. Namun, PCA mungkin menderita jarang 1
pendekatan: W = U(D) ÿ 2 , di mana D = diag{ÿ1, ÿ2, ···}. Kemudian pro
dan data dimensi tinggi yang mengarah ke masalah over-fitting [23].
fitur WPCA yang ditolak y ditulis sebagai:
Whitening PCA (WPCA), varian kecil dari PCA, telah didemonstrasikan secara
definitif untuk meningkatkan kinerja pengenalan wajah di 1
T
T 2 X.
banyak penelitian [23,24]. Dibandingkan dengan PCA, manfaat tambahan dari WPCA y=W x = U(D) ÿ (11)
apakah itu menormalkan kontribusi setiap komponen utama dengan
menggunakan transformasi pemutihan (dibagi dengan standar deviasi komponen Meskipun WPCA lebih efisien daripada PCA untuk pengenalan wajah,
utama). itu mungkin mengalami penurunan kinerja ketika nilai eigen dari

4
Machine Translated by Google

C. Li, Y. Huang, W. Huang dkk. Pengenalan Pola 119 (2021) 108085

Gambar 3 CNN digunakan untuk memproyeksikan matriks fitur yang dihitung dari citra wajah dengan FCOV-GW. Jika gambar wajah dibagi menjadi 4× blok, maka fiturnya
matriks akan terdiri dari matriks kovarians fusi 4 × 4, dan kemudian ukuran matriks fitur adalah 160 × 160. Kemudian matriks kovarians fusi diumpankan ke CNN dan a
Vektor 200 dimensi dihasilkan.

Gambar 4. Pipa LCMoG-LWPZ. COV ÿ ÿGW(·) menunjukkan operasi penghitungan matriks kovarians blok; LOG-VECT-CAT menunjukkan proses penggabungan
fitur Log-Euclidean dari matriks kovarian dalam blok; ZSCORE menunjukkan standardisasi z-score.

Tabel 1
matriks kovarian sangat kecil atau mendekati nol. Jika
Database dan faktor-faktor yang merugikan untuk pengenalan wajah. SSPP adalah singkatan
nilai eigen matriks kovarians terlalu kecil dan kami menggunakan rumus
dari single sample per person; MSPP adalah singkatan dari multiple
(11) untuk memutihkan fitur wajah, itu akan memperkuat pengaruhnya secara berlebihan sampel per orang.
dari nilai eigen kecil dalam fase pencocokan fitur. Biasanya, dalam langkah
Himpunan data Faktor yang merugikan
pencocokan fitur, jarak kosinus lebih baik daripada jarak Eu clidean untuk fitur
WPCA yang diproyeksikan [9] (lihat Gbr. 10 di FERET (200) iluminasi tidak merata, ekspresi wajah, penuaan
Ext Yale-B pencahayaan sangat tidak merata, resolusi rendah
Bagian 6.4). Namun, biaya perhitungan jarak cosinus adalah
FERET standar SSPP, pencahayaan tidak merata, penuaan
jauh lebih mahal daripada jarak Euclidean standar.
MoBo & YouTube berbagai pose, resolusi rendah, MSPP
Untuk mengatasi masalah yang disebutkan di atas, kami menormalkan WPCA Pose bervariasi besar LFW
fitur dengan standardisasi z-score (ZSCORE), yang dilambangkan
sebagai:

y ÿ BERARTI (y)
z= , (12)
STD(y)
di mana MEAN(y) dan STD(y) masing-masing menunjukkan rata-rata dan standar
deviasi dari y. Dengan menggunakan ZSCORE, LCMoG-WPCA dapat tercapai
kinerja pengakuan yang sama seperti LCMoG-WPCA dengan banyak
lebih sedikit biaya komputasi (lihat Gambar 11 di Bagian 6.4).
Metode kedua yang diusulkan dalam pekerjaan ini disebut LCMoG LWPZ
(lihat saluran pipa pada Gambar 4). Mirip dengan LCMoG-CNN, LCMoG LWPZ
juga perlu menghitung matriks kovarians magnitudo
GW dari gambar dibagi dengan operasi berikut: Cmi =
COV ÿ ÿGW(Bi), di mana Bi adalah blok lokal ke-i pada citra. Untuk mendapatkan
fitur diskriminatif, digunakan Log-Euclidean
menanamkan matriks kovarians Cmi dalam ruang linear, untuk menghasilkan a
vektor xi:
xi = vect(log(Cmi)), (13)
di mana log adalah logaritma matriks dan vect(·) menunjukkan vektorisasi dari
matriks. Vektor fitur xi dari blok pada gambar adalah con
digabungkan menjadi vektor berdimensi tinggi y, dan langkah ini dicatat oleh LOG-
VECT-CAT. Terakhir, kami menggunakan WPCA untuk memproyeksikan
vektor dimensi tinggi xi menjadi vektor fitur berdimensi rendah
y, dan gunakan ZSCORE untuk menghasilkan vektor fitur standar z.
6. Eksperimen
Untuk mengevaluasi kinerja metode yang diusulkan
dalam berbagai kondisi buruk, kami memilih beberapa kumpulan data (lihat
Gbr. 5): FERET standar [25], FERET (200) di mana gambar berada
dipilih dari database FERET asli [25], Extended Yale-B
(Ext Yale-B) [26], dua kumpulan data wajah video (CMU MoBo dan YouTube
selebriti) dan LFW [27]. Database ini dan faktor-faktor yang merugikan ditunjukkan
pada Tabel 1. Karena metode kami dikembangkan
dari matriks kovarians dalam domain GW, parameter GW
termasuk parameter varians, skala dan arah akan mempengaruhi kinerja dari dua
metode yang diusulkan (LCMoG-CNN

5
Machine Translated by Google

C. Li, Y. Huang, W. Huang dkk. Pengenalan Pola 119 (2021) 108085

Gambar 5. Contoh gambar wajah. Baris pertama: FERET; baris kedua: Ext Yale-B; baris ketiga: CMU MoBo; baris keempat: YouTube, baris kelima: LFW.

dan LCMoG-LWPZ). Dalam percobaan, parameter GW ini adalah
disesuaikan dengan efisiensi terbaik.
6.1. Percobaan pada resolusi rendah dan kondisi kebisingan
Pertama, kami fokus pada evaluasi LCMoG-CNN LCMoG-LWPZ pada
FERET (200). Dalam dataset ini terdapat 1400 gambar wajah dari 200 per anak,
dan setiap orang memiliki 7 gambar wajah dengan pencahayaan yang berbeda,
ekspresi wajah, sudut pose (beberapa contoh gambar ditampilkan
di baris pertama pada Gambar. 5). Dalam dataset ini, 4 dari 7 gambar adalah
digunakan sebagai set galeri, dan 3 gambar sisanya digunakan sebagai
set probe. Dataset lain yang kami gunakan adalah Ext Yale-B yang terdiri dari
dari 38 subjek dalam 9 pose dan 64 kondisi iluminasi. Itu
iluminasi sangat sulit untuk menghadapi metode pengenalan. Kami
menggunakan satu gambar pose frontal dari 9 pose untuk subjek
buat dataset eksperimental (lihat baris kedua dari Gambar 5). Ini
dataset memiliki sekitar 64 gambar frontal dekat dan ada 2414 gambar dalam
percobaan. Kami memilih 32 gambar wajah frontal per
orang sebagai galeri dan kiri sebagai set probe.
Semua ukuran gambar asli dalam dua kumpulan data
adalah 128 × 128. Untuk mengevaluasi ketangguhan metode untuk
gambar wajah beresolusi rendah, kami mengubah ukuran gambar menjadi ukuran
yang berbeda: 64 × 64, 32 × 32, 16 × 16, 8 × 8. Hasil percobaan tercantum dalam
Tabel 2. Akurasi pengenalan LCMoG CNN adalah 96,67 % (ukuran 128 × 128)
yang ternyata lebih tinggi dari
metode berbasis COV-GW dan LBP/Gabor karena LCMoG CNN menggabungkan
fungsi pembelajaran CNN. Pra-dilatih ini
DCNN termasuk PCANet [24], VGGFace [28], ResNet50 [11] dan
SENet [11] menunjukkan kinerja yang baik di bawah resolusi tinggi; namun, kinerja
pengenalan mereka jelas kalah dengan LCMoG CNN yang dilatih di FERET (200)
dalam kondisi resolusi rendah. LCMoG-LWPZ memperoleh akurasi pengenalan
yang memuaskan
gambar wajah beresolusi rendah seperti 16 × 16, 8 × 8 yang sulit untuk metode
berbasis LBP.
Kami juga mengevaluasi kinerja metode kami dalam kondisi blur dan noise.
Untuk gerakan kabur, gerakan linier melintang
10 piksel pada sudut 10 derajat (dilambangkan dengan M (10)), dan linier
gerakan melintasi 30 piksel pada sudut 30 derajat (dilambangkan dengan M
(30)) masing-masing ditambahkan pada semua gambar wajah (lihat bagian kiri
dari Gambar 6). Untuk noise, white noise Gaussian dengan rata-rata nol & 0,01
varians (dilambangkan dengan G (0,001)), dan dengan noise rata-rata nol & 0,03
varians (dilambangkan dengan G (0,03)) ditambahkan, masing-masing. Dalam
percobaan ini, tidak ada pendekatan preprocessing yang diadopsi untuk
menghilangkan efek motion blur atau Gaussian noise.
Dapat diamati dari Tabel 3 bahwa matriks kovarians dari
Metode berbasis GW termasuk GW-L2EMG (kami menerapkan ini
metode dengan menggunakan deskriptor log-Euclidean multivariat Gaussian lokal
[31] dalam domain GW), COV-GW-RD [2], COV-GW-LEG [5] dan
metode kami (LCMoG-CNN dan LCMoG-LWPZ) lebih kuat
kinerja daripada metode lain seperti metode berbasis LBP dan
CNN terlatih. Misalnya, LCMoG-CNN hampir kebal
dalam kondisi blur, memiliki akurasi 100% untuk M (10) dan
99,67% untuk M (30) di Ext Yale-B. Kebisingan Gaussian sangat menantang untuk
algoritma pengenalan wajah; di bawah kebisingan Gaussian
kondisi tersebut, akurasi pengenalan semua metode menurun. Tiga metode
berbasis CNN (LCMoG-CNN, VGGFace) mengungkapkan kinerja yang lebih kuat
di bawah kebisingan dibandingkan dengan metode berbasis LBP konvensional dan
berbasis Gabor. Akurasi rata-rata
LCMoG-CNN adalah 85,59% (yang merupakan hasil terbaik) pada FERET(200)
dan 95,56% (yang menempati urutan kedua) di Ext Yale-B dalam kondisi kebisingan.
6.2. Eksperimen pada sampel tunggal per orang (SSPP)
FERET standar digunakan untuk menguji kinerja di bawah
ekspresi wajah, penuaan, pencahayaan tidak merata dan kondisi SSPP.
Ada empat himpunan bagian dalam FERET standar: galeri yang memiliki sampel
tunggal per orang, subset ekspresi wajah (fb), subset bangsa iluminasi (fc), dan
dua subset rangkap (dup I dan dup II).
Gambar probe Dup I diperoleh pada waktu yang berbeda. Semakin sulit
subset probe dup II adalah subset dari dup I; gambarnya ada di dup II
diambil hanya minimal 18 bulan. Dalam dataset ini, gambarnya adalah

6
Machine Translated by Google

C. Li, Y. Huang, W. Huang dkk. Pengenalan Pola 119 (2021) 108085

Gambar 6. Penambahan noise dan gambar wajah beresolusi rendah dari FERET(200) dan Ext Yale-B.

Meja 2
Akurasi pengenalan (persen) pada FERET(200) dan Ext Yale-B. Tanda 1282 artinya ukuran gambar adalah 128×128, dan seterusnya.

FERET(200) Ext Yale-B

metode
1282 642 322 162 82 Rata-rata 1282 642 322 162 82 Rata-rata

LBP [29] 90,50 80,17 77,83 68,67 35,83 70,6 98,84 99,75 99,00 85,38 93,52 73,67 91.32
LGBPHS [30] 92,33 90,67 83,0 54,33 59,83 76,03 99,17 98,75 81,89 98,50 84,72 79,29 90.52
COV-GW-RG [2] 93,0 93,33 88,00 69,67 43,83 77,57 99,58 99,92 98,75 88,12 98,75 64,70 89.48
COV-GW-LEG [5] 93,33 92,83 88,50 69,67 44,83 77,83 99,75 99,92 88,12 56,40 88.59
GW-L2EMG [31] 93,33 92,83 88,83 70,33 45,0 78,06 99,67 99,92 57,14 88.72
PCANet [24] 95.83 96.17 93.83 83.83 50,17 83,97 98.84 99.67 99,25 94,19 63.04 90,99
VGGFace [28] 94,33 92,17 61,83 52,17 57,67 99,5071.63
36,50 81,8 94,76 98,84 82,23 80,04 73,17 86,76
ResNet50 [11] 94,0 94,0 94,0 90,50 32,0 80,76 88,70 55,0 83,30 93,52 90,20 70,68 38,37 77,51
SENet [11] 94,0 94,0 94,0 89,83 99,83 100 76,50 88,83 100 85,04 83,63 65,95 35,88 71,84
LCMoG-LWPZ 94,0 93,67 89,0 84,83 100 99,25 98,58 90,37 97,61
LCMoG-CNN 96,67 94,50 89,17 87,33 99,58 99,00 92,86 98,29

Tabel 3
Akurasi pengenalan (persen) pada FERET(200) yang berisik dan Ext Yale-B.

FERET(200) Ext Yale-B

metode
G(10) G(30) G(0,01) G(0,03) Rata-rata M(10) M(30) G(0,01) G(0,03) Rata-rata

LBP [29] 90,17 88,00 15.33 2,83 49,08 98,92 96,93 58,47 19,77 68.52
LGBPHS [30] 91,50 90,00 14.00 3,00 49,63 99,42 98,50 58,39 20,18 69.12
COV-GW-RD [2] 93,33 92,67 60.00 24,00 67,50 98,42 95,76 63,70 40,95 74.71
COV-GW-LEG [5] 93.0 92.17 66.33 25.0 69.13 98.67 96.01 62.54 39,95 74.29
GW-L2EMG [31] 92.83 92,33 65,67 25,50 69,08 98,84 60,58 95,93 63,12 42,11 75.00
PCANet [24] 96,17 95,33 93,33 39,33 11,50 98,92 74,71 81,0 98,59 83,47 49,83 68.93
VGGFace [28] 62,50 94,0 67,0 88,83 54,17 40,88 39,46 57,37 73,74 60,38 68.12
ResNet-50 [11] 94,0 61,33 94,0 1,50 1,0 73,33 89,53 55,14 44,60 45,68 58.73
SENet [11] 93,67 1,33 1,17 85,79 48,01 48,09 48,0 57.47
LCMoG-LWPZ 71,50 34,17 99,75 99,08 51,07 50,66 75.14
LCMoG-CNN 95.17 92.67 82.33 72.17 85,59 100 99.67 92.61 89,95 95.56

dipotong menjadi 150 × 90. Kami membandingkan metode yang diusulkan dengan
metode canggih, dan hasil pengenalan ditampilkan di
Tabel 4. Akurasi pengenalan LCMoG-LWPZ adalah 99,68%,
100%, 96,54% dan 97,43% masing-masing di fb, fc, dupI dan dupII; Dan
akurasi pengenalan rata-rata mencapai 98,41% yang merupakan yang terbaik
diantara metode tersebut. LCMoG-CNN juga tidak menunjukkan performa
terbaiknya karena sampel latihan multi-pose yang tidak memadai.
6.3. Eksperimen pada kondisi large-variable-pose
Eksperimen kami dilakukan pada tiga set data pose wajah besar yang
bervariasi termasuk dua set data video (CMU MoBo
[37] dan Selebriti YouTube [38]) dan kumpulan data LFW [27]. Untuk meningkatkan
kinerja, dua metode kami (LCMoG-CNN
dan LCMoG-LWPZ) digabungkan untuk representasi wajah, dilambangkan
sebagai LCMoG-(LWPZ+CNN) yang menggabungkan fitur proyeksi
CNN pada matriks kovarians yang menyatu dan Log-Euclidean WPCA
Fitur standardisasi Z-score dari matriks kovarians.
6.3.1. Eksperimen pada kumpulan data video
CMU MoBo [37] berisi 96 urutan video dari 24 urutan yang berbeda
subjek dan setiap subjek memiliki 4 urutan video (setiap urutan
memiliki sekitar 300 bingkai) yang ditangkap dalam berbagai situasi jalan kaki.
Selebriti YouTube [38] adalah kumpulan data menantang yang memiliki 1910
klip video dari 47 subjek yang dikumpulkan dari YouTube. Setiap klip terdiri dari
ratusan bingkai yang beresolusi rendah dan sangat terkompresi, dan berbagai
pose wajah muncul dalam bingkai ini. Untuk
kedua kumpulan data, kami menggunakan gambar yang sama, yang terdeteksi
dan dipotong dari video, seperti gambar yang digunakan dalam [39]. Di CMU

7
Machine Translated by Google

C. Li, Y. Huang, W. Huang dkk. Pengenalan Pola 119 (2021) 108085

Gambar 7. Kinerja pengenalan dari tiga metode matriks kovarians berbasis Gabor.

Tabel 4 Tabel 5
Akurasi pengenalan (persen) pada FERET standar. Perbandingan dataset CMU MoBo dan YouTube.

metode Fb Fc Rata-Rata Dup1 Dup2 metode CMU MoBo YouTube

LBP [29] 96.90 98.45 83.93 82,48 90,44 LBP [29] 85.21 81.29
COV-GW-RD [2] 97,99 99.48 80,74 78.21 89.11 LGBPHS [30] 86.74 81.29
COV-GW-LEG [5] 98,07 99,48 81,44 80,34 89,83 COV-GW-RD [2] 89,23 81.86
GW-L2EMG [31] 98,07 99,48 82,13 81,19 90,22 COV-GW-LEG [5] 89,45 84.90
LGBP+LGXP+LDA [32] 99,00 99,00 94.00 93.00 96.25 GW-L2EMG [31] 89,38 84.86
DFD+WPCA [33] 99,40 100,0 91,80 92,30 95,88 PCANet [24] 86,34 81.98
MDML-DCPs+WPCA [9] 99,75 100,0 96,12 95,73 97,90 VGGFace [28] 90,63 84.91
CA-LBMFL [34] 99,8 100 95,3 95,3 97,6 ResNet50 [11] 95,67 93.53
SKBP [35] 98.9 99.0 85.2 85.0 92.03 SENet [11] 96.18 95.0
FFC [36] 99,50 100 97,62 96,12 94,87 LCMoG-LWPZ 90,53 84.35
PCANet [24] 99,58 100 97,26 95,43 94,02 LCMoG-CNN 94,02 87.05
VGGFace [28] 98,74 96,39 92,26 86,28 87,61 LCMoG-(LWPZ+CNN) 96,62 95.32
ResNet50 [11] 99,58 99,49 98,15 96,95 96,58
SENet [11] 99,33 99,49 97,22 97,00 98,26
LCMoG-CNN 85,69 86,60 67,95 52.91 46.58
Tabel 6
LCMoG-LWPZ 99,68 100 96,54 97,43 98,41
Evaluasi kinerja pada LFW.

metode Akurasi (%) EER (%)

MoBo, kami memilih satu klip dan memilih beberapa secara acak LBP [29] 73.70 27.13
LGBPHS [30] 81.68 25.50
bingkai dari klip untuk pelatihan, dan nomor yang dipilih secara acak
LCMoG-LWPZ 83,88 16.97
bingkai dari klip kiri untuk pengujian; ada 991 gambar wajah di set pelatihan LCMoG-CNN 72,53 27.93
dan 5498 di set tes. Di YouTube, kami LCMoG-CNN-38 86,23 14.00
menggunakan satu klip untuk pelatihan dan tiga klip untuk pengujian dan masing-masing klip LCMoG-(LWPZ+CNN) 87,23 13.20
Cahaya-CNN [40] 98,93 1.20
klip sejumlah bingkai acak digunakan; ada 3976 wajah
ResNet50 [11] 96,60 3.53
gambar di set pelatihan dan 11.204 di set pengujian. Semua ukuran gambar 99.30 0,80
SENet [11]
adalah 20 × 20. Ada Beberapa Sampel Per Orang (MSPP) SENet+LBP 99.31 SENet+LCMoG-LWPZ 0,73
di Youtube & MoBo, bahkan lebih dari 100 pose berbeda per orang. 99.36 SENet+LCMoG-CNN 99.38 0,73
Beberapa contoh gambar yang dipilih dari CMU MoBo dan YouTube adalah SENet+LCMoG-(LWPZ+CNN) 99.40 0,70
0,70
ditunjukkan pada baris ketiga dan keempat pada Gambar. 5, masing-masing.
Tantangan untuk mengenali wajah dalam video secara otomatis
pengawasan adalah variasi dramatis dari pose wajah dan gambar beresolusi
rendah. Akurasi pengakuan dari metode ini adalah hanya satu profil, yang menimbulkan tantangan signifikan untuk pengakuan
diberikan pada Tabel 5. LCMoG-CNN memperoleh kinerja yang kuat dengan metode. Kami mengevaluasi metode yang diusulkan pada protokol verifikasi
masing-masing 94,02% dan 87,05% pada CMU MoBo dan YouTube. standar [38], di mana semua gambar wajah dibagi menjadi 10
Kombinasi LCMoG-CNN dan LCMoG-LWPZ dengan nor
lipatan-lipatan yang masing-masing berisi 600 pasang muka tanpa identitas di atas
operasi malisasi (disebut LCMoG-(LWPZ+CNN)) mencapai akurasi pangkuan.
pengenalan tertinggi, melampaui metode canggih Pada database LFW (lihat Tabel 6), LCMoG-LWPZ menghasilkan 83,88%
SENet dan ResNet50 yang dilatih di VGGFace2 [11]. akurasi identifikasi dan 16,97% Equal Error Rate (EER), yang
jelas lebih unggul dari LBP dan LGBPHS. Untuk identifikasi wajah bervariasi-
6.3.2. Eksperimen pada LFW pose, LCMoG-CNN dengan jumlah proyeksi CNN yang lebih banyak
Database LFW terdiri dari 13.233 gambar dari 5749 individu [27]. lapisan memiliki kinerja yang lebih baik daripada memproyeksikan CNN dengan lebih sedikit
Berbeda dengan MoBo dan YouTube, kebanyakan orang di LFW lapisan. Kami meningkatkan jumlah lapisan proyeksi CNN
memiliki beberapa gambar wajah profil dan beberapa orang bahkan hanya memilikinya 38 (LCMoG-CNN-38) dan melatihnya di VGGFace2 [11]. Dibandingkan

8
Machine Translated by Google

C. Li, Y. Huang, W. Huang dkk. Pengenalan Pola 119 (2021) 108085

Gambar 8 Performa Pembelajaran Mag CM GW dengan menggunakan WPCA dan PCA pada dataset yang keduanya merupakan training set dengan pose tunggal per orang; Euclidean
jarak digunakan untuk fitur pencocokan untuk dua pendekatan.

Gambar 9 Performa Pembelajaran Mag CM GW dengan menggunakan WPCA dan PCA pada dataset yang keduanya memiliki multiple-poses multiple-samples per person; ke WPCA,
bagian dari fitur yang diproyeksikan WPCA dipilih secara manual untuk mendapatkan hasil terbaik; Euclidean distance digunakan untuk menampilkan pencocokan untuk dua pendekatan.

dengan LCMoG-CNN dengan 8 lapisan, LCMoG-CNN-38 secara signifikan
membuktikan kinerja LCMoG, mencapai akurasi 86,23% dan
14% ER. Pada saat yang sama, kami juga melihat bahwa akurasi dan
EER dari LCMoG-(LWPZ+CNN) secara signifikan lebih baik daripada LCMoG
LWPZ dan LCMoG-CNN saja. Diketahui bahwa DCNNs
dengan banyak lapisan seperti ResNet50 dan SENet menunjukkan kuat
kinerja di bawah kondisi berbagai pose besar. Namun, kinerja DCNN ini dapat
lebih ditingkatkan. Keuntungan dari metode LCMoG yang kami usulkan adalah
dapat terintegrasi dengan baik
dengan fitur DCNN untuk lebih meningkatkan kinerja pengenalan DCNN. Tabel
6 juga menunjukkan hasil percobaan
kombinasi metode kami dan SENet dengan menggabungkan dan
normalisasi dua jenis fitur. SENet+LCMoG-CNN (SENet
combing dengan LCMoG-CNN) diperoleh akurasi 99,38% dan EER 0,7%,
dan SENet+LCMoG-LWPZ memperoleh akurasi 99,36% dan EER 0,7%. Di dalam
Tabel 7, kami membandingkan metode yang diusulkan dengan SENet dan Light
CNN [40] secara rinci pada beberapa indikator evaluasi tipikal. Ini
indikator termasuk Area Under Curve (AUC) dan TPR@FPR (True

9
Machine Translated by Google

C. Li, Y. Huang, W. Huang dkk. Pengenalan Pola 119 (2021) 108085

Gambar 10. Akurasi pengenalan LCMoG-WPCA dengan jarak Euclidean atau jarak kosinus pada FERET(200).

Tabel 7
Evaluasi kinerja pada LFW.

metode EER (%) TPR@FPR=0.01 TPR@FPR=0.001 TPR@FPR==0.0001 AUC (%)

Cahaya-CNN [40] 1.20 98.73 96.80 95.0 99.82

SENet [11] 0,80 99,40 94.10 67.40 99,93
SENet+LCMoG-(LWPZ+CNN) 0,70 SENet+Light- 99,36 92,87 74,37 99,93
CNN+LCMoG-CNN) 0,57 SENet+Light-CNN+LCMoG- 99,50 97,23 89,33 99,94
(LWPZ+CNN) 0,53 99,53 97,16 90,73 99,94

Tabel 8
Runtime pencocokan fitur untuk mengenali semua gambar wajah (ukuran 64 × 64) pada dua dataset.

metode FERET(200) Dimensi Ext Yale-B Ukuran kesamaan

LBP [29] 5.90 18.37 3304 Chi-kuadrat

LGBPHS [30] 12.35 38.59 15104 Chi-kuadrat
COV-GW-RD [2] 478,39 1505,97 16 × [40 × 40] jarak Riemannian
COV-GW-LEG [5] 17,58 54,69 16 × [40 × 40] norma Frobenius
GW-L2EMG [31] 18,87 55,72 16 × [41 × 41] norma Frobenius
PCANet (WPCA) [24] 12,26 38,24 600/1000 Jarak kosinus
VGGFace (WPCA) [28] 12,06 38,59 600/1000 Jarak kosinus
ResNet50 [11] / SENet [11] 6,57 19,73 2048 Jarak Euclidean
LCMoG-LWPZ 0,602 1,828 250/500 Jarak Euclidean
LCMoG-CNN 0,580 0,945 200 softmax

Laju Positif terhadap Laju Positif Palsu). Kami mengamati itu
fitur kombinasi LCMoG-(LWPZ+CNN), SENet dan Light CNN secara signifikan
meningkatkan kinerja identifikasi.
6.4. Analisis komprehensif
Dari percobaan di atas dalam kondisi yang tidak bersahabat, kami
mencatat bahwa metode berbasis LBP sangat tidak sensitif terhadap Gaussian
kebisingan karena mereka mengandalkan kode berbasis piksel di wilayah lokal.
Dibandingkan dengan metode berbasis LBP, metode berbasis Gabor (COV GW-RD,
COV-GW-LEG,GW-L2EMG dan LCMoG-LWPZ / LCMoG CNN) memiliki kinerja
yang lebih kuat dalam kondisi kebisingan.
Di antara metode berbasis Gabor, LCMoG-LWPZ dan LCMoG-CNN
menunjukkan kinerja pengenalan terbaik yang kuat. Karena LCMoG LWPZ
menggunakan Log-Euclidean dan WPCA untuk mempelajari diskriminatif dari matriks
kovarians dalam domain GW, kinerja pengenalan LCMoG-WPCA sebagian besar
ditingkatkan dibandingkan
dengan model matriks kovarians berbasis Gabor lainnya (COV-GW-RD
dan COV-GW-LEG). Kami secara komprehensif membandingkan metode kami
LCMoG-WPCA dengan COV-GW-RD dan COV-GW-LEG pada tujuh
dataset dengan menggunakan histogram (lihat Gambar 7) dan kita dapat melihatnya menggunakan
Pembelajaran Log-Euclidean dan WPCA pada dasarnya dapat meningkatkan
akurasi pengenalan. Kami mengamati bahwa meskipun CNN terlatih termasuk
PCANet, VGGFace, ResNet50 dan SENet bersaing di bawah
kondisi normal, performa mereka jelas kalah dengan kita
metode dalam kondisi kebisingan.

10
Machine Translated by Google

C. Li, Y. Huang, W. Huang dkk. Pengenalan Pola 119 (2021) 108085

Gambar 11. Biaya pencocokan fitur LCMoG-WPCA pada FERET(200) menggunakan jarak Euclidean atau jarak kosinus. Untuk kedua jenis jarak tersebut, fitur WPCA yang diproyeksikan sama
digunakan.

Gambar 12. Perbandingan akurasi pengenalan antara matriks kovarians leburan (Fuse CM) dan matriks kovarians magnitudo (Mag CM) dan kovarians sudut
matriks (Ang CM).

Untuk fitur LCMoG, WPCA lebih hemat dibandingkan PCA saat
sampel tidak memiliki variasi-pose yang memadai dan ini dapat dilihat
dari Gambar. 8 yang menunjukkan akurasi pengenalan WPCA dan PCA
pada Ext Yale-B dan FERET standar yang keduanya memiliki pelatihan
set terdiri dari beberapa sampel pose tunggal per orang. Namun,
ketika sampel berbagai pose cukup, PCA menunjukkan lebih baik
kinerja dari WPCA. Gambar 9 menunjukkan bahwa kinerja pengenalan
mance WPCA kurang dari kinerja PCA pada dataset
FERET(200), CMU MoBo, dan YouTube keduanya memiliki banyak sampel
multi-pose per orang. LCMoG-WPCA menggunakan WPCA untuk
mempelajari fitur diskriminatif, dan menggunakan jarak cosinus pada langkah
pencocokan fitur untuk mendapatkan kinerja yang lebih baik (lihat Gambar 10).
Namun, biaya perhitungan LCMoG-WPCA dengan jarak kosinus jauh lebih
mahal daripada jarak Euclidean (lihat Gambar 11). Ini

11
Machine Translated by Google
C. Li, Y. Huang, W. Huang dkk.
memanifestasikan bahwa metode kami LCMoG-LWPZ yang memanfaatkan z-score
standardisasi (ZSCORE) dapat mencapai kinerja pengenalan yang sama seperti
LCMoG-WPCA sekaligus mengurangi biaya pencocokan fitur.
Untuk LCMoG-CNN, kami menggunakan matriks kovarians leburan (Fuse CM)
dari Gabor yang memiliki kinerja yang lebih baik daripada matriks kovarians
besarnya (Mag CM) dari Gabor atau matriks kovarians sudut (Ang
CM) dari Gabor saja. Gambar 12 memberikan perbandingan antara
tiga jenis matriks kovarian sehubungan dengan pengakuan
akurasi pada FERET(200) dan CMU MoBo.
Dua metode yang diusulkan memiliki perhitungan yang jelas lebih rendah
biaya pencocokan fitur daripada matriks kovarian lainnya
metode (lihat Tabel 8). Runtime dari metode yang diusulkan adalah
diuji di komputer (terdiri dari core i7 6700 4GHz, 32GB
RAM, NVIDIA GeForce GTX 1070). Ukuran input LCMoG-CNN
adalah 160 × 160, jumlah fitur adalah 200, dan pengenalan
runtime adalah sekitar 0,580 detik pada FERET (200) dan 0,945 detik
di Ext Yale-B. Untuk LCMoG-LWPZ, jumlah fiturnya adalah 250 in
FETET (200) dan 500 di Ext Yale-B, dan runtime pengenalan
sekitar 0,602 detik pada dua dataset, sekitar 1,828 pada Ext
Yale-B.
7. Kesimpulan
Pengenalan wajah termasuk dalam kategori gambar berbutir halus
klasifikasi. Biasanya untuk mengidentifikasi wajah berdasarkan fitur terperinci
dalam kondisi buruk. Metode buatan tangan seperti
Gabor dan LBP memiliki keunggulan untuk mengekstraksi fitur detail dari citra
wajah bagian depan; sementara DCNN memiliki ketahanan yang baik
dalam kondisi beriklan. Meskipun DCNN dapat digunakan untuk mengidentifikasi
fitur detail wajah, biaya identifikasi wajah juga demikian
sangat mahal karena diperlukan model jaringan yang lebih dalam dan sampel
pelatihan yang lebih banyak. Oleh karena itu, menggabungkan metode buatan tangan
dan DCNN adalah cara yang efektif untuk meningkatkan kinerja
pengenalan wajah. Kami mengusulkan deskriptor LCMoG menyisir DCNN
untuk menangkap fitur detail wajah dalam kondisi buruk,
dan menggunakan mekanisme pembelajaran untuk mewujudkan pengenalan dua wajah
metode LCMoG-CNN dan LCMoG-LWPZ. LCMoG-LWPZ cocok
untuk masalah SSPP, sedangkan LCMoG-CNN cocok untuk dataset sampel kecil
yang memiliki sampel berbagai pose yang cukup per orang.
Melalui kombinasi LCMoG-LWPZ/LCMoG-CNN dan SENet,
kinerja pengenalan wajah meningkat secara signifikan.
Ada beberapa aspek yang perlu didiskusikan lebih lanjut: (1)Dalam
LCMoG-CNN, kami menggunakan CNN dangkal untuk mengubah matriks co
variance yang menyatu menjadi vektor fitur. Itu harus mungkin untuk digunakan
jaringan terlatih yang lebih dalam seperti Efficientnet [41] atau ResNet
untuk memperoleh kinerja yang lebih baik. (2) Untuk metode kombinasi, di
selain mengekstraksi fitur dengan SENet, kita juga perlu menggunakan
LCMoG-LWPZ/LCMoG-CNN menghitung fitur detail, sehingga meningkatkan
biaya komputasi. (3) Dalam artikel ini, kami belum
mempelajari pengaruh faktor-faktor yang tidak menguntungkan seperti perubahan
ekspresi wajah atau perubahan resolusi pada matriks kovarians di
Domain transformasi wavelet Gabor. Dalam pekerjaan masa depan, kita akan belajar
masalah ini secara mendalam. (4) Dalam pekerjaan ini, hanya model SENet yang digunakan
dalam metode gabungan. Dalam pekerjaan mendatang, kami akan mengeksplorasi
lebih banyak model lanjutan, seperti ArcFace [42] dan visual Transformer [43].
Selain itu, kami juga akan mempertimbangkan untuk menggunakan model campuran
Gaussian atau Gaussian menggantikan model kovarian untuk mendapatkan kinerja yang lebih baik.
mance.
Deklarasi Kepentingan Bersaing
Kami menyatakan bahwa kami tidak memiliki hubungan keuangan dan pribadi
dengan orang atau organisasi lain yang dapat memengaruhi pekerjaan kita
secara tidak tepat, tidak ada kepentingan profesional atau kepentingan pribadi lainnya
dalam bentuk atau jenis apa pun dalam produk, layanan, dan/atau perusahaan apa pun yang
Pengenalan Pola 119 (2021) 108085
dapat ditafsirkan sebagai mempengaruhi posisi disajikan dalam, atau
review dari, naskah berjudul.
Terima kasih
Pekerjaan ini didukung oleh Proyek Program Sains dan Teknologi Sichuan
(No. 2019YFS0068), Proyek Provinsi Sichuan
Departemen Pendidikan (No. 18ZA0538), Proyek ilmu Yibin
dan Biro Teknologi (No.2017ZSF009-9), Proyek Universitas Yibin (No. 2020YY02,
2021YY06).
Referensi
[1] O. Tuzel, F. Porikli, P. Meer, Kovarian wilayah: deskriptor cepat untuk deteksi
dan klasifikasi, Computer Vision–ECCV 2006 (2006) 589–600.
[2] Y. Pang, Y. Yuan, X. Li, matriks kovarian wilayah berbasis Gabor untuk pengenalan wajah,
IEEE Trans. Sistem Sirkuit. Video Technol. 18 (7) (2008) 989–993.
[3] J. Chang, Z. Lan, C. Cheng, Y. Wei, Pembelajaran ketidakpastian data dalam pengenalan
wajah, dalam: Prosiding Konferensi IEEE tentang Visi dan Pola Komputer
Pengakuan, 2020, hlm. 5710–5719.
[4] S. Yang, Y. Wen, L. He, MC Zhou, Representasi fitur umum jarang untuk
pengenalan wajah undersampled, IEEE Internet Things J.8 (2021) 5607–5618.
[5] V. Arsigny, P. Fillard, X. Pennec, N. Ayache, Geometric mean in a novel vector
struktur ruang pada matriks definit positif simetris, SIAM J. Matrix Anal.
Aplikasi 29 (1) (2011) 328–347.
[6] M. Harandi, M. Salzmann, R. Hartley, Reduksi dimensi pada lipatan spd man: munculnya
metode sadar geometri, IEEE Trans Pattern Anal
Mach Intell 40 (1) (2018) 48–62.
[7] W. Wang, R. Wang, S. Shan, X. Chen, pembelajaran representasi berorientasi kovarian
diskriminatif untuk pengenalan wajah dengan rangkaian gambar, dalam: Konferensi IEEE tentang
Visi Komputer dan Pengenalan Pola (CVPR), 2017.
[8] Z. Chai, Z. Sun, H. Mendez-Vazquez, R. He, T. Tan, Gabor takaran ordinal untuk
pengenalan wajah, IEEE Trans. Inf. Keamanan Forensik. 9 (1) (2013) 14–26.
[9] C. Ding, J. Choi, D. Tao, LS Davis, pola lintas ganda multi-arah multi-arah untuk pengenalan
wajah yang kuat, IEEE Trans Pattern Anal Mach Intell 38 (3)
(2016) 518–531.
[10] S. Lalitha, K. Thyagharajan, Pengenalan ekspresi wajah mikro berdasarkan kedalaman
-algoritma pembelajaran berakar, International Journal of Computational Intelligence
Sistem 12 (2019) 903–913.
[11] Q. Cao, L. Shen, W. Xie, OM Parkhi, A. Zisserman, Vggface2: Kumpulan data untuk
mengenali wajah lintas pose dan usia, dalam: IEEE International Conference onAu tomatic
Face and Gesture Recognition (FG 2018), 2018, hlm. 67–74.
[12] VP Vishwakarma, S. Dalal, Pengubah non-linier baru untuk normalisasi iluminasi adaptif
untuk pengenalan wajah yang kuat, Multimed Tools Appl 79 (2020)
1–27.
[13] GF Plichoski, C. Chidambaram, RS Parpinelli, Kerangka pengenalan wajah
berdasarkan kumpulan teknik dan evolusi diferensial, Inf Sci (Ny) 543
(2021) 219–241.
[14] J. Chen, J. Chen, Z. Wang, C. Liang, C.-W. Lin, Resolusi super wajah sadar identitas untuk
pengenalan wajah beresolusi rendah, Proses Sinyal IEEE Lett 27 (2020)
645–649.
[15] S. Ge, S. Zhao, C. Li, Y. Zhang, J. Li, Pengenalan wajah resolusi rendah yang efisien melalui
distilasi jembatan, IEEE Trans. Proses Gambar. 29 (2020) 6898–6908.
[16] S. Lin, J. Zhang, J. Pan, Y. Liu, Y. Wang, J. Chen, J. Ren, Belajar mengaburkan wajah
gambar melalui sintesis sketsa, dalam: Prosiding Konferensi AAAI tentang Kecerdasan
Buatan, 34, 2020, hlm. 11523–11530.
[17] F. Qin, S. Fang, L. Wang, X. Yuan, M. Elhoseny, X. Yuan, Pembelajaran kernel
untuk pemulihan gambar buta dari blur, Multimed Tools Appl 79 (2020)
21873–21887.
[18] JU Yun, B. Jo, IK Park, Resolusi super wajah gabungan dan deblurring menggunakan
jaringan permusuhan generatif, IEEE Access 8 (2020) 159661–159671.
[19] YF Yu, DQ Dai, CX Ren, KK Huang, Pengkodean jarang multi-skala diskriminatif
untuk pengenalan wajah sampel tunggal dengan oklusi, Pengenalan Pola 66 (2017)
302–312.
[20] Y. Guo, L. Jiao, S. Wang, S. Wang, F. Liu, kerangka autoencoder renggang Fuzzy
untuk pengenalan wajah satu gambar per orang., IEEE Trans Cybern 48 (8) (2018)
2402–2415.
[21] C. Ding, D. Tao, jaringan saraf konvolusional ansambel batang-cabang untuk
pengenalan wajah berbasis video, Transaksi IEEE pada Mesin Analisis Pola
Intelijen 40 (4) (2018) 1002–1014.
[22] C. Li, Y. Huang, Y. Xue, Dependence structure of gabor wavelet based on cop ula for face
recognition, Expert System Appl 137 (2019) 453–470.
[23] J. Ylioinas, J. Kannala, A. Hadid, M. Pietikinen, Pengenalan wajah menggunakan smoothed
representasi dimensi tinggi, dalam: Skandinavia Conference on Image Anal ysis, 2015, hlm.
516–529.
[24] TH Chan, K. Jia, S. Gao, J. Lu, Z. Zeng, Y. Ma, Pcanet: dasar pembelajaran mendalam
sederhana untuk klasifikasi gambar? Trans IEEE. Proses Gambar. 24 (12) (2015)
5017–5032.
[25] PJ Phillips, H. Moon, SA Rizvi, PJ Rauss, Metodologi evaluasi musang
untuk algoritma pengenalan wajah, IEEE Trans Pattern Anal Mach Intell 22 (10)
(2000) 1090–1104.
12
Machine Translated by Google
C. Li, Y. Huang, W. Huang dkk.
[26] K.-C. Lee, J. Ho, D. Kriegman, Acquiring linear subspaces for face recognition under variable
lighting, IEEE Trans Pattern Anal Mach Intell 27 (5) (2005) 684–698.
[27] GB Huang, M. Mattar, T. Berg, E. Learned-Miller, Wajah berlabel di alam liar: Database
untuk mempelajari pengenalan wajah di lingkungan yang tidak dibatasi, 2008.
[28] OM Parkhi, A. Vedaldi, A. Zisserman, Pengenalan wajah dalam, dalam: British Ma
Konferensi Visi Tiongkok, 2015, hlm. 41.1–41.12.
[29] T. Ahonen, A. Hadid, M. Pietikainen, Deskripsi wajah dengan pola biner lokal: aplikasi
untuk pengenalan wajah, IEEE Trans Pattern Anal Mach Intell 28 (12) (2006) 2037–2041.
[30] W. Zhang, S. Shan, W. Gao, X. Chen, H. Zhang, Local gabor binary pattern his togram
sequence (lgbphs): Model non-statistik baru untuk representasi dan pengenalan wajah,
dalam: IEEE Konferensi Internasional tentang Visi Komputer (ICCV), 2005, hlm. 786–791.
[31] P. Li, Q. Wang, Z. Hui, Z. Lei, deskripsi gaussian log-euclidean multivariat lokal dan
penerapannya pada klasifikasi citra, IEEE Trans Pattern Anal Mach Intell 39 (4) (2017)
803–817 .
[32] S. Xie, S. Shan, X. Chen, J. Chen, Menggabungkan pola lokal besarnya gabor dan fase
untuk pengenalan wajah, IEEE Trans. Proses Gambar. 19 (5) (2010) 1349– 1361.
[33] L.Z, P.M, L.SZ, Belajar deskriptor wajah diskriminan, IEEE Trans Pattern Anal
Mach Intell 36 (2) (2014) 289–302.
[34] Y. Duan, J. Lu, J. Feng, J. Zhou, pembelajaran fitur biner lokal sadar konteks untuk
pengenalan wajah, IEEE Trans Pattern Anal Mach Intell 40 (5) (2018) 1139.
[35] W. Deng, J. Hu, J. Guo, Pola biner kompresif: merancang deskriptor wajah biner yang kuat
dengan filter eigen bidang acak, IEEE Trans Pattern Anal Mach Intell 41 (3) (2019) 758–
767.
[36] CY Low, BJ Teoh, CJ Ng, Multi-fold gabor, pca dan ica filter convolution de scriptor untuk
pengenalan wajah, IEEE Trans. Sistem Sirkuit. Video Technol. 29 (1) (2019) 115–129.
[37] R. Gross, J. Shi, The cmu motion of body (mobo) database, Monum Nihon 45
(4) (2001).
[38] M. Kim, S. Kumar, V. Pavlovic, H. Rowley, Pelacakan wajah dan pengenalan dengan
batasan visual dalam video dunia nyata, dalam: IEEE Conference on Computer Vision
and Pattern Recognition (CVPR), 2008, hlm .1–8.
[39] R. Wang, H. Guo, LS Davis, Q. Dai, pembelajaran diskriminatif Kovarian: Pendekatan alami
dan efisien untuk klasifikasi kumpulan gambar, dalam: Konferensi IEEE tentang Visi
Komputer dan Pengenalan Pola, 2012, hlm. 2496– 2503.
[40] X. Wu, R. He, Z. Sun, T. Tan, cnn ringan untuk representasi wajah dalam dengan label
bising, IEEE Trans. Inf. Keamanan Forensik. 13 (11) (2018) 2884–2896.
13
Pengenalan Pola 119 (2021) 108085
[41] M. Tan, Q. Le, Efficientnet: Memikirkan kembali penskalaan model untuk jaringan saraf
konvolusional, dalam: Konferensi Internasional tentang Pembelajaran Mesin, PMLR, 2019,
hlm. 6105–6114.
[42] J. Deng, J. Guo, N. Xue, S. Zafeiriou, Arcface: Additive angular margin loss for deep face
recognition, dalam: IEEE Conference on Computer Vision and Pattern Recognition (CVPR),
2019, hlm. 4690– 4699.
[43] A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M.
Dehghani, M. Minderer, G. Heigold, S. Gelly, dkk., Sebuah gambar adalah senilai 16x16
kata: Transformator untuk pengenalan gambar dalam skala besar, dalam: Konferensi
Internasional Kesembilan tentang Representasi Pembelajaran (ICLR), 2021, hlm. 1–21.
Chaorong Li menerima gelar Ph.D. gelar dari School of Computer Science and Engineering,
University of Electronic Science and Technology of China, Chengdu pada tahun 2013, dan
menerima gelar MS dalam ilmu komputer dan teknik dari Western Normal University of China,
Nanchong, China, pada tahun 2007. Saat ini dia adalah seorang asisten profesor di College of
Computer and Information Engineering, Yibin University, dan dia juga seorang peneliti di
University of Electronic Science and Tech nology of China. Minat penelitiannya meliputi analisis
wavelet, pengenalan pola, dan visi komputer.
Yuanyuan Huangis dengan Universitas Teknologi Informasi Chengdu, Chengdu, China. Ia
menerima gelar BS, MS dan Ph.D. gelar dari University of Electronic Science and Technology
of China (UESTC), masing-masing pada tahun 2004, 2007 dan 2013, semuanya dalam ilmu
komputer. Dari 2009.11 hingga 2011.11, dia telah menjadi sarjana tamu di University of
Washington, Seattle, USA. Dia adalah asisten profesor di Universitas Teknologi Informasi
Chengdu sejak 2013. Minat penelitiannya meliputi Pemrosesan gambar/video dan ilmu data.
Wei Huang menerima gelar MS dalam bidang teknik biomedis dari University of Electronic
Science and Technology of China pada tahun 2017. Saat ini dia sedang bekerja untuk meraih
gelar Ph.D. gelar di bidang teknik biomedis dari University of Electronic Science and Technology
of China. Minat penelitiannya meliputi decoding kognitif visual, pembelajaran mendalam, visi
komputer, dan pencitraan resonansi magnetik fungsional.
Fengqing Qin menerima gelar BS dalam ilmu komputer dan teknologi dari Universitas Teknik
Sichuan, Zigong, Sichuan, Cina, pada tahun 1999, dan gelar MS dan gelar PhD dalam
komunikasi dan sistem informasi dari Universitas Sichuan, Chengdu, Sichuan, Cina, pada tahun
2006 dan 2009 masing-masing. Dia saat ini adalah seorang profesor di perguruan tinggi teknik
komputer dan informasi, Universitas Yibin. Minat penelitiannya saat ini adalah pemrosesan
gambar dan video.