FORM REVIEW ARTIKEL

ILMIAH

NIM : 09021181823028
Nama : Aprina Damayanti
Prodi : Teknik Informatika
Kelas : 5 Reg A

No. Artikel 1
Tahun 2020

Judul Hypergraph Attention Networks for

Inductive Text Classification
Nama Peneliti Kaize Ding, Jianling Wang, Jundong Li, Dingcheng Li dan Huan Liu
Masalah yang Masalah pemrosesan bahasa alami dalam klasifikasi teks untuk menangani
diteliti kumpulan data besar dan dokumen baru dengan komputasi yang sedikit
dibandingkan kekuatan yang lebih ekspresif.
Dataset yang 5 kumpulan data benchmark dari
digunakan domain yang berbeda: 20-Newsgroups
(20NG), Reuters (R8 dan R52), Ohsumed, danMovie Review (MR). Dataset 20-
Newsgroups dan dua dataset Reuters digunakan untuk
klasifikasi berita. Dataset Ohsumed adalah literatur medis.
Kumpulan data Review Film dikumpulkan untuk klasifikasi
sentimen biner.
Metode yang Model GNN yang dikembangkan untuk klasifikasi teks induktif dengan
digunakan merangkum batasan utama yang perlu ditangani lalu mengilustrasikan
penggunaan hypergraphs untuk memodelkan dokumen teks dan Model
HyperGAT berdasarkan mekanisme ganda baru dan pelatihan model untuk
klasifikasi teks induktif.

Hasil Model HyperGAT yang diusulkan mengungguli semua baseline

penelitian pada lima dataset evaluasi, yang menunjukkan kemampuan
superiornya dalam klasifikasi teks. Hasil observasi dan analisis mendalam
berikut ini:
• Berbasis grafik metode, terutama model berbasis GNN mampu
mencapai kinerja yang unggul dibandingkan dua kategori
baseline lainnya pada empat dataset pertama. Pengamatan ini
menunjukkan bahwa kinerja klasifikasi teks dapat ditingkatkan
secara langsung dengan menangkap interaksi kata jarak jauh.
Sedangkan untuk dataset MR, berbasis urutan
metode (CNN dan LSTM) menunjukkan kemampuan klasifikasi yang lebih
kuat daripada kebanyakan berbasis grafik
baseline. Salah satu alasan potensial adalah bahwa informasi
 konteks sekuensial memainkan peran penting dalam klasifikasi
sentimen, yang tidak dapat secara eksplisit ditangkap oleh mayoritas yang ada.
HyperGAT memiliki keunggulan komputasi yang signifikan dalam hal
konsumsi memori. Alasan utamanya adalah karena HyperGAT melakukan
pembelajaran representasi teks di tingkat dokumen dan hanya perlu menyimpan
kumpulan hypergraph teks kecil selama pelatihan. Sebaliknya, TextGCN
memerlukan pembuatan grafik documentword yang besar menggunakan
dokumen pelatihan dan pengujian, yang pasti menghabiskan banyak memori.
Kelebihan Keuntungan komputasi lain dari model ini adalah bahwa HyperGAT adalah
model induktif yang dapat menggeneralisasi ke dokumen yang tidak terlihat.
Jadi, kita tidak perlu melatih ulang seluruh model untuk dokumen yang baru
ditambahkan seperti metode transduktif. Sensitivitas Model. Kinerja model pada
20NG dan Ohsumed dengan dimensi penyematan lapisan pertama yang berbeda
dengan pertumbuhan data pelatihan berlabel, semua metode
yang dievaluasi dapat mencapai peningkatan kinerja. Lebih luar biasa
lagi, HyperGAT dapat secara signifikan mengungguli baseline lain
dengan data berlabel terbatas, yang menunjukkan keefektifannya dalam
skenario dunia nyata.

Kekurangan Dengan berbagai metode maka banyak hasil yang berbeda sampai harus ada
yang mengulang pengujian agar mendapat hasil yang akurat.
Kesimpulan Metode yang diusulkan metode berbasis grafik baru untuk memecahkan
masalah klasifikasi teks induktif. Terlepas dari upaya yang ada, kami
mengusulkan untuk memodelkan dokumen teks dengan dokumen level
hypergraphs dan selanjutnya mengembangkan keluarga baru model GNN
bernama HyperGAT untuk mempelajari representasi teks diskriminatif. Secara
khusus, metode kami mampu memperoleh kekuatan yang lebih ekspresif dengan
konsumsi komputasi yang lebih sedikit untuk pembelajaran representasi teks .
Dengan melakukan eksperimen ekstensif, hasilnya menunjukkan keunggulan
model yang diusulkan di atas metode canggih.
URL Artikel https://arxiv.org/search/?searchtype=author&query=Agarwal%2C+A&start=250
 FORM REVIEW ARTIKEL
ILMIAH

NIM : 09021181823028
Nama : Aprina Damayanti
Prodi : Teknik Informatika
Kelas : 5 Reg A

No. Artikel 2
Tahun 2020

Judul Collaborative Training of GANs in Continuous and Discrete Spaces for Text
Generation
Nama Yanghoon Kim, Seungpil Won, Seunghyun Yoon, dan Kyomin jung
Peneliti
Masalah yang Ada 2 masalah yang dibahas pertama adalah MLE bisa eksposur selama
diteliti pelatihan, model secara berurutan menghasilkan kata berikutnya tergantung
pada kata-kata kebenaran dasar. Namun, model ini mengandalkan kata-kata
yang dihasilkan sebelumnya pada waktu inferensi. Oleh karena itu, efek
kumulatif dari prediksi yang salah dalam urutan teks menghasilkan sampel
berkualitas rendah. Masalah kedua terletak pada fungsi objektif metode berbasis
MLE yang ketat model dipaksa untuk mempelajari setiap kata dalam kalimat
target.
Dataset yang Kumpulan data COCO Image Caption
digunakan (COCO) [24], kumpulan data Stanford Natural Language Infer- ence (SNLI)
[25] dan EMNLP 2017 WMT News (EMNLP). Statistik dari setiap dataset
Untuk dataset SNLI, dengan mempertimbangkan distribusi data panjang kalimat
maksimum 15 dan ukuran kosakata 11k. Setiap set data mewakili lingkungan
eksperimental yang berbeda, yang memiliki dampak kritis pada pelatihan tanpa
pengawasan dari model pembuatan teks: COCO untuk data berukuran kecil
dengan teks pendek, SNLI untuk data berukuran besar dengan teks pendek, dan
EMNLP untuk data berukuran sedang data dengan teks panjang.

Metode yang Metode GAN (Generative Adversarial Networks), Ruang Kontinu dan Ruang
digunakan Diskrit.

Hasil Model RL-detached menunjukkan kinerja yang unggul di atas model ARAE asli
penelitian model ARAE. Setiap skor dirata-ratakan selama lima kali berjalan memiliki
standar deviasi yang lebih kecil dari 0,005. Kekuatan atas ScratchGan,
implementasi model mirip ARAE berperforma lebih baik daripada kebanyakan
metode ruang diskrit. Efek model kami menonjol dalam n-gram yang lebih
besar, yang berarti metode yang umum digunakan kombinasi kata, seperti frase,
dapat dihasilkan dengan kualitas dan keragaman yang lebih baik. Kemudian,
kami membandingkan performa pada korpus lain yang umum digunakan, yang
merupakan bagian dari kumpulan data dan memiliki jumlah data pelatihan yang
 sangat kecil. GAN bekerja lebih baik daripada kebanyakan metode ruang diskrit
dalam menghasilkan kombinasi kata yang lebih panjang. Bahwa semua skor
BLEU dan B-BLEU dari ARAE lebih tinggi daripada metode ruang-diskrit,
termasuk model yang diusulkan.
Kelebihan Banyak metode yang digunakan dengan keunggulan masing-masing.

Kekurangan Kurangnya data pelatihan (yaitu, 10k sampel) tidak dapat memberikan panduan
yang cukup untuk diskriminator RL berbasis RNN
Kesimpulan ConcreteGAN, arsitektur GAN baru untuk pembuatan teks. Tidak seperti
pendekatan sebelumnya, ConcreteGAN mempromosikan pelatihan kolaboratif
metode ruang-kontinu dan ruang-diskrit. Interaksi antara dua pelatihan
permusuhan memiliki efek yang saling melengkapi pada pembuatan teks. Dari
metode ruang kontinu, model ini secara efektif mengurangi ruang pencarian
penghapus kode-RL. Sementara itu, pelatihan ruang-diskrit memungkinkan
model untuk menangkap struktur teks dan dengan demikian mengurangi bias
eksposur, yang disebabkan oleh metode ruang-kontinu. Hasil percobaan pada
tiga dataset benchmark standar menunjukkan bahwa ConcreteGAN
mengungguli GAN teks mutakhir dalam hal kualitas, keragaman, dan
konsistensi global.
URL Artikel https://arxiv.org/search/?searchtype=author&query=Agarwal%2C+A&start=250
 FORM REVIEW ARTIKEL
ILMIAH

NIM : 09021181823028
Nama : Aprina Damayanti
Prodi : Teknik Informatika
Kelas : 5 Reg A

No. Artikel 3
Tahun 2020

Judul End to End Binarized Neural Networks for Text Classification

Nama Harshil Jain, Akshat Agarwal, Kumar Shridhar dan Denis Kleyko
Peneliti
Masalah yang Penyederhanaan komputasi yang dilakukan oleh jaringan dari ujung ke ujung
diteliti arsitektur jaringan syaraf tiruan binarisasi.

Dataset yang Dataset yang diperlukan ada empat dataset, yaitu: Chatbot Corpus ( Chatbot),
digunakan file Tanya Ubuntu Corpus ( AskUbuntu), file Corpus Aplikasi Web (
WebApplication), dan 20 Corpus Grup Berita ( 20 NewsGroups).
Dataset Chatbot,AskUbuntu dan WebApplication digunakan untuk klasifikasi
maksud teks pendek dan diambil dari (Braun et al., 2017). Kumpulan data
tersedia di GitHub Dataset 20NewsGroups tersedia dalam pustaka sklearn
(Buitinck et al., 2013). Chatbot Corpus: Chatbot Corpus dikumpulkan dari
pertanyaan yang diposting menggunakan Telegram Chatbot. Tugas klasifikasi
dilakukan pada 2 maksud: ( Waktu Keberangkatan dan Temukan Koneksi)
dengan 206 pertanyaan. Set kereta terdiri dari 100 sampel, sementara 106
sampel digunakan sebagai set tes. AskUbuntu Corpus: Corpus AskUbuntu telah
diekstraksi dari platform AskUbuntu. Terdiri dari 5 maksud ( Lakukan
Pembaruan, Atur Printer, Matikan Komputer, Rekomendasi Perangkat Lunak,
dan Tidak Ada) dengan 53 sampel pelatihan dan 109 sampel uji.
WebApplication Corpus: Corpus WebApplication terdiri dari 88 sampel dan 8
maksud ( Ubah Kata Sandi, Hapus Akun, Unduh Video, Ekspor Data, Filter
Spam, Temukan Alternatif, Sinkronkan Akun, dan Tidak Ada) dengan 30
sampel pelatihan dan 58 sampel uji. 20BeritaGroups Corpus: 20NewsGroups
terdiri dari postingan berita yang dikategorikan menjadi 20 kategori. Setiap
kategori memiliki persis 18846 sampel teks dengan 11314 sampel untuk
pelatihan dan 7532 sampel untuk pengujian. Distribusi data terperinci untuk
setiap kumpulan data disediakan di Lampiran.
Metode yang Token digunakan sebagai input untuk vectorizer berbasis hitungan. Representasi
digunakan vectorizers, yang jarang dan lokal, disematkan ke dalam vektor HD
(representasi terdistribusi) menggunakan komputasi hyperdimensional (Rahimi
et al., 2017). Komputasi hiperdimensi terkait erat dengan jaringan saraf yang
terhubung secara acak (Kleyko et al., 2020), (Kleyko et al., 2017) tetapi
 memungkinkan pembuatan representasi yang lebih kompleks seperti struktur
data.
Hasil 512 vektor dimensi HD untuk korpus Chatbot, AskUbuntu dan WebApplication,
penelitian sementara 1024 vektor dimensi HD digunakan untuk dataset 20NewsGroups.
Pemilihan dimensi didasarkan pada ukuran dataset dan dimensi yang lebih besar
digunakan untuk dataset yang lebih besar. Vektor HD binarisasi berkinerja jauh
lebih baik daripada metode binarisasi lain yang mengungguli GloVe binarisasi
by 4 - 25% dan binarisasi SemHash by 2 - 8% di 2 dari 3 dataset klasifikasi
maksud yang lebih kecil dan mencapai hasil yang sebanding untuk dataset
AskUbuntu Arsitektur binarisasi ujung ke ujung (HD BNN) mencapai hasil
mutakhir untuk kumpulan data Chatbot. Hanya vektor HD yang di-binarisasi
(vektor HD binarisasi dengan klasifikasi terbaik) mencapai hasil yang canggih
untuk dataset AskUbuntu. Hasil pada kumpulan data WebApplication sebanding
dengan yang canggih ( 0.87 dengan SemHash): 0.84 untuk vektor HD biner
dengan kelas terbaik dan 0.83 untuk HD BNN. Performa rata-rata dari kedua
vektor HD biner dengan kelas terbaik ( 0,92) dan HD BNN ( 0,91)
Kelebihan Vektor HD binarisasi merupakan kelas terbaik dalam arsitektur binarisasi ujung
ke ujung.
Kekurangan Setiap dataset yang diuji dengan Vektor HD memiliki jumlah yang berbeda
Kesimpulan Arsitektur binarisasi ujung ke ujung bahwa untuk mencapai hasil yang
sebanding dengan hasil yang canggih saat menggunakan representasi binari dari
semua komponen arsitektur klasifikasi NLP. Hal ini memungkinkan untuk
mengeksplorasi keefektifan representasi biner baik untuk
mengurangi jejak memori arsitektur dan untuk meningkatkan efisiensi energi
fase inferensi karena efektivitas operasi biner. Penelitian ini mengambil langkah
untuk mengaktifkan fungsionalitas NLP pada perangkat dengan sumber daya
terbatas.
URL Artikel https://arxiv.org/search/?searchtype=author&query=Agarwal%2C+A&start=250