Diterjemahkan dari bahasa Inggris ke bahasa Indonesia - www.onlinedoctranslator.
com
Fitur Input Linguistik Meningkatkan Terjemahan Mesin Neural
Rico Sennrichdan Sekolah Informatika Barry Haddow,
Universitas
Edinburghrico.sennrich@ed.ac.uk,bhaddow@inf.e
d.ac.uk
Abstrak
Terjemahan mesin saraf baru-baru ini
mencapai hasil yang mengesankan,
sementara menggunakan sedikit
informasi linguistik eksternal. Dalam
makalah ini kami menunjukkan bahwa
kemampuan belajar yang kuat dari model
neural MT tidak membuat fitur linguistik
menjadi mubazir; mereka dapat dengan
mudah digabungkan untuk memberikan
peningkatan kinerja lebih lanjut. Kami
menggeneralisasi lapisan penyematan
encoder dalam arsitektur encoder-
decoder untuk mendukung penyertaan
fitur arbitrer, selain fitur kata dasar. Kami
menambahkan fitur morfologis, tag part-
of-speech, dan label ketergantungan
sintaksis sebagai fitur input ke bahasa
Inggris↔.Jerman dan Inggris→Sistem
terjemahan mesin saraf Rumania. Dalam
eksperimen pada set pelatihan dan
pengujian WMT16, kami menemukan
bahwa fitur input linguistik
meningkatkan kualitas model menurut
tiga metrik: kebingungan,
BLEU danCHRF3. Implementasi open-
source dari sistem MT saraf kami
tersedia 1, seperti file sampel dan
konfigurasi2.
1. Perkenalan
Terjemahan mesin saraf baru-baru ini mencapai
hasil yang mengesankan (Bahdanau et al., 2015;
Jean et al., 2015), sambil belajar dari teks paralel
yang selaras dengan kalimat dan menggunakan
sedikit informasi linguistik eksternal. 3
Namun, kami berhipotesis bahwa berbagai
tingkat anotasi linguistik dapat bermanfaat untuk
terjemahan mesin saraf. Lemmatisasi dapat
mengurangi kelangkaan data, dan
memungkinkan varian infleksional dari
1
https://github.com/rsennrich/nematus
kata yang sama untuk secara eksplisit berbagi
representasi dalam model. Jenis anotasi lain,
seperti bagian-of-speech (POS) atau label
ketergantungan sintaksis, dapat membantu dalam
disambiguasi. Dalam makalah ini kami
menyelidiki apakah informasi linguistik
bermanfaat untuk model terjemahan saraf, atau
apakah kemampuan belajar mereka yang kuat
membuat fitur linguistik eksplisit menjadi
berlebihan.
Mari kita memotivasi penggunaan fitur
linguistik menggunakan contoh kesalahan
terjemahan yang sebenarnya oleh sistem MT
saraf. Dalam terjemahan dari bahasa Inggris, satu
masalah adalah bahwa bentuk kata permukaan
yang sama dapat digunakan bersama di antara
beberapa jenis kata, karena homonimi atau
proses pembentukan kata seperti konversi.
Misalnya, close bisa berupa kata kerja, kata sifat,
atau kata benda, dan arti yang berbeda ini sering
kali memiliki terjemahan yang berbeda ke dalam
bahasa lain. Perhatikan bahasa Inggris berikut
ini→Contoh Jerman:
1. Kami pikir kemenangan seperti ini mungkin
sudah dekat.
2. Wir dachten, dass ein solcher Sieg nah sein
könnte.
3. *Wir dachten, ein Sieg wie dieser könnte
schließen.
Untuk kalimat sumber bahasa Inggris di Contoh
1 (terjemahan kami di Contoh 2), sistem MT saraf
(sistem dasar kami dari Bagian 4) salah
menerjemahkan close sebagai kata kerja, dan
menghasilkan kata kerja Jerman schließen
(Contoh 3) , meskipun close adalah kata sifat
dalam kalimat ini, yang memiliki terjemahan
bahasa Jerman nah. Secara intuitif, anotasi part-
of-speech dari input bahasa Inggris dapat
membedakan antara makna verba, nomina, dan
adjektiva close.
Sebagai contoh kedua, perhatikan berikut ini
 Jerman→contoh bahasa
inggris:
2
https://github.com/rsennrich/wmt16-scripts
3
Alat linguistik paling sering digunakan dalam 4. Gefährlich ist die Rute aber dennoch .
preprocessing, misalnya untuk segmentasi Turki (Gülçehre berbahaya adalah rute tapi tetap saja.
et al., 2015).
arXiv:1606.02892v2 [cs.CL] 27 Jun 2016
 5. Namun rutenya berbahaya.
6. *Berbahaya adalah rutenya.
Klausa utama Jerman memiliki urutan kata
verb-second (V2), sedangkan urutan kata bahasa
Inggris umumnya SVO. Kalimat Jerman (Contoh
4; referensi bahasa Inggris dalam Contoh 5)
mengoleskan predikat gefährlich 'berbahaya',
menempatkan subjek die Route 'the route' setelah
kata kerja. Sistem dasar kami (Contoh 6)
mempertahankan urutan kata asli, yang sangat
tidak biasa dalam bahasa Inggris, terutama untuk
prosa dalam domain berita. Anotasi sintaksis dari
kalimat sumber dapat mendukung perhatian
encoder-decoder dalam mempelajari kata-kata
mana dalam sumber Jerman yang harus
diperhatikan (dan diterjemahkan) terlebih
dahulu.
Kami akan menyelidiki kegunaan fitur linguistik untuk
pasangan bahasa Jerman↔.bahasa Inggris, dengan
mempertimbangkan fitur linguistik berikut:
•lemma
•tag subkata (lihat Bagian 3.2)
•fitur morfologi
•tag POS
→
•label
ketergantungan
Dimasukkannya lemma dimotivasi oleh
berharap untuk generalisasi yang lebih baik atas
varian infleksional dari bentuk kata yang sama.
Fitur linguistik lainnya dimotivasi oleh
disambiguasi, seperti yang dibahas dalam contoh
pendahuluan kami.
2 Terjemahan Mesin Neural
Kami mengikuti arsitektur terjemahan mesin saraf oleh
Bahdanau et al. (2015), yang akan kami
ringkas di sini.
Sistem terjemahan mesin saraf
diimplementasikan
mented sebagai jaringan encoder-decoder
perhatian dengan jaringan saraf berulang.
Encoder adalah jaringan saraf dua arah dengan
unit berulang yang terjaga keamanannya (Cho et vektor embedding terpisah untuk setiap fitur, yang
al., 2014) yang membaca urutan input x = (x 1 , ..., kemudian digabungkan. Panjang gabungan
xM)
dan menghitung urutan maju dari hidden
→vektor cocok dengan ukuran embedding total, dan semua
menyatakan ( h1 , ..., HM ), dan barisan mundur
←-←- ←-bagian lain dari model tetap tidak berubah.
( H1, ..., HM). Negara-negara HJdan HJadalah
tersembunyi
digabungkan untuk mendapatkan vektor anotasi
hJ.
vektor konteks csaya . Csayadihitung sebagai
jumlah tertimbang dari anotasi hJ. Bobot setiap
anotasi hJdihitung melalui model keselarasanaku
j, yang memodelkan probabilitas bahwa
ysayasejajar dengan xJ. Model keselarasan adalah
jaringan saraf umpan maju satu lapis yang
dipelajari bersama dengan jaringan lainnya
melalui propagasi balik.
Penjelasan rinci dapat ditemukan di (Bahdanau
et al., 2015), meskipun implementasi kami
didasarkan pada bentuk yang sedikit dimodifikasi
dari arsitektur ini, dirilis untuk tutorial dl4mt 4.
Pelatihan dilakukan pada korpus paralel dengan
penurunan gradien stokastik. Untuk translasi,
digunakan beam search dengan ukuran beam
yang kecil.
2.1 Menambahkan Fitur
Masukan
Inovasi utama kami atas arsitektur encoder-
decoder standar adalah bahwa kami mewakili
input encoder sebagai kombinasi fitur
(Alexandrescu dan Kirchhoff, 2006).
Kami di sini menunjukkan persamaan untuk maju
status encoder (untuk kasus RNN sederhana;
pertimbangkan (Bahdanau et al., 2015)
untuk GRU):
HJ= tanh(W ExJ+ U hj 1) (1)
dimana E∈.Rm×Kxadalah kata penyisipan ma-
→W
trix, Rn×m, U ∈.Rn×nadalah matriks berat,
dengan m dan n masing-masing adalah ukuran
penyisipan kata dan jumlah unit tersembunyi,
dan Kxmenjadi ukuran kosakata bahasa sumber.
Kami menggeneralisasi ini ke sejumlah fitur yang
berubah-ubah|F|:
|F |
→n
HJ= tan(W ( Ekxjk) + U hj 1) (2)
k=1
di manakadalah rangkaian vektor, Ek∈.
RMk×Kkadalah matriks penyematan fitur, dengan
P| M = m, dan K adalah ukuran kosakata
k=1 k k
dari fitur ke-k. Dengan kata lain, kami mencari
Dekoder adalah jaringan saraf berulang yang
memprediksi urutan target y = (y 1 , ..., kamun).
Setiap kata ysayadiprediksi berdasarkan keadaan 3 Fitur Masukan Linguistik
tersembunyi berulang ssaya , kata yang
Model umum kami dari bagian sebelumnya
diprediksi sebelumnya ysaya1, dan
mendukung sejumlah fitur input yang berubah-
ubah.

4
https://github.com/nyu-dl/dl4mt-tutorial
Dalam makalah ini, kami akan fokus pada menggunakan segmentasi berdasarkan byte-pair
sejumlah fitur linguistik yang terkenal. Pertanyaan encoding (BPE)
empiris utama kami adalah jika menyediakan fitur
linguistik untuk encoder meningkatkan kualitas
terjemahan sistem terjemahan mesin saraf, atau
jika informasi muncul dari pelatihan model
encoder-decoder pada teks mentah, membuat
inklusi melalui eksplisit fitur yang berlebihan.
Semua fitur linguistik diprediksi secara otomatis;
kami menggunakan Stanford CoreNLP
(Toutanova et al., 2003; Minnen et al., 2001;
Chen dan Manning, 2014) untuk membubuhi
keterangan input bahasa Inggris untuk bahasa
Inggris→Jerman, dan ParZu (Sennrich et al.,
2013) untuk membubuhi keterangan input Jerman
untuk Jerman→Bahasa Inggris. Kami di sini
membahas fitur individu secara lebih rinci.

3.1
Menggunakan lemmas sebagai fitur input
menjamin berbagi informasi antara bentuk kata
yang memiliki bentuk dasar yang sama. Pada
prinsipnya, model saraf dapat mempelajari
bahwa varian infleksional terkait secara
semantik, dan merepresentasikannya sebagai titik
serupa dalam ruang vektor kontinu (Mikolov et
al., 2013). Namun, sementara ini telah
ditunjukkan untuk kata-kata frekuensi tinggi,
kami berharap bahwa representasi lemmatized
meningkatkan efisiensi data; varian frekuensi
rendah bahkan mungkin tidak diketahui oleh
model tingkat kata. Dengan model tingkat
karakter atau subkata, tidak jelas sejauh mana
mereka dapat mempelajari kesamaan antara
bentuk kata frekuensi rendah yang berbagi
lemma, terutama jika bentuk kata tidak mirip.
Perhatikan dua bentuk kata Jerman berikut, yang
memiliki lemma liegen 'liegen':

•kebohongan'kebohongan' (3.p.sg. sekarang)

•besar'lay' (3.p.sg. subjungtif II)

Lemmatiser yang kami gunakan didasarkan

pada metode keadaan hingga, yang memastikan
cakupan yang luas, bahkan untuk bentuk kata
yang jarang. Kami menggunakan penganalisis
Zmorge untuk bahasa Jerman (Schmid et al.,
2004; Sennrich dan Kunz, 2014), dan lemmatiser
dalam toolkit Stanford CoreNLP untuk bahasa
Inggris (Minnen et al., 2001).

3.2 Tag Subkata

Dalam percobaan kami, kami beroperasi pada
tingkat subkata untuk mencapai terjemahan
kosakata terbuka dengan kosakata simbol tetap,
(Sennrich et al., 2016c). Kami mencatat bahwa 4 Evaluasi
dalam segmentasi BPE, beberapa simbol
Kami mengevaluasi sistem kami pada tugas terjemahan
berpotensi ambigu, dan dapat berupa kata yang
bersama WMT16 Bahasa Inggris↔.Jerman. Data
terpisah, atau segmen sub-kata dari kata yang
pelatihan paralel terdiri dari sekitar 4,2 juta
lebih besar. Juga, teks direpresentasikan sebagai
pasangan kalimat.
urutan unit subkata tanpa batas kata yang
eksplisit, tetapi batas kata berpotensi membantu
untuk mempelajari simbol mana yang harus
diperhatikan, dan kapan harus melupakan
informasi di lapisan ulang. Kami mengusulkan
anotasi struktur sub-kata yang mirip dengan
format IOB populer untuk chunking dan
pengenalan entitas bernama, menandai jika
simbol dalam teks membentuk awal (B), di dalam
(I), atau akhir (E) dari sebuah kata . Sebuah tag
terpisah (O) digunakan jika simbol sesuai dengan
kata lengkap.
3.3 Fitur Morfologis
Untuk bahasa Jerman→Bahasa Inggris, parser
membubuhi keterangan input Jerman dengan
fitur morfologis. Jenis kata yang berbeda
memiliki set fitur yang berbeda – misalnya, kata
benda memiliki huruf besar/kecil, nomor dan
jenis kelamin, sedangkan kata kerja memiliki
orang, angka, tense, dan aspek.
– dan fitur mungkin kurang ditentukan. Kami
memperlakukan
penggabungan semua fitur morfologis sebuah
kata, menggunakan simbol khusus untuk fitur
yang tidak ditentukan, sebagai string, dan
memperlakukan setiap string tersebut sebagai
nilai fitur yang terpisah.
3.4 Tag POS dan Label
Ketergantungan
Dalam contoh pendahuluan kami, kami
memotivasi tag POS dan label ketergantungan
sebagai disambiguator yang mungkin. Setiap kata
dikaitkan dengan satu tag POS, dan satu label
ketergantungan. Yang terakhir adalah label tepi
yang menghubungkan sebuah kata ke kepala
sintaksisnya, atau 'ROOT' jika kata itu tidak
memiliki kepala sintaksis.
3.5 Tentang Menggunakan Fitur
tingkat Word di a
Model Subkata
Kami mengelompokkan kata-kata langka ke dalam unit
subkata menggunakan BPE. Tag subword mengkodekan
segmentasi kata ke dalam unit subword, dan tidak
memerlukan modifikasi lebih lanjut. Semua fitur lainnya
pada awalnya adalah fitur tingkat kata. Untuk membubuhi
keterangan teks sumber tersegmentasi dengan fitur, kami
menyalin nilai fitur kata ke semua unit subkata. Contohnya
ditunjukkan pada Gambar 1.
 akar
akar
persiapan nsubj pobj
det

Leonidas memohon di itu arena .

NNP VBD DI
dala DT NN .
DAL
kata-kata Le: oni: das mengem ged di itu arena .
lemma Leonidas Leonidas Leonidas menge
is: mengem dala
di itu arena .
tag subkata B saya E misB is E dala
HAI HAI HAI HAI
POS NNP NNP NNP VBD VBD DI DT NN .
dalam nsubj nsubj nsubj akar akar DALA
persiapa det pobj akar
n
Gambar 1: Pohon ketergantungan asli untuk kalimat Leonidas memohon di arena ., dan representasi
fitur kami setelah segmentasi BPE.

Untuk mengaktifkan terjemahan kosakata terbuka, kami masukan fitur penyematan

kosakata EN DE model semua tag subkata tunggal 4 4 4 5
mengkodekan kata-kata melalui BPE bersama5(Sennrich 5
et al., 2016c), mempelajari 89 500 operasi Tag POS 46 54 54 10 10 morph. fitur - 1400 1400 10 10
penggabungan pada rangkaian sumber label ketergantungan 46 33 46 10 10
dan sisi target dari data pelatihan paralel. Kita lemma 800000 1500000 85000 115 167
6
gunakan minibatch ukuran 80, kalimat maksimum Kami menggunakan implementasi ulang yang disertakan
dengan kode subword
panjang 50, penyisipan kata berukuran 500, dan
lapisan tersembunyi berukuran 1024. Kami
memotong norma gradien menjadi 1,0 (Pascanu et
al., 2013). Kami melatih model dengan Adadelta
(Zeiler, 2012), merombak korpus pelatihan antar
zaman. Kami memvalidasi model setiap 10.000
minibatch melalui BLEU dan kebingungan pada set
validasi (newstest2013).
Untuk MT neural, kebingungan adalah ukuran
yang berguna tentang seberapa baik model dapat
memprediksi terjemahan referensi yang diberikan
kalimat sumber. Oleh karena itu, kebingungan
merupakan indikator yang baik apakah fitur
masukan memberikan manfaat apa pun bagi
model, dan kami melaporkan kebingungan set
validasi terbaik dari setiap eksperimen. Untuk
mengevaluasi apakah fitur tersebut juga
meningkatkan kinerja terjemahan, kami
melaporkan case-sensitive BLEU skor dengan
mteval-13b.perl pada dua set tes, newstest2015
dan newstest2016. Kami juga melaporkanCHRF3
(Popovic´, 2015), karakter n- gram F 3skor
yang ditemukan berkorelasi baik dengan penilaian
manusia, terutama untuk terjemahan dari bahasa
Inggris (Stanojevic´ et al., 2015).6Kedua metrik
terkadang tidak setuju, sebagian karena mereka
sangat sensitif terhadap panjang keluaran.
BLEU berbasis presisi, sedangkanCHRF3
mempertimbangkan presisi dan recall,
dengan bias untuk recall. Untuk B LEU , kami
juga melaporkan apakah perbedaan antara sistem
signifikan secara statistik menurut uji signifikansi
resampling bootstrap (Riezler dan Maxwell,
2005).
Kami melatih model selama sekitar satu minggu, dan
melaporkan

5
https://github.com/rsennrich/subword-nmt
kata-kata 78500 85000 85000 * *

Tabel 1: Ukuran kosakata, dan ukuran lapisan penyematan fitur

linguistik, dalam sistem yang mencakup semua fitur, dan
eksperimen kontrastif yang menambahkan fitur tunggal di atas
garis dasar. Ukuran lapisan penyematan dari fitur kata diatur
untuk membawa ukuran total menjadi 500.

hasil untuk ansambel dari 4 model yang terakhir

disimpan (dengan model disimpan setiap 12 jam).
Ansambel berfungsi untuk menghaluskan varians
antara model tunggal.
Decoding dilakukan dengan beam search dengan
ukuran beam 12.
Untuk memastikan bahwa peningkatan kinerja tidak hanya
karena peningkatan jumlah parameter model, kami menjaga
ukuran total lapisan penyematan tetap menjadi 500. Tabel 1
mencantumkan ukuran penyematan yang kami gunakan untuk
fitur linguistik – ukuran lapisan penyematan dari fitur tingkat
kata bervariasi, dan diatur untuk membawa total ukuran lapisan
penyematan menjadi 500. Jika kita menyertakan fitur lemma,
kita secara kasar membagi vektor penyematan satu-ke-dua
antara fitur lemma dan fitur kata. Tabel juga menunjukkan
ukuran kosakata jaringan; untuk semua fitur kecuali lemma,
kami dapat merepresentasikan semua nilai fitur dalam kosakata
jaringan – dalam hal kata, ini karena segmentasi BPE. Untuk
lemma, kami memilih ukuran kosakata yang sama dengan kata,
menggantikan lemma langka dengan simbol UNK khusus.
Sennrich dkk. (2016b) melaporkan keuntungan
besar dari penggunaan data pelatihan dalam domain
monolingual, auto-
secara otomatis diterjemahkan kembali ke dalam
bahasa sumber untuk menghasilkan korpus 7
Korporat tersedia di
pelatihan paralel sintetik. Kami menggunakan
corpora sintetis yang diproduksi dalam
eksperimen ini7(3,6–4,2 juta pasangan kalimat),
dan kami melatih sistem yang menyertakan data
ini untuk dibandingkan dengan keadaan seni.
Kami mencatat bahwa eksperimen kami dengan
data ini memerlukan anotasi sintaksis dari data
yang diterjemahkan secara otomatis, yang
mungkin menjadi sumber gangguan. Untuk sistem
dengan data sintetis, kami menggandakan waktu
pelatihan menjadi dua minggu.
Kami juga mengevaluasi fitur linguistik untuk arah
terjemahan bahasa Inggris dengan sumber daya yang lebih
rendah→Rumania, dengan 0,6 juta pasangan
kalimat dari data pelatihan paralel, dan 2,2 juta
pasangan kalimat dari data paralel sintetik. Kami
menggunakan fitur linguistik yang sama seperti
untuk bahasa Inggris→Jerman. Kami mengikuti
Sennrich et al. (2016a) dalam konfigurasi, dan
gunakan dropout untuk bahasa Inggris→sistem
Rumania. Kami mengeluarkan kata-kata lengkap
(baik di sisi sumber dan target) dengan
probabilitas 0,1. Untuk semua lapisan lainnya,
probabilitas putus sekolah diatur ke 0,2.

4.1 Hasil
Tabel 2 menunjukkan hasil utama kami untuk bahasa
Jerman→Inggris, dan Inggris→Jerman. Sistem
dasar adalah sistem MT saraf dengan hanya satu
fitur masukan, (sub) kata itu sendiri. Untuk kedua
arah terjemahan, fitur linguistik meningkatkan
kebingungan terbaik pada data pengembangan
(47,3→46.2, dan 54.9→52,9, masing-masing).
Untuk bahasa Jerman→Bahasa Inggris, fitur
linguistik menyebabkan peningkatan 1,5
BLEU (31.4→32.9) dan
0,5CHRF3 (58,0→58.5), di newstest2016
set tes. Untuk bahasa Inggris→Jerman, kami
mengamati peningkatan 0,6 BLEU (27.8→28.4)
dan 1.2
CHRF3 (56.0→57.2).
Untuk mengevaluasi keefektifan fitur linguistik yang
berbeda secara terpisah, kami melakukan eksperimen
kontrastif di mana hanya satu fitur yang ditambahkan ke
baseline. Hasilnya ditunjukkan pada Tabel 3. Tidak
mengherankan, kombinasi semua fitur (Tabel 2)
memberikan peningkatan tertinggi, dirata-ratakan di atas
metrik dan set pengujian, tetapi sebagian besar fitur sendiri
bermanfaat. Tag subword memberikan sedikit peningkatan
untuk bahasa Inggris→Jerman, tapi tidak untuk
Jerman→Bahasa Inggris. Semua fitur lain
mengungguli baseline dalam hal kebingungan,
dan menghasilkan peningkatan yang signifikan
dalam BLEU setidaknya
satu set tes. Keuntungan dari fitur yang berbeda
tidak sepenuhnya kumulatif; kami mencatat
bahwa informasi yang dikodekan dalam fitur yang
berbeda tumpang tindih. Misalnya, label
ketergantungan dan fitur morfologis
mengkodekan perbedaan antara subjek Jerman
dan objek akusatif, yang pertama melalui label
yang berbeda (subj dan obja), yang terakhir
melalui kasus tata bahasa (nominatif dan
akusatif) .
Kami juga mengevaluasi penambahan fitur linguistik ke
dasar yang lebih kuat, yang mencakup data pelatihan paralel
sintetis. Selain itu, kami membandingkan sistem saraf kami
dengan sistem berbasis frase (PB- SMT) dan berbasis
sintaks (SBSMT) oleh (Williams et al., 2016), yang
semuanya menggunakan anotasi linguistik pada sumber
dan/ atau sisi sasaran. Hasil ditunjukkan pada Tabel 4.
Untuk bahasa Jerman→Bahasa Inggris, kami
mengamati peningkatan serupa dalam
kebingungan pengembangan terbaik
(45.2→44.1), set uji BLEU (37,5→38.5) danCHRF3
(62,2→62.8). Set pengujian kami BLEU setara
dengan sistem terbaik yang dikirimkan untuk
tugas terjemahan bersama WMT 16 tahun ini,
yang serupa dengan sistem MT dasar kami, tetapi
yang juga menggunakan dekoder kanan-ke-kiri
untuk peringkat ulang (Sennrich et al., 2016a).
Kami berharap bahwa fitur input linguistik dan
decoding dua arah adalah ortogonal, dan kami
http://statmt.org/rsennrich/wmt16_backtranslPSebuaheTRsayaPHailenxSsaya/tysecara konsisten
lebih rendah untuk sistem
dapat memperoleh peningkatan lebih lanjut
dengan menggabungkan keduanya.
Untuk bahasa Inggris→Jerman, perbaikan
dalam pengembangan menyebabkan
kebingungan (49,7→48.4), tetapi kami hanya
melihat perbedaan kecil dan tidak signifikan
dalam BLEU danCHRF3. Meskipun kami tidak
dapat dengan jelas memperhitungkan
perbedaan antara kebingungan dan metrik
terjemahan, faktor-faktor yang berpotensi
menurunkan kegunaan fitur linguistik dalam
pengaturan ini adalah dasar yang lebih kuat,
terlatih pada lebih banyak data, dan
rendahnya kekokohan alat linguistik dalam
anotasi dari kumpulan data sintetik yang
berisik. Baik sistem MT saraf dasar kami
dan sistem dengan fitur linguistik secara
substansial mengungguli sistem berbasis
frasa dan sintaksis untuk kedua arah
terjemahan.
Pada tabel sebelumnya, kami telah melaporkan
kebingungan terbaik. Untuk menjawab pertanyaan
tentang keacakan dalam kebingungan, dan apakah
kebingungan terbaik kebetulan lebih rendah untuk
sistem dengan fitur linguistik, kami menunjukkan
kebingungan pada set pengembangan kami
sebagai fungsi waktu pelatihan untuk sistem yang
berbeda (Gambar 2 ). Kita bisa melihat itu
 Jerman→Inggris Inggris→Jerman
sistem ppl B LEU↑. CHRF3 ppl B LEU↑. CHRF3
dev tes15 tes16 tes15 tes16 dev tes15 tes16 tes15 tes16
garis dasar 47.3 27.9 31.4 54.0 58.0 54.9 23.0 27.8 52.6 56.0
semua fitur 46.2 28.7* 32.9* 54.8 58.5 52.9 23.8* 28.4* 53.9 57.2

Tabel 2: Bahasa Jerman↔.Hasil terjemahan bahasa Inggris: kebingungan terbaik pada dev
(newstest2013), dan BLEU danCHRF3 pada test15 (newstest2015) dan test16 (newstest2016).
B LEU skor yang berbeda secara signifikan (p < 0,05) dari masing-masing baseline ditandai dengan (*).

Jerman→Inggris Inggris→Jerman
sistem ppl B LEU↑. CHRF3 ppl B LEU↑. CHRF3
dev tes15 tes16 tes15 tes16 dev tes15 tes16 tes15 tes16
garis dasar 47.3 27.9 31.4 54.0 58.0 54.9 23.0 27.8 52.6 56.0
lemma 47.1 28.4 32.3* 54.6 58.7 53.4 23.8* 28.5* 53.7 56,7
tag subkata 47.3 27.7 31.5 54.0 58.1 54.7 23.6* 28.1 53.2 56.4
berubah fitur 47.1 28.2 32.4* 54.3 58.4 - - - - -
tag POS 46.9 28.1 32.4* 54.1 57.8 53.2 24.0* 28.9* 53.3 56.8
label ketergantungan 46.9 28.1 31,8* 54.2 58.3 54.0 23.4* 28.0 53.1 56,5

Tabel 3: Eksperimen kontrastif dengan fitur linguistik individual: kebingungan terbaik pada dev (new-stest2013), dan
BLEU danCHRF3 pada test15 (newstest2015) dan test16 (newstest2016). B LEU skor yang berbeda
secara signifikan (p < 0,05) dari masing-masing baseline ditandai dengan (*).

Jerman→Inggris Inggris→Jerman
sistem ppl B LEU↑. CHRF3 ppl B LEU↑. CHRF3
dev tes15 tes16 tes15 tes16 dev tes15 tes16 tes15 tes16
PBSMT (Williams et al., 2016) - 29.9 35.1 56.2 60.9 - 23.7 28.4 52.6 56.6
SBSMT (Williams et al., 2016) - 29.5 34.4 56.0 61.0 - 24.5 30.6 55.3 59.9
garis dasar 45.2 31.5 37.5 57.0 62.2 49.7 27,5 33.1 56.3 60.5
semua fitur 44.1 32.1* 38.5* 57.5 62.8 48.4 27.1 33.2 56,5 60.6

Tabel 4: Bahasa Jerman↔.Hasil terjemahan bahasa Inggris dengan tambahan, data pelatihan sintetis:
kebingungan terbaik pada dev (newstest2013), dan B LEU danCHRF3 pada test15 (newstest2015)
dan test16 (newstest2016). B LEU skor yang berbeda secara signifikan (p < 0,05) dari masing-masing
baseline ditandai dengan (*).

EN-DE baseline (data sintetik)
EN-DE semua fitur (data synth)
120
DE-EN baseline (data synth)
D E - E N s e m u a fi t u r ( d a t a s y n t h . )
100
kebingu
80
60
40
0 10 20 30 40 50 60
waktu pelatihan (minibatch·10000)
Gambar 2: Bahasa Inggris→Jerman (hitam) dan
Jerman→Perkembangan bahasa Inggris (merah)
mengatur kebingungan sebagai fungsi waktu
pelatihan (jumlah minibatch) dengan dan tanpa
fitur linguistik.
sistem ppl BLEU↑.CHRF3 (Peter et al., 2016) - 28,9
57,1 baseline 74,9 23,8 52,5
semua fitur 72,7 24,8* 53,5
baseline (+data synth) 50.9 28.2 56.1 semua fitur
(+synth. data) 50.1 29.2* 56.6
Tabel 5: Bahasa Inggris→Hasil terjemahan bahasa
Rumania: kebingungan terbaik di newsdev2016,
dan BLEU danCHRF3 di newstest2016.
B LEU skor yang berbeda secara signifikan (p <
0,05) dari masing-masing baseline ditandai
dengan (*).
dilatih dengan fitur linguistik.
Tabel 5 menunjukkan hasil untuk pasangan bahasa
dengan sumber daya yang lebih rendah, bahasa
Inggris→Rumania. Dengan fitur linguistik, kami
mengamati peningkatan 1.0
B LEU di atas garis dasar, baik untuk sistem yang
dilatih hanya pada data paralel (23,8 .)→24.8), dan
sistem yang menggunakan data pelatihan sintetis
(28.2→29.2). Menurut BLEU , pengiriman terbaik
ke WMT16 adalah kombinasi sistem oleh Peter et
al. (2016). Sistem terbaik kami bersaing dengan
pengajuan ini.
Tabel 6 menunjukkan contoh terjemahan dari baseline
kami, dan sistem ditambah dengan fitur linguistik. Kami
melihat bahwa sistem MT saraf yang diperbesar, berbeda
dengan garis dasar masing-masing, berhasil menyelesaikan
pemesanan ulang untuk Jerman→Contoh bahasa
Inggris, dan disambiguasi dekat untuk bahasa
Inggris→contoh Jerman.
kalimat sistem
sumber Gefährlich ist die Route aber dennoch.
referensi Namun rutenya berbahaya. baseline
Berbahaya adalah rute, namun.
semua fitur Namun, rute berbahaya.
sumber [Kami pikir] kemenangan seperti ini mungkin
sudah dekat. referensi [...] dass ein solcher Gewinn nah
sein könnte. baseline [...] ein Sieg wie dieser könnte
schließen.
semua fitur [...] ein Sieg wie dieser könnte nah sein.
Tabel 6: Contoh terjemahan yang mengilustrasikan efek
penambahan fitur input linguistik.
5 Pekerjaan Terkait
Fitur linguistik telah
digunakan dalam pemodelan bahasa saraf
(Alexandrescu dan Kirchhoff, 2006), dan juga
digunakan dalam tugas lain yang model sarafnya
baru-baru ini digunakan, seperti penguraian
sintaksis (Chen dan Manning, 2014). Makalah ini
menjawab pertanyaan apakah fitur linguistik di
sisi sumber bermanfaat untuk terjemahan mesin
saraf. Di sisi target, fitur linguistik lebih sulit
diperoleh untuk tugas generasi seperti terjemahan
mesin, karena ini akan memerlukan penguraian
hipotesis tambahan pada waktu pengujian, dan ini
mungkin pekerjaan di masa depan.
Antara lain, model kami menggabungkan
informasi dari anotasi ketergantungan, tetapi
masih merupakan model urutan-ke-urutan.
Eriguchi dkk. (2016) mengusulkan model pohon-
ke-urutan yang encodernya menghitung
representasi vektor untuk setiap frasa di pohon
sumber. Fokus mereka adalah mengeksploitasi
struktur (tidak berlabel) dari anotasi sintaksis,
sedangkan kami berfokus pada kekuatan
disambiguasi dari label ketergantungan
fungsional.
Model terjemahan terfaktor sering digunakan
dalam SMT berbasis frase (Koehn dan Hoang,
2007) sebagai sarana untuk memasukkan
informasi linguistik tambahan. Namun, MT saraf
dapat memberikan mekanisme yang jauh lebih
fleksibel untuk menambahkan informasi tersebut.
Karena model berbasis frase tidak dapat dengan
mudah digeneralisasikan ke kombinasi fitur baru,
model individu memperlakukan setiap kombinasi
fitur sebagai unit atom, menghasilkan sparity data,
atau mengasumsikan independensi antara fitur,
misalnya dengan memiliki model bahasa yang
terpisah. untuk kata-kata dan tag POS.
Sebaliknya, kami mengeksploitasi kemampuan
generalisasi yang kuat dari jaringan saraf, dan
berharap bahwa bahkan kombinasi fitur baru,
misalnya kata yang muncul dalam fungsi sintaksis
baru, ditangani dengan baik.
 Seseorang dapat mempertimbangkan Referensi
representasi input yang lemmatisasi sebagai teks
sumber kedua, dan melakukan terjemahan multi- [Alexandrescu dan Kirchhoff2006] Andrei
Alexandrescu dan Katrin Kirchhoff. 2006. Model
sumber (Zoph dan Knight, 2016). Perbedaan Bahasa Neural Terfaktor. Dalam Prosiding
teknis utama adalah bahwa dalam pendekatan Konferensi Teknologi Bahasa Manusia dari
kami, encoder dan lapisan perhatian dibagi di NAACL, Companion Volume: Short Papers,
antara fitur, yang kami anggap sesuai untuk jenis halaman 1-4, New York City, AS. Asosiasi
Linguistik Komputasi.
fitur yang kami uji.
[Bahdanau dkk.2015] Dzmitry Bahdanau, Kyunghyun
6. Kesimpulan Cho, dan Yoshua Bengio. 2015. Neural Machine
Translation dengan Jointly Learning to Align and
Dalam makalah ini kami menyelidiki apakah fitur Translate. Dalam Prosiding Konferensi
masukan linguistik bermanfaat untuk terjemahan Internasional tentang Representasi Pembelajaran
mesin saraf, dan bukti empiris kami menunjukkan (ICLR).
bahwa inilah masalahnya. [Chen dan Manning2014] Danqi Chen dan Christopher
Kami menjelaskan generalisasi encoder dalam arsitektur Manning. 2014. Dependency Parser yang Cepat
attentional encoder-decoder populer untuk terjemahan dan Akurat menggunakan Neural Networks. Dalam
mesin saraf yang memungkinkan untuk dimasukkannya Prosiding Konferensi 2014 tentang Metode Empiris
dalam Pemrosesan Bahasa Alami (EMNLP),
sejumlah fitur input yang berubah-ubah. Kami secara halaman 740–750, Doha, Qatar. Asosiasi
empiris menguji penyertaan berbagai fitur linguistik, Linguistik Komputasi.
termasuk lemma, tag bagian-of-speech, label
ketergantungan sintaksis, dan fitur morfologis, ke dalam [Cho et al.2014] Kyunghyun Cho, Bart van
Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau,
bahasa Inggris.↔.Jerman, dan Inggris→Sistem MT Fethi Bougares, Holger Schwenk, dan Yoshua
saraf Rumania. Eksperimen kami menunjukkan Bengio.
bahwa fitur linguistik menghasilkan peningkatan 2014. Pembelajaran Representasi Frase
di atas dasar kami, menghasilkan peningkatan menggunakan RNN Encoder–Decoder untuk
pada tes 2016 terbaru sebesar 1,5 B LEU untuk Statistical Machine Transla-
tion. Dalam Prosiding Konferensi 2014 tentang
bahasa Jerman→Inggris, 0.6 Metode Empiris dalam Pemrosesan Bahasa Alami
B LEU untuk bahasa Inggris→Jerman, dan 1,0 (EMNLP), halaman 1724–1734, Doha, Qatar.
BLEU untuk Asosiasi untuk Linguistik Komputasi.
bahasa [Eriguchi dkk.2016] Akiko Eriguchi, Kazuma
Inggris→Rumania. Hashimoto, dan Yoshimasa Tsuruoka. 2016.
Di masa mendatang, kami mengharapkan Terjemahan Mesin Neural Attentional Tree-to-
beberapa perkembangan yang akan lebih Sequence. ArXiv e-cetak.
menjelaskan kegunaan fitur masukan linguistik [Gülçehre et al.2015] aglar Gülçehre, Orhan Firat,
(atau lainnya), dan apakah fitur tersebut akan Kelvin Xu, Kyunghyun Cho, Loïc Barrault, Huei-
menjadi komponen inti dari terjemahan mesin Chi Lin, Fethi Bougares, Holger Schwenk, dan
saraf. Di satu sisi, kemampuan pembelajaran Yoshua Bengio. 2015. Tentang Penggunaan
Monolingual Corpora pada Neural Machine
mesin arsitektur saraf cenderung meningkat, Translation. CoRR, abs/1503.03535.
mengurangi manfaat yang diberikan oleh fitur
yang kami uji. Di sisi lain, ada potensi untuk [Jean dkk.2015] Sébastien Jean, Orhan Firat,
mengeksplorasi penyertaan fitur baru untuk MT Kyunghyun Cho, Roland Memisevic, dan Yoshua
Bengio. 2015. Sistem Terjemahan Mesin Neural
saraf, yang mungkin terbukti lebih membantu Montreal untuk WMT'15. Dalam Prosiding
daripada yang kami selidiki, dan fitur yang kami Lokakarya Kesepuluh tentang Terjemahan Mesin
selidiki mungkin terbukti sangat membantu untuk Statistik, halaman 134–140, Lisbon, Portugal.
beberapa pengaturan terjemahan, seperti sebagai Asosiasi Linguistik Komputasi.
pengaturan sumber daya yang sangat rendah [Koehn dan Hoang2007] Philipp Koehn dan Hieu
dan/atau pengaturan terjemahan dengan bahasa Hoang. 2007. Model Penerjemahan Terfaktor.
sumber yang sangat beragam. Dalam Proceedings of the 2007 Joint Conference
on Empirisical Methods in Natural Language
ucapan terima Processing and Computational Natural Language
Learning (EMNLP-CoNLL), halaman 868–876,
kasih Praha, Republik Ceko. Asosiasi Linguistik
Komputasi.
Proyek ini telah menerima dana dari program
penelitian dan inovasi Horizon 2020 Uni Eropa [Mikolov et al.2013] Tomas Mikolov, Wen-tau Yih, and
di bawah perjanjian hibah 645452 (QT21), dan Geoffrey Zweig. 2013. Keteraturan Linguistik dalam
644402 (HimL).
 Representasi Kata Ruang Berkelanjutan. Dalam
HLT-NAACL, halaman 746–751. Asosiasi
Linguistik Komputasi.
[Minnen et al.2001] Guido Minnen, John A. Carroll,
dan Darren Pearce. 2001. Pemrosesan morfologi
terapan bahasa Inggris. Rekayasa Bahasa Alami,
7(3):207–223.
[Pascanu dkk.2013] Razvan Pascanu, Tomas Mikolov,
dan Yoshua Bengio. 2013. Tentang kesulitan
melatih jaringan saraf berulang. Dalam Prosiding
Konferensi Internasional ke-30 tentang
Pembelajaran Mesin, ICML 2013, halaman 1310–
1318, Atlanta, AS.
[Peter dkk.2016] Jan-Thorsten Peter, Tamer Alkhouli,
Hermann Ney, Matthias Huck, Fabienne Braune,
Alexander Fraser, Aleš Tamchyna, Ondˇrej Bojar,
Barry Haddow, Rico Sennrich, Frédéric Blain,
Lucia Specia, Jan Niehues, Alex Waibel,
Alexandre Allauzen, Lauriane Aufrant, Franck
Burlot, Elena Knyazeva, Thomas Lavergne,
François Yvon, dan Marcis Pinnis. 2016. Sistem
Terjemahan Mesin Gabungan QT21/HimL. Dalam
Prosiding Konferensi Pertama tentang Terjemahan
Mesin (WMT16), Berlin, Jerman.
[Popovic´2015] Maja Popovic´. 2015. chrF: karakter n-
gram F-score untuk evaluasi MT otomatis. Dalam
Prosiding Lokakarya Kesepuluh tentang
Terjemahan Mesin Statistik, halaman 392–395,
Lisbon, Portugal. Asosiasi Linguistik Komputasi.
[Riezler dan Maxwell2005] Stefan Riezler dan John T.
Maxwell. 2005. Pada Beberapa Kesalahan dalam
Evaluasi Otomatis dan Pengujian Signifikansi untuk
MT. Dalam Prosiding Lokakarya ACL tentang
Tindakan Evaluasi Intrinsik dan Ekstrinsik untuk
Terjemahan Mesin
tion dan/atau Ringkasan, halaman 57–64, Ann
Arbor, Michigan. Asosiasi Linguistik Komputasi.
[Schmid et al.2004] Helmut Schmid, Arne Fitschen,
dan Ulrich Heid. 2004. Morfologi Komputasi
Jerman yang Meliputi Derivasi, Komposisi, dan
Infleksi. Dalam Proceedings of the IVth
International Conference on Language Resources
and Evaluation (LREC 2004), halaman 1263–1266.
[Sennrich dkk.2016a] Rico Sennrich, Barry Haddow,
dan Alexandra Birch. 2016a. Sistem Terjemahan
Mesin Neural Edinburgh untuk WMT 16. Dalam
Prosiding Konferensi Pertama tentang Terjemahan
Mesin (WMT16), Berlin, Jerman.
[Sennrich dkk.2016b] Rico Sennrich, Barry Haddow,
dan Alexandra Birch. 2016b. Meningkatkan Model
Terjemahan Mesin Neural dengan Data
Monolingual. Dalam Prosiding Pertemuan Tahunan
ke-54 Asosiasi Linguistik Komputasi (ACL
2016), Berlin, Jerman.
[Sennrich dkk.2016c] Rico Sennrich, Barry Haddow,
dan Alexandra Birch. 2016c. Terjemahan Mesin
Neural Kata Langka dengan Unit Subword. Dalam
Proceedings of the 54th Annual Meeting of the
Association for Computational Linguistics (ACL
2016), Berlin, Jerman.
[Stanojevic et al.2015] Miloš Stanojevic, Amir
Kamran, Philipp Koehn, dan Ondˇrej Bojar. 2015.
Hasil Tugas Bersama Metrik WMT15. Dalam
Prosiding Lokakarya Kesepuluh tentang
Terjemahan Mesin Statistik, halaman 256–273,
Lisbon, Portugal. Asosiasi Linguistik Komputasi.
[Toutanova dkk.2003] Kristina Toutanova, Dan Klein,
Christopher D. Manning, dan Yoram Singer. 2003.
Penandaan Part-of-Speech yang Kaya Fitur dengan
Jaringan Ketergantungan Siklik. Dalam Prosiding
2003
Konferensi Teknologi Bahasa Manusia dari
Asosiasi Bab Amerika Utara untuk
Linguistik Komputasi.
[Williams dkk.2016] Philip Williams, Rico Sennrich,
Maria Nadejde, Matthias Huck, Barry Haddow,
dan Ondˇrej Bojar. 2016. Sistem Terjemahan
Mesin Statistik Edinburgh untuk WMT16. Dalam
Prosiding Konferensi Pertama tentang Terjemahan
Mesin (WMT16).
[Zeiler2012] Matthew D. Zeiler. 2012. ADADELTA:
Metode Adaptive Learning Rate. CoRR,
abs/1212.5701.
[Zoph dan Knight2016] Barret Zoph dan Kevin Knight.
2016. Terjemahan Neural Multi-Sumber. Di
NAACL HLT 2016.

[Sennrich dan Kunz2014] Rico Sennrich dan Kalahkan

Kunz. 2014. Zmorge: Sebuah Leksikon Morfologi
Jerman Disarikan dari Wiktionary. Dalam
Prosiding Konferensi Internasional ke-9 tentang
Sumber Daya dan Evaluasi Bahasa (LREC 2014),
Reykjavik, Islandia.

[Sennrich dkk.2013] Rico Sennrich, Martin Volk, dan

Gerold Schneider. 2013. Memanfaatkan Sinergi
Antara Sumber Daya Terbuka untuk Parsing
Ketergantungan Jerman, penandaan POS, dan
Analisis Morfologi. Dalam Prosiding Konferensi
Internasional Kemajuan Terbaru dalam Pemrosesan
Bahasa Alami
2013, halaman 601–609, Hissar,
Bulgaria.