Analisis dan Implementasi Deteksi Parafrasa Tweet

Menggunakan Algoritma BLEU, Meteor dan Edit

Distance

Analysis and Implementation of Paraphrase Detection on

Tweet Using BLEU, Meteor and Edit Distance Algorithm

Tugas Akhir
KK: SIDE (Software Engineering, Information Sistem and Data
Engineering)

Diajukan untuk usulan pembuatan Tugas Akhir

Program Studi Sarjana Teknik Informatika
Fakultas Informatika
Universitas Telkom

Dennis Hidayat
1103110157

Program Studi Sarjana Teknik Informatika

Fakultas Informatika
Universitas Telkom
Bandung
2017
 LEMBAR PERNYATAAN

Dengan ini saya menyatakan bahwa Tugas Akhir saya dengan judul
Analisis dan Implementasi Deteksi Parafrasa Tweet Menggunakan Algoritma
BLEU, Meteor dan Edit Distance beserta seluruh isinya adalah benar-benar
diselesaikan berdasarkan hasil karya saya sendiri dan saya tidak melakukan
penjiplakan atau pengutipan dengan cara-cara yang tidak sesuai dengan etika
keilmuan dan penelitian yang berlaku. Dengan pernyataan ini, saya siap
menanggung resiko/sanksi yang dijatuhkan kepada saya apabila di kemudian hari
ditemukan adanya pelanggaran terhadap etika keilmuan dalam karya saya ini, atau
ada klaim dari pihak lain terhadap keaslian karya saya.

Bandung 5 Mei 2017

Yang membuat pernyataan,

Dennis Hidayat
 LEMBAR PENGESAHAN

Analisis dan Implementasi Deteksi Parafrasa Tweet menggunakan

Algoritma BLEU, Meteor dan Edit Distance

Analysis and Implementation of Paraphrase Detection on Tweet

Using BLEU, Meteor and Edit Distance Algorithm

Dennis Hidayat
1103110159

Tugas Akhir ini telah diterima dan disahkan untuk memenuhi sebagian dari syarat
untuk memperoleh gelar Sarjana Teknik Informatika
Fakultas Informatika
Universitas Telkom

Bandung, 5 Mei 2017

Menyetujui

Pembimbing I Pembimbing II

Ir. Moch. Arif Bijaksana, MTech N/A

NIP: 03650312-4 NIP:
 ABSTRAK

Twitter merupakan media sosial yang dikenal sebagai situs microblogging

dengan panjang karakter maksimal 140 karakter untuk setiap kiriman, dalam
twitter terdapat istilah trending topic yaitu adalah topik apa yang paling banyak
dibicarakan pada rentang waktu tertentu. Natural Language Processsing (NLP)
merupakan ilmu yang secara umum berfokus mempelajari bahasa natural, Deteksi
parafrase merupakan sebuah percabangan dari ilmu ini yang secara singkat adalah
pendekteksian kemungkinan terdapat penguraian kembali kalimat ke dalam bentuk
(susunan kata) lain, dengan makna dan maksud yang sama. Salah satu cara dalam
identifikasi parafrase adalah dengan menggunakan machine learning translation.
Penggunaan machine learning translation telah banyak digunakan pada bidang
NLP, masing-masing machine learning translation memiliki teknik yang berbeda
dalam penghitungan parafrasa.

Dalam Penilitian ini akan digunakan algoritma BLEU, Meteor dan Edit
Distance

Kata Kunci : Paraphrase Detection, Tweet, BLEU, Meteor, Edit Distance.

i
 ABSTRACT

Twitter is a social media populary known as microblogging site that only

allows user to post 140 character maximum for each post. Twitter has a term
called trending topic which is what topic most talked about in a certain range of
time. Natural Language Processsing (NLP) is the study that generally focuses on
learning natural language. Paraphrase detection is a branch of this study which is
briefly a detection of the possibility of recompiling sentences into other forms with
the same meaning. ne way of identifying paraphrase is to use machine learning
translation. machine learning translation has been widely used in the NLP field,
each machine learning translation having different techniques in measuring
paraphrase.

In this research we will use BLEU, Meteor and Edit Distance algorithm

Keywords : Paraphrase Detection, Tweet, BLEU, Meteor, Edit Distance.

ii
 LEMBAR PERSEMBAHAN

Alhamdulillahirabbil aalamiin,
Segala puji dan syukur penulis panjatkan kepada Allah SWT atas segala nikmat,
karunia, kasih sayang serta kekuatan yang telah diberikan kepada penulis sehingga
dapat menyelesaikan Tugas Akhir yang belum sempurna ini dengan judul
Analisis dan Implementasi Deteksi Parafrasa Tweet Menggunakan Algoritma
BLEU, Meteor dan Edit Distance. Sholawat serta salam selalu terlimpahkan
kepada Nabi besar Muhammad SAW, yang telah menunjukkan jalan yang lurus
kepada kita semua selaku umatnya sampai akhir jaman. Dalam penelitian ini
penulis banyak dibantu, dibimbing, dan didukung oleh berbagai pihak. Oleh
karena itu, pada kesempatan kali ini penulis sangat ingin mengucapkan
terimakasih yang sebesar-besarnya kepada :
1. kepada Tuhan YME
2. Kedua orang tua tercinta, mukhzen mukhtar dan mismeri yang senantiasa
memberikan doa dan dukungannya.
3. Pak Arif Bijaksana selaku pembimbing satu, terimakasih banyak atas
bimbingan dan waktu luang yang telah diberikan selama ini, juga
terimakasih atas saran dan ilmu yang diberikan.
4. Seluruh dosen dan kawan-kawan di Universitas Telkom Bandung.
Terimakasih atas kebersamaannya.

3
5. Terima kasih untuk seluruh pihak baik yang langsung maupun yang tidak
langsung membantu, mendoakan dan mendukung penulis selama ini hingga
selesainya Tugas Akhir ini. Semoga Allah SWT membalas seluruh kebaikan
kalian.

Bandung, 5 Mei 2017

Dennis Hidayat

4
 KATA PENGANTAR

Bismillahirrahmaanirrahiim,
Segala puji bagi serta syukur penulis panjatkan ke hadirat Allah SWT yang
telah memberikan rahmat serta kasih sayangnya sehingga penulis dapat
menyelesaikan Tugas Akhir ini yang merupakan syarat bagi penulis untuk
memperoleh gelar sarjana Teknik Informatika, Fakultas Informatika, Universitas
Telkom.
Tugas Akhir ini adalah hasil penelitian penulis tentang Analisis dan
Implementasi Deteksi Parafrasa Tweet Menggunakan Algoritma BLEU, Meteor
dan Edit Distance. Penulis sangat sadar bahwa banyak sekali kekurangan dalam
penulisan tugas akhir ini, oleh karena itu penulis sangat mengharapakan adanya
kritik maupun saran yang dapat membangun untuk kemajuan, khususnya penulis
dan kita semua selaku insan akademik umumnya. Namun, penulis tetap berharap,
semoga penelitian yang telah dilakukan ini dapat bermanfaat bagi kita semua, baik
sekarang ataupun dimasa yang akan datang.

Bandung, 5 Mei 2017

Dennis Hidayat
 DAFTAR ISI

ABSTRAK ............................................................................................................... i
ABSTRACT ..............................................................................................................
ii LEMBAR PERSEMBAHAN ................................................................................
iii KATA PENGANTAR
............................................................................................ v DAFTAR ISI
.......................................................................................................... vi DAFTAR
GAMBAR ........................................................................................... viii DAFTAR
TABEL .................................................................................................. ix BAB I
...................................................................................................................... 1
PENDAHULUAN .................................................................................................. 1
1.1 Latar Belakang ......................................................................................... 1
1.2 Perumusan Masalah.................................................................................. 2
1.3 Batasan Masalah ....................................................................................... 2
1.4 Tujuan....................................................................................................... 2
1.5 Manfaat Penelitian.................................................................................... 2
1.6 Metodologi Penyelesaian Masalah ........................................................... 3
1.7 Sistematika Penulisan ............................................................................... 3
BAB II ..................................................................................................................... 5
LANDASAN TEORI .............................................................................................. 5
2.1 Parafrasa ................................................................................................... 5
2.2 String......................................................... 6
2.2.1 Tokenizer.. ............................................................................. 6
2.2.2 Word Replacer .................................................................................. 6
2.2.3 Stemming .......................................................................... 6
2.2.3 Stop Word... .......................................................................... 6
2.2.5 Part-of-Speech Tagging..6

2.3 N-gram...................................................................................................... 7
2.4 Lexical String Similarity ...................................................... 8
2.5 Levensthein Edit Distance........................................................................ 9
2.6 Machine Translation Evaluation System (METEOR).............................. 9
2.7 BLEU................................................................................................... 10
vii
BAB III ................................................................................................................. 14
PERANCANGAN DAN IMPLEMENTASI ........................................................ 14
3.1 Gambaran Umum ................................................................................... 14
3.2 Perancangan Dataset ....................................................... 14
3.3 Deskripsi Sistem Yang Akan Dibangun ................................................ 15
A. Perancangan Preprocessing ............................................................. 15
B. Perancangan Machine Translation Evaluation Metrics .................... 16
C. Perancangan Classifier ......................... 16
D. Analisis Hasil Program..17
E. Hasil Akhir....17

BAB IV ................................................................................................................. 25
PENGUJIAN DAN ANALISIS ............................................................................ 25
4.1 Pengujian Sistem .................................................................................... 25
4.2 Tujuan Pengujian.25
4.3 Skenario Prengujian ............................................................................... 25
4.4 Hasil Pengujian dan Analisis.................................................................. 27

BAB V................................................................................................................... 34
PENUTUP............................................................................................................. 34
5.1 Kesimpulan............................................................................................. 34
5.2 Saran ....................................................................................................... 34
DAFTAR PUSTAKA ........................................................................................... 35

vii
 DAFTAR GAMBAR

Gambar 3.1 Contoh Data Training. .......................................................... 11

Gambar 3.2 Contoh Data Test............................ 20
Gambar 3.3 Alur Skenario Sistem........................................................................ 31

8
 DAFTAR TABEL

Tabel 2.1 Perbandingan alih aksara Qalam dan kritis Indonesia ............................ 6
Tabel 2.2 Perbandingan alih aksara dengan kata serapan ....................................... 7
Tabel 2.3 Pedoman alih aksara................................................................................ 7
Tabel 2.1 Contoh sederhana hashing .................................................................... 10
Tabel 2.2 Tabel Karakter ASCII............................................................................ 12
Tabel 3.1 Aturan Metaphone untuk Arab Latin .................................................... 17
Tabel 3.2 Padanan ke kode fenotis........................................................................ 18
Tabel 4.1 Tabel hasil pengujian precision ............................................................ 27
Tabel 4.2 Tabel Korelasi ....................................................................................... 29
Tabel 4.3 Tabel hasil pengujian skenario kedua ................................................... 31
Tabel 4.4 Tabel hasil pengujian skenario ketiga (user) ........................................ 32
Tabel 4.4 Tabel hasil pengujian skenario ketiga (sistem) ..................................... 33

9
 BAB I
PENDAHULUAN
1.1 Latar Belakang

10
 Identifikasi Parafrasa merupakan sebuah percabangan dari studi tentang
Natural Language Processing (NLP) yang telah banyak dilakukan dengan
menggunakan berbagai macam Machine learning translation. Selain itu,
menganalisis Data sosial seperti tweet dari media sosial Twitter adalah bidang
yang banyak dikembangkan untuk tujuan yang bermacam-macam. Untuk
melakukan penilitian ini dalam deteksi parafrasa dapat dilakukan dengan
pendeketan semantic similarity, textual entailment dan machine translation
evaluation techniques, selanjutnya penulis ingin mengembangkan metode ini
kedalam aplikasi yang dapat menganalisis parafrasa dalam media sosial twitter.
Dalam mengembangkan sistem ini penulis memilih beberapa fitur berbeda mulai
dari yang sederhana (yang memiliki kesamaan string/kata, edit distance) ke yang
lebih kompleks (machine translation evaluation metrics) selanjutnya kalimat
tersebut dibentuk kedalam classified biner. Selain itu dalam sistem ini
menggunakan beberapa fitur secara independen ataupun bersama untuk mengukur
semantic similiarity dan juga untuk mengetahui parafrase dari dua kalimat tersebut
untuk mengevaluasi seberapa signifikan dari masing-masing fitur tersebut yang
selanjutnya dapat berguna untuk pengembangan sistem itu sendiri.
1.2 Perumusan Masalah
Berdasarkan latar belakang yang telah dipaparkan di atas, berikut rumusan
masalah yang telah ditetapkan pada tugas akhir ini :
1. Bagaimana penggunaan algortima BLEU, Meteor dan Damereu-
levensthein edit distance dalam mempredisi paraphrase dua buah
kalimat?
2. Bagaimana memperoleh nilai akurasi terbaik dari metode yang
digunakan?

1.3 Batasan Masalah

Adapun batasan masalah yang dijadikan acuan dalam tugas akhir ini :
1. Metode yang akan dikaji yaitu BLEU, Meteor dan Damereu-levensthein
edit distance.
2. Menggunakan corpus berupa tweet dalam Bahasa inggris
3. Dataset yang digunakan dari SemEval 2015 task 1

1.4 Tujuan
Tujuan pembuatan tugas akhir dengan judul Analisis dan Implementasi
Deteksi Parafrasa Tweet Menggunakan Algoritma BLEU, Meteor dan Edit
Distance diantaranya yaitu :
1. Melakukan prediksi parafrasa dua buah kalimat tweet dengan
algoritma yang sudah ditentukan.
2. Mengatahui akurasi dari penggunaan algortma BLEU, Meteor dan Edit
distance terhadap pengukuran parafrasa dua buah tweet.
3. Mengetahui pengaruh penggunaan algoritma BLEU, Meteor dan Edit
distance terhadap akurasi prediksi paraphrase dua buah tweet.
1.5 Manfaat Penelitian
Dengan penilitian yang dilakukan diharapkan mendapatkan hasil dari
pengaplikasian metode-metode yang tercantum yang selanjutnya bisa diukur
seberapa efektifnya metode yang digunakan tersebut. Dalam penilitian ini penulis
mengharapkan dapat memberikan sebuah sistem yang dapat menjadi salah satu
cara dalam mengukur parafrase kalimat khususnya dalam twitter.
1.6 Metodologi Penyelesaian Masalah
Dalam tugas akhir ini, digunakan metodologi penelitian yang dapat
dijabarkan sebagai berikut :

1. Studi literatur
Dalam pengumpulan bahan penilitian penulis mengumpulkan referensi
dari berbagai jurnal, e-book, artikel, diskusi, internet dan sumber-
sumber lainnya. Termasuk pengumpulan data-data pendukung dan
melakukan analisa
sistem yang diperlukan dalam tahap implementasi.
2. Konsultasi dan diskusi
Tahap ini dilakukan dengan melakukan konsultasi dan diskusi dengan
dosen pembimbing tugas akhir dan senior atau teman yang mengambill
topik tugas akhir yang sama.
3. Analisis perancangan dan implementasi
Merancang sistem dengan menggunakan metode yang telah ditentukan
kemudian diimplementasikan dalam aplikasi untuk mendeteksi apakah
kedua kalimat sama atau tidak.
4. Uji coba sistem
Uji coba terhadap aplikasi perangkat lunak yang telah dibuat dan
menganalisa performansi dari algoritma yang digunakan.
5. Penulisan laporan
Tahap ini dilakukan penyusunan laporan sebagai prosespen
dokumentasian terhadap proses dan hasil dari pelaksanaan tugas akhir
ini

1.7 Sistematika Penulisan

Adapun Sistematika penulisan laporan tugas akhir ini disusun sesuai
rencana berikut :

BAB I PENDAHULUAN
Pada bab pertama ini menjelaskan gambaran secara umum
tentang tentang tugas akhir yang dikerjakan mengenai latar
belakang masalah, batasan masalah, perumusan masalah,
 tujuan penelitian, manfaat penelitian, metodologi penelitian
dan sistematika penulisan.
BAB II DASAR TEORI
Pada bab kedua ini akan dijelaskan dasar-dasar teori yang
mendukung penyelesaian tugas akhir, khususnya teori yang
berkaitan dengan masalah penelitian sehingga dapat
mendukung pengimplementasian algoritma serta
pengujiannya.
BAB III PERANCANGAN
Pada bab ketiga ini dijelaskan perancangan yang diperlukan
berdasarkan mekanisme dan batasan yang digunakan,
sehingga dapat diimplementasikan serta direalisasikan
software yang akan dibuat sesuai dengan yang diinginkan.
BAB IV ANALISIS DAN PENGUJIAN
Pada bab keempat ini akan dijelaskan hasil pengujian dari
perancangan dan implementasinya mengenai parameter-
parameter yang dibutuhkan sesuai metode yang digunakan
dalam sistem yang telah dibangun pada bab sebelumnya.
BAB V PENUTUP
Pada bab terakhir ini menyajikan kesimpulan terhadap hasil
penelitian yang telah dilakukan berikut saran yang perlu
dikemukakan dari hasil penelitian.
 BAB II
LANDASAN TEORI

2.1 Parafrasa
Dalam Kamus Besar Bahasa Indonesia, parafrasa adalah penguraian
kembali suatu teks (karangan) dalam bentuk (susunan kata) yang lain, dengan
maksud untuk dapat menjelaskan makna yang tersembunyi.
2.2 String
Dalam ilmu komputer string adalah deretan karakter. Walaupun sering juga
dianggap sebagai data abstrak yang menyimpan sekuens nilai data, atau biasanya
berupa bytes yang mana merupakan elemen yang digunakansebagai pembentuk
karakter sesuai dengan encoding karakter yang disepakati seperti ASCII, ataupun
EBCDIC. Hubungan string dengan penelitian ini adalah bahwa karakteristik dari
informasi yang akan disimpan dalam database dapat dianggap serupa dengan
string. Hal ini akan memudahkan programmer dalam membangun sistem
pencocokan karakter dari sampel yang akan dikonversi terlebih dahulu menjadi
serupa dengan string ataupun deretan bytes. Konversi inilah yang nantinya akan
dibandingkan langsung dengan informasi karakteristik yang disimpan dalam
database.
Dalam tahapan preprocessing setiap string pada dataset akan dinormalisasi
kedalam bentuk yang lebih mudah untuk diproses selanjutnya pada Machine
Translation Evaluation Metrics (MTEM) dalam eksperimen ini terdapat beberapa
penggunaan metode pada tahap preprocessing diantaranya :
2.2.1 Tokenizer
Tokenizer adalah program dapat membaca string dari set data
sehingga dapat mengenali kata didalam kalimat. Teknik tokenisasi
adalah memisahkan karakter-karakter yang terpisahkan oleh karakter
spasi atau karakter tanda baca sebagai sebuah kata.
2.2.2 Word Replacer
Word Replacer merupakan cara dalam mengubah penulisan tidak
baku yang terkadang muncul dalam kalimat. kata yang memiliki multi-
karakter dimana karakter tersebut merupakan pengulangan dari karakter
sebelumnya dimana kata tersebut juga harus di masukan sebagai unsur
penentu paraphrase kalimat, sehingga hanya perlu di buat ke bentuk
baku kata tersebut. Dengan menggunakan kamus wordNet kata karakter
yang diperkirakan terdapat pengulangan karakter tersebut dihapus satu-
per-satu lalu di cek ke kamus wordNet, setiap pengapusan selalu
dicocokan dengan kata di kamus WordNet sampai kata tersebut cocok.
2.2.3 Stemming
Stemming adalah proses pengubahan setiap kata menjadi ke
bentuk dasar, tujuan dari stemming adalah agar proses pencarian
kemiripan kalimat menjadi lebih mudah. Pada proses stemming kata
yang memiliki peta keterhubungan kalimat menjadi lebih jelas jika
memiliki hierarki yang sama. Sebagai contoh stemming pada Bahasa
inggris kata "stems", "stemmer", "stemming" dan "stemmed" dapat
dirubah menjadi "stem", Kata "fishing", "fished", dan "fisher" menjadi
"fish". Tetapi dengan stemming kata "argue", "argued", "argues",
"arguing", dan "argus" dapat dirubah menjadi "argu" dimana sistem dari
stemming mengubah kata yang berbentuk verb 2 dan verb 3 menjadi
verb 1.
2.2.4 Stopwords
 Stopwords dalah proses menghapus kata penghubung dan
karakter dalam kalimat. Kata atau karakter yang tidak terlalu
mempangaruhi dalam kesamaan makna dua buah kalimat, jadi dalam
proses selanjutnya kata pengubung tidak dimasukan kedalam
pengukuran paraphrase.
2.2.5 Part-Of-Speech Tagging
Part-of-Spech tagging adalah proses untuk menentukan subjek,
objek, predikat dan keterangan dari suatu kalimat. dengan menggunakan
kamus Bahasa inggris dari WordNet program mencocokan setiap
token/kata dari kalimat referensi dan kalimat original daan memberi
label dari setiap kata

2.3 N-gram
N-gram teks secara luas digunakan text mining dan tugas-tugas pengolahan
NLP. N-gram dapat di gambarkan seperti penggunaan sebuah perpindahan kata
setelah kata pertama secara berturut-turut dengan jumlah yang ditentukan hingga
menemui kata terakhir. Untuk lebih jelasnya lihat contoh berikut. Jika terdapat
sebuah kalimat yaitu java adalah salah satu bahasa pemrograman maka jika dibuat
bigram (if n=2) maka kalimat tersebut n-gramnya adalah :
Java adalah
Adalah salah
Salah Satu
Satu bahasa
Bahasa pemrograman

Terlihat dari contoh diatas maka jumlah kalimat tersebut adalah 4 n-gram.

2.4 Lexical String Similiarity

Lexical String similiarity adalah ukuran seberapa sama nilai dua buah
kalimat. Sebuah lexical mempunyai ukuran 1 atau 100% untuk kesamaan dua
buah kosakata dan nilai 0 atau 0% yang berarti tidak memiliki persamaan
apapun. Ada berbagai cara dalam mementukan kesamaan lexical dengan hasil
yang berbeda-beda.
Sebagai contoh adalah metode Ethnologue tentang perhitungan yang
terdiri dari pembandingan satu rangkaian standar dari daftar kosakata dan
menghitung bentuk-bentuk yang menunjukkan
kemiripan baik dalam bentuk ataupun makna. Kesamaan leksikal dapat
digunakan untuk mengevaluasi derajat keterhubungan genetik antara dua bahasa.
Persentase lebih tinggi dari 85% biasanya menunjukkan bahwa dua bahasa yang
dibandingkan cenderung mempunyai dialek terkait.

2.5 Levensthein Edit Distance

Edit distance merupakan cara untuk menilai seberapa perbedaan antar
dua buah string dengan menghitung transformasi dari jumlah penyisipan,
penghapusan atau subtitusi yang dibutuhkan pada string agar menciptakan
kucukupan kesamaan pada string yang dituju, semakin besar transformasi yang
dibutuhkan maka menunjukan semakin besar jarak antar string. Sebagai contoh :
 Jika kita mempunyai string a anda dan string b anda, maka nilai
LD(x,y) = 0, karena tidak dibutuhkan transformasi apapun.
Jika kita mempunyai string a anda dan string b andi, maka nilai
LD(x,y) = 1, karena x ke y membutuhkan 1 subtitusi a menjadi i.

max ( i , j )
Lev a ,b ( i1, j ) +1
Lev a , b ( i , j1 ) +1
j


ai b

Lev a ,b ( i1, j1 ) +1 jikamin (i , j)=0,lainnya
min
Lev a ,b ( i , j )=

Penghitungan Levensthein edit distance menggunakan tabel score :

Langkah Deskripsi
1 Atur s sepanjang string a.
Atur t sepanjang string b.
Jika s = 0, return m dan exit.
Jika t = 0, return n dan exit.
Buat matriks yang memuat baris 0 sampai t dan kolom 0
sampai s.
2 Lakukan inisialisai baris pertama dari 0 sampai t.
Lakukan inisialisai baris pertama dari 0 sampai s.
3 cetak setiap karakter dari string a (i dari 1 to s).
cetak setiap karakter dari string b (i dari 1 to t).
4 jika a[i] sama dengan b[j], cost adalah 0.
jika a[i] tidak sama dengan b[j], cost adalah 0.
5 Atur sel d[i,j] dari matriks hingga sama dengan jumlah minimum dari:
a. The cell immediately above plus 1: d[i-1,j] + 1.
b. The cell immediately to the left plus 1: d[i,j-1] + 1.
c. The cell diagonally above and to the left plus the cost: d[i-1,j-1] + cost.
6 Setelah proses iterasi pada langkah (3, 4, 5, 6) selesai, jarak dapat dilihat
pada sel d[s,t]

T U N G G A L
0 1 2 3 4 5 6 7
T 1 0 1 2 3 4 5 6
A 2 1 1 2 3 4 5 6
N 3 2 2 1
G 4 3 3 1
G 5 4 4 1
A 6 5 5 1
L 7 6 6 1

2.6 Machine Translation Evaluation System (METEOR)

METEOR menggunakan dan menekankan recall. Sebuah properti penting
yang telah dikonfirmasi oleh bebeberapa metrik karena memiliki korelasi tinggi
dengan peniliaian manusia. Meteor juga membahas permasalahan perbedaan
terjemahan dengan memanfaatkan pencocokan kata fleksibel yang memungkinkan
varian morfologi dan sinonim agar dapat diperhitungkan dalam korespondensi
yang sah. Fitur lain dalam METEOR adalah parameter yang memungkinkan
penyetelan parameter bebas metric dalam mencari nilai-nilai yang menghasilkan
korelasi optimal dengan penilaian manusia. Berikut adalah desain METEOR
metric.

2.6.1 The Meteor Matcher

Meteor mengevaluasi hipotesis terjemahan dengan menghitung skor
berdasarkan pada pencocokan kata ke kata yang eksplisit antar hipotesis
dan referensi terjemahan yang didefinisikan. Jika terdapat beberapa
referensi maka hipotesis maka dilakukan penghitungan skor antar hipotesis
dengan referensi terjemahan, hasil dengan nilai tertinggi lah yang dipilih.
Untuk setiap terjemahan yang akan dibandingkan The Meteor Matcher
akan digunakan untuk membuat penyelarasan kata antara hipotesis dan
referensi. Keselarasan ini secara bertahap diproduksi oleh
urutan modul pemetaan kata di Meteor Matcher sebagain berikut :
a. Exact (Sama persis) : Kata kata tersebut sama persis berdasarkan
penampakannya. Kesamaan berlaku hanya untuk apabila kata-kata
tersebut identic.
b. Stem (Induk) : Kata-kata tersebut sama apabila mereka memiliki
kesamaan dalam induk kata secara identik.
c. Synonymy (sinonim) : Kata-kata yang cocok jika mereka adalah
sinonim dari satu dan lainnya. Kata-kata yang dianggap identic
adalah jika mereka memiliki sindrom yang sama pada setiap set
sinonim.

2.6.2 The Meteor Scorer

Setelah penyelarasan akhir dilakukan, antara terjemahan hipotesis dan
terjemahan referensi, The Meteor Score (Skor Meteor) dihasilkan
berdasarkan pada jumlah pemetaan unigram yang ditemukan antar kedua
buah string (m), jumlah total unigram pada hipotesis (t) dan jumlah total
unigram pada referensi (r), kemudian menghitung presisi unigram P = m / t
dan unigram recall R = m / r kemudian menghitung parameter mean
harmonic dari P dan R.
 P R
Fmean =
P+ ( 1 ) R

Presisi, recall, dan Fmean semua berdasarkan perbandingan satu buah kata
tunggal, untuk penjelasan lebih jauh unigram mana pada kedua terjemahan
yang masih dalam ururtan yang sama dilakukan penghitungan fragmentasi
sebagai berikut. Pertama, urutan pada unigram yang cocok pada kedua buah
terjemahan dipisah hingga menjadi bagian terkecil sehingga unigram yang
cocok pada setiap pecahan berdekatan (di kedua buah string) dan pada
urutan yang identikal. Jumlah pecahan (ch) dan jumlah perbandingan (m)
kemudian digunakan untuk menghitung fraksi fragmentasi : frag = ch / m .
ini kemudian dihitung sebagai
Pen= frag
Nilai dari menentukan penalty maksimal (0 1) nilai tersebut
menentukan hubungan fungsional antara fragmentasi dan penalty-nya. Yang
akhirnya akan menghasilkan nilai keselarasan dari
Score=( 1 Pen ) F mean

2.6.3 Free Parameters

Semua versi meteor sampai saat ini menggunakan tiga parameter dalam
penghitungan skor akhir. Satu untuk mengendalikan bobot relatif pada
presisi dan recall pada skor Fmean ( ), satu untuk mengendalikan
bentuk penalty pada fungsi fragmentasi ( ) dan satu untuk bobot relatif
pada penalti fragmentasi ( ) .

2.7 BLEU
BLEU melakukan perbandingan n-gram pada sebuah kalimat dengan n-
gram pada kalimat referensi dan menghitung jumlah kecocokan, semakin
banyak kecocokan menunjukan semakin baik.
2.7.1 Modified n-gram precision
Landasan metrik pada BLEU adalah dengan mengukur precision.
Untuk melakukan penghitungan ini dapat menggunakan uni-gram dimana
kalimat referensi dibagi dengan kalimat kandidat . untuk mengurangi
inefficiency uni-gram dapat membatasi jumlah maksimal kata pada
kalimat kandidat. Contoh :
Kandidat : the the the the the the the.
Referensi 1: The cat is on the mat.
Referensi 2: There is a cat on the mat.
Pada contoh terlihat Modified Unigram Precision = 2=7.3

2.7.2 Modified n-gram precision on blocks of text

Dalam mengukur n-gram pada teks banyak, setiap n-gram kalimat
dibandingkan dengan n-gram kalimat lain. Tahap berikutnya menghitung
setiap potong n-gram pada semua kandidat kalimat dan dibagi dengan
jumlah n-gram pada kandidta kalimat untuk menghitung modified
precision score, pn untuk seluruh corpus uji.
. . Jumlah potongan (ngram)
{ Kandidat } n gram
Pn=
. . Jumlah potongan (ngram' )
' { Kandidat } ngra m'

2.7.2 Sistem pemeringksatsan dengan menggunakan modified n-

gram precision

13
 BAB III
PERANCANGAN DAN IMPLEMENTASI

3.1 Gambaran Umum

Dalam penilitian ini akan dibangun sistem yang mengimplementasikan
semantic similiarity yang dapat mendeteksi apakah dua buat kalimat (tweet) sama
atau tidak dengan menggunakan lexical string similiarity yang berfungsi sebagain
pengukur distance antara dua kata yang berdasarkan pada proses komputerisasi
yang meliputi tahapan pre-processing menggunakan Demerau-Levensthein Edit
distance yang berfungsi untuk mengukur kemiripin kata dengan kata referensi
dengan menghitung jarak yang dibutuhkan saat proses penyamaan metrics kedua
buah kalimat kemudian data diproses menggunakan BLEU yang mana
menggunakan n-gram overlap dengan nilai n = 1,2,3 dan 4 dan METEOR untuk
mengatasi masalah varian morfologi dan sinonim kalimat dan juga penggunaan
parameter bebas metric proses selanjutnya adalah selanjutnya classification
algorithm dan kemudian menghasilkan output berupa true or false.
Dalam penilitian ini akan dibangun sistem yang dapat mendeteksi apakah
dua buah kalimat (tweet) sama atau tidak. dengan menggunakan fungsi-fungsi
yang telah digunakan dalam berbagai studi machine learning translation. Dari
pengujian terhadap data yang sebelumnya di-input-kan akan dilakukan analisis
pengaruh masing-masing fungsi terhadap kemajuan dalam mendeteksi nilai
paraphrase dari masing-masing pasangan kalimat yang diuji.

3.2 Perancangan Dataset

Pada penilitian ini penulis menggunakan data corpus berupa kalimat
(tweet) berbahasa inggris dari media sosial twitter. Data yang akan digunakan
adalah data yang telah di format dengan struktur yang siap dikomputerisasi. Data
akan diambil dari SemEval 2015 dimana data yang tersebut merupakan data siap
pakai untuk pengujian dalam bidang Natural Language Processing (NLP), data
yang disediakan dari semEval 2015 memiliki nilai paraphrase yang telah dinilai
oleh ahli bahasa yang memiliki beragam bentuk dan nilai paraphrase atau non-
paraphrase dimana data berjumlah 18.000 training data yang mana 65 persen
meruakan paraphrase dan 35 persen merupakan non-paraphrase dan 1000 test
data. Dataset dibagi menjadi dua format berbeda yaitu data training dan data
testing dimana untuk data training dataset yang sudah disiapkan telah diberi label
nomor, topik, kalimat 1, kalimat 2 dan nilai paraphrase non-paraphrase dengan
label (1,0), (2,3), (1,4) dan (5,0), (4,1) untuk paraphrase dan (3,2) adalah nilai
debatable yang berada di antara paraphrase dan non-paraphrase, dalam penilitian
ini nilai (3,2) dimasukan kedalam nilai paraphrase. Gambar 3.1 dibawah ini
merupakan sebagian contoh dari data training

22
 Gambar 3.1 Contoh Data Training

Sedangkan untuk data test memiliki label nomor, Topik, kalimat 1, kalimat
2 dan parafrasa. Contoh data bisa dilihat dari gambar 3.2.

Gambar 3.2 Contoh Data Test

Selanjutnya untuk keperluan pengolahan data, data training dan data test
akan dibentuk ke dalam format .txt untuk input program.

3.3 Deksripsi Sistem Yang Akan Dibangun

23
 Gambar 3.3 Alur Skenario Sistem

Penjelasan flowchart yang bisa dilihat dari gambar 3.3 diatas berikut adalah
penjelasan dari alur sistem yang akan dibuat :

A. Perancangan preprocessing
Pada tahap preprocessing ini bertujuan untuk mengubah bentuk string menjadi ke
bentuk yang lebih mudah untuk keperluan prediksi paraphrase. Dengan menggunakan
data uji yang telah di bentuk menjadi format .txt selanjutnya data masuk ke proses
preprocessing data pertama yang diolah adalah data training kemudian data test. Yang
terjadi didalam proses preprocessing adalah menghilangkan dan mengubah ke bentuk
yang diharapkan, contioh bentuk yang diharapkan bila terdapat string seperti dibawah ini.

Tabel 3.1 Hasil Preprocessing

Sebelum preprocessing Setelah preprocessing

I Step In a Random House I building like i am Shit tell them
Building Like Im The Shiiiit/tell give me 50k announced first print I

24
em gimme 50k Announced First will quit
Print or Imma Quit.
1. Melakukan Tokenisasi
Pada proses pertama yang dilakukan kepada data adalah melakukan tokenisasi
data agar program dapat membaca kata dari string didalam dataset. tokenisasi
adalah memisahkan karakter-karakter yang terpisahkan oleh karakter spasi atau
karakter tanda baca sebagai sebuah kata.

2. Word Replacer
Dalam Twitter banyak pengguna membuat tweet yang menggunakan penulisan
tidak baku sehingga terkadang muncul kata yang memiliki multi-karakter dimana
karakter tersebut merupakan pengulangan dari karakter sebelumnya dimana kata
tersebut juga harus di masukan sebagai unsur penentu paraphrase kalimat,
sehingga hanya perlu di buat ke bentuk baku kata tersebut. Dengan menggunakan
kamus WordNet kata karakter yang diperkirakan terdapat pengulangan karakter
tersebut dihapus satu-per-satu lalu di cek ke kamus WordNet, setiap pengapusan
selalu dicocokan dengan kata di kamus WordNet sampai kata tersebut cocok.

3. Stop Words
Dalam proses menentukan paraphrase dua buah kalimat kalimat penghubung tidak
terlalu mempangaruhi dalam kesamaan makna dua buah kalimat, jadi dalam
proses selanjutnya kata pengubung tidak dimasukan kedalam pengukuran
paraphrase.

4. Stemming
Kedia kalimat dilakaukan proses Stemming. Stemming adalah proses
pembentukan kata menjadi bentuk kata dasar kata tersebut dengan membuat kata
menjadi kata dasar diharapkan kesamaan makna antar kalimat jadi semakin besar.

5. Mengapus Topik
Dalam melakukan identifikasi paraphrase, pengaruh dari munculnya kata topik
dalam tulisan tidak memberikan dampak signifikan terhadap akurasi akhir
paraphrase. Kemunculan topik pada String juga bisa berakibat mengecoh, maka
pada proses ini dilakukan penghapusan kata topik pada kalimat referensi dan
kalimat original.

6. Part-Of-Speech Tagging
Dengan menggunakan kamus Bahasa inggris dari WordNet program mencocokan
setiap token/kata dari kalimat referensi dan kalimat original daan memberi label
dari setiap kata, dengan menggunakan proses ini dapat menentukan subjek, objek,
predikat dan keterangan dari suatu kalimat.

B. Machine Translation Evaluation Metrics (MTEM)

Data yang telah di lakukan pre-processing selanjutnya di ukur nilai paraphrase
nya dengan menggunakan 3 buah algoritma MTEM yaitu BLEU, METEOR dan
Demerau Edit Distance. Dari setiap mesin tersebut dihasilkan score yang telah
25
ditentukan ditentukan dengan nilai threshold paraphrase lebih atau sama dengan 0.500
selain itu bernilai non-paraphrase. Selanjutnya score dari ketiga nilai tersebut di rata-
ratakan sehingga didapat nilai akhir dari keseluruhan proses MTEM.
C. Classifier

D. Analisis Hasil Program

Dari hasil yang didapat dari keseluruhan proses selanjutnya data output setiap
proses dianalisis dampak terhadap akurasi kepada output program, dan dilakukan
pembadingan terhapad penilitian sejenis yang telah dilakukan sebelumnya.

E. Hasil Akhir
Hasil akhir dari program adalah nilai parafrasa atau non-parafrasa

26
 BAB IV
PENGUJIAN DAN ANALISIS

4.1 Pengujian Sistem

Pengujian ini dilakukan untuk melihat hasil prediksi yang diperoleh dari proses
yang dijalankan pada sistem dengan mencari nilai F1, Precission dan recall. Pengujian ini
dilakukan untuk mengetahui efektivitas dari masing-masing algoritma BLEU, METEOR
dan Edit Distance dalam memprediksi paraphrase dari dua buah tweet. Aspek yang akan di
analisis pada pengujuan ini adalah output nilai nilai F1, Precission dan recall dari program
dan efektifitas dari algoritma BLEU, METEOR dan Edit Distance dengan membandingkan
nilai paraphrase yang sebelumnya telah diberikan oleh ahli bahasa dari SemEval 2015 dan
membangkan penilitian sebidang dari SemEval 2015.

4.2 Tujuan Pengujian

1. Melakukan prediksi paraphrase dua buah kalimat (tweet) dengan penerapan BLEU,
METEOR dan Edit Distance.
2. Mengatahui akurasi dari penggunaan algortima BLEU, Meteor dan Edit distance
terhadap pengukuran paraphrase dua buah kalimat (tweet).
3. Mengetahui pengaruh penggunaan algoritma BLEU, Meteor dan Edit distance terhadap
akurasi prediksi paraphrase dua buah kalimat (tweet).

4.3 Skenario Pengujian

Berdasarkan tujuan pengujian yang telah dijelaskan diatas, ada dua skenario
pengujian yang disiapkan untuk mengevaluasi performansi dari system yang telah dibuat.
Pengujian pertama dilakukan untuk pengukuran nilai F1, Precission, Recall yang didapat
dari keseluruhan proses. Sehingga dapat dilihat nilai paraphrase atau tidak, sedangankan
pengujian lanjutan akan dilakukan dengan menguji tiap masing-masing tweet. Berikut akan
dijelaskan beberapa skenario pengujian yang akan diterapkan.

Berdasarkan scenario pengujian pertama yang bertujuan untuk mendapatkan nilai

F1, Precission, Recall dilakukan dengan cara membandingkan seluruh data training dan
data testing. Scenario yang akan dilakukan adalah sebagai berikut :
1. Dilakukan pengecekan format data yang akan diprosres secara manual.
2. Aplikasi akan melakukan akan membuat data pre-processing untuk masing-
masing metode.
3. Didapatkan output yang telah dianggap benar dan salah berdasarkan label yang
telah ditentukan yang telah ditentukan.
4. Mencari nilai akurasi dari keseluruhan data training dan data testing.

4.4 Hasil Pengujian dan Analisis

Dari pengujian yang telah dilakukan akan dilakukan analisis dari hasil yang telah
didapatkan pada setiap sekenario pengujian. Analisis ini dilakukan untuk mengevaluasi
 setiap pengujian yang telah dilakukan, serta untuk mendapatkan nilai precision, recall,
korelasi, serta untuk mengetahui bahwa sistem mampu menangani berbagai variasi query.

Hasil dari preprocessing yang dilakukan aplikasi dari data training dan data testing
sebagai berikut:
Tokenisasi
Kode program untuk melakukan proses token adalah
# tokenize document without character
token=nltk.word_tokenize(sentence)

# tokenize document without character

x=re.compile('[%s]' % re.escape(string.punctuation))
tokenized_docs_no_punctuation = []
new_review = []
for token in token:
new_token = x.sub(u'', token)
if not new_token == u'':
new_review.append(new_token)
tokenized_docs_no_punctuation.append(new_review)

Dari hasil running program menggunakan source code seperti diatas didapatkan hasil
tokenisasi seperti terlihat pada tabel 4-1.

Tabel 4-1 Hasil Proses Tokenisasi

No Sentence Token Status

1 EJ Manuel the 1st QB to go
in this draft
2 But my bro from the
757 EJ Manuel is the
1st QB gone
3 Bills take EJ Manuel
QB Florida State 1st QB
off' the board
4 In other news this Belgium
squad taking on USMNT is
STACKED
[['EJ', 'Manuel', 'the', '1st', 'QB', 'to', Sesuai
'go', 'in', 'this', 'draft']]
']] sesuai
[['But', 'my', 'bro', 'from', 'the', '757',
'EJ', 'Manuel', 'is', 'the', '1st', 'QB',
'gone']]
[['Bills', 'take', 'EJ', 'Manuel', sesuai
'QBFlorida', 'State', '1st', 'QB', 'off',
'the', 'board']]
[['In', 'other', 'news', 'this', 'Belgium', sesuai
'squad', 'taking', 'on', 'USMNT', 'is',
'STACKED']]

Dari hasil pengujian didapatkan hasil tokenisasi oleh program yang setelah diuji pada
beberapa data berhasil melakukan tokenisasi pada inputan string. Dari hasil pengujian
tersebut dapat disimpulkan bahwa proses tokenisasi dapat berjalan dengan baik.
 Stop Word
from nltk.corpus import stopwords
stopword_sentence(sentence):
stopword_docs = []
for token in sentence:
words = sentence
stops=set(stopwords.words('english'))

stopword_docs = [word for word in token if word

not in stops]
return stopword_docs

Tabel 4.2 Hasil Proses Stop Word

No Sentence Stop word Status

1 EJ Manuel the 1st QB to go ['Can', 'believe', 'EJ', 'Manuel', 'went', Sesuai
in this draft '1st', 'QB', 'draft']
2 But my bro from the 757 EJ ['But', 'bro', '757', 'EJ', 'Manuel', '1st', Sesuai
Manuel is the 1st QB gone 'QB', 'gone']
3 Who wouldve thought EJ ['Who', 'wouldve', 'thought', 'EJ', Sesuai
Manuel would be the 1st qb 'Manuel', 'would', '1st', 'qb', 'taken',
taken in the draft 'draft']

Dari hasil pengujian didapatkan hasil Stop word oleh program yang setelah diuji pada
beberapa data berhasil melakukan Stop word pada inputan string. Kata penghubung yang
terdapat pada kalimat berhasil di identifikasi oleh program menggunakan kamus dari
WordNet lalu menghapus token yang di identifikasi sebagai kata penghubung. Dari hasil
pengujian tersebut dapat disimpulkan bahwa proses Stop word dapat berjalan dengan baik.

Stemmer
def stemmer_sentence(sentence):
stemmer_docs = []
stemmerporter = PorterStemmer()
for token in sentence:
stemmer = stemmerporter.stem(token)
stemmer_docs.append(stemmer)
return stemmer_docs

Tabel 4.3 Hasil Proses Stemmer

No Stopwords Stemmer Status

1 ['Can', 'believe', 'EJ', ['can', u'believ', 'EJ', 'manuel', 'went', Tidak
'Manuel', 'went', '1st', 'QB', '1st', 'QB', 'draft'] Sesuai
'draft']
2 ['But', 'bro', '757', 'EJ', ['But', 'bro', '757', 'EJ', 'Manuel', '1st', Tidak
 'Manuel', '1st', 'QB', 'gone'] 'QB', 'gone'] Sesuai
3 ['EJ', 'MANUEL', 'IS', ['EJ', 'manuel', 'IS', 'the', '1st', 'QB'] Tidak
'THE', '1ST', 'QB'] Sesuai

Dari hasil pengujian didapatkan hasil Stemmer oleh program yang setelah diuji pada
beberapa data berhasil melakukan Stemmer pada inputan string. Kata verb 3 masih belum
berhasil diubah menjadi verb 1 seperti kata went yang seharusnya menjadi go dan
gone menjadi go, hal itu disebabkan karena.. Dari hasil pengujian tersebut dapat
disimpulkan bahwa proses Stemmer tidak dapat berjalan dengan baik.

Remove Topic
topic_token=nltk.word_tokenize(topic)
new_sentence = []
for token in sentence:
isMatch = False
for token_t in topic_token:
if token == token_t:
isMatch = True
break
if isMatch == False:
new_sentence.append(token)
return new_sentence

Tabel 4.4 Hasil Proses Stemmer

N Topic Stemmer Remove Topic Status

o
1 1st QB ['can', u'believ', 'EJ', ['EJ', 'manuel', 'go', 'draft'] Sesuai
'manuel', 'went', '1st', 'QB',
'draft']
2 1st QB ['But', 'bro', '757', 'EJ', ['but', 'bro', '757', 'EJ', Sesuai
'Manuel', '1st', 'QB', 'gone'] 'manuel', 'gone']
3 1st QB ['EJ', 'manuel', 'IS', 'the', ['EJ', 'manuel', 'IS', 'the'] Sesuai
'1st', 'QB']

Dari hasil pengujian didapatkan hasil Remove Topic oleh program yang setelah diuji pada
beberapa data berhasil melakukan Remove Topic pada inputan string. Hal ini disebabkan
karena input data test dan data training memiliki data topik dari kedua kalimat yang akan
dibandingkan dan program membaca data tersebut lalu menghapus token yang jika string
tersebut sama dengan string array pada data topik. Dari hasil pengujian tersebut dapat
disimpulkan bahwa proses Remove Topic dapat berjalan dengan baik.
 Part-of-Speech Tagging
def parts_of_speech_tagging(sentence):
return nltk.pos_tag(sentence)

Tabel 4.5 Hasil Proses Part-of-Speech Tagging

N Remove Topic POS TAG Status

o
1 ['EJ', 'manuel', 'go', 'draft']
2 ['but', 'bro', '757', 'EJ', 'manuel',
'gone']
3 ['EJ', 'manuel', 'IS', 'the']
[('EJ', 'NNP'), ('manuel', 'NN'), ('go', Sesuai
'VBP'), ('draft', 'NN')]
[('but', 'CC'), ('bro', '$'), ('757', 'CD'), Sesuai
('EJ', 'NNP'), ('manuel', 'NN'),
('gone', 'VBN')]
[('EJ', 'NNP'), ('manuel', 'NN'), ('IS', Sesuai
'VBZ'), ('the', 'DT')]

Dari hasil pengujian didapatkan hasil Part-of-Speech Tagging oleh program yang setelah
diuji pada beberapa data berhasil melakukan Part-of-Speech Tagging pada inputan string.
Hal ini disebabkan karena program menggunakan kamus dari WordNet untuk melihat
referensi setiap token kalimat dan disamakan dengan penilaian Part-of-Speech dari
WordNet. Dari hasil pengujian tersebut dapat disimpulkan bahwa proses Part-of-Speech
Tagging dapat berjalan dengan baik.

Edit distance
Proses untuk melakukan perhitungan jarak tiap kata yang telah diproses menggunakan
algoritma edit distance menghasilkan nilai seperti terlihat pada tabel 4

Tabel 4.6 Hasil Proses Edit Distance

No Sentence 1 Sentence 2 Distance

1 EJ manuel go but bro 757 EJ 5
draft manuel gone
2 EJ manuel go can believ EJ
draft manuel went
draft
3 EJ manuel go EJ da da board 3
draft
4 EJ manuel go manuel get 2
 draft draft
5 So EJ manuel can not believ 5
taken EJ manuel qb
taken draft

distance

data 1 data 2 data 3

BLEU (tambahkan data lainnya)

Tabel 4.7 Hasil Proses BLEU

No Sentence 1 Sentence 2 Score

1 EJ manuel go draft but bro 757 EJ manuel gone 0.221411797223
2 EJ manuel go draft can believ EJ manuel went draft 0.31239399369
2
3 EJ manuel go draft EJ da da board 0.47287080450
2
4 EJ manuel go draft manuel get draft 0.359304111963
5 So EJ manuel taken can not believ EJ manuel qb 0.22679164443
taken draft 9

Dengan semakin besar jumlah nGram maka akan mempengaruhi score bleu yang akan
didapatkan.

Meteor (tambahkan data lainnya)

 Tabel 4.8 Hasil Proses METEOR

No Sentence 1 Sentence 2 Score

1 EJ manuel go draft but bro 757 EJ manuel gone 0.221411797223
2 EJ manuel go draft can believ EJ manuel went draft 0.258333333333
3 EJ manuel go draft EJ da da board 0.273148148148
4 EJ manuel go draft manuel get draft 0.068300495262
7
5 So EJ manuel taken can not believ EJ manuel qb 0.240244708995
taken draft

Fmean yang didapat dari meteor dipengaruhi oleh hasil yang didapat dari Bleu dan Edit
distance.

a. Melakukan prediksi paraphrase dua buah kalimat (tweet) dengan penerapan BLEU, METEOR
dan Edit Distance.
EJ manuel go draft but bro 757 EJ manuel Paraprase
gone
Berdasarkan data diatas, aplikasi yang dibangun dapat memprediksi paraphrase atau non
paraphrase untuk (seluruh/sebagian) data yang diujikan.

b. Mengatahui akurasi dari penggunaan algortima BLEU, Meteor dan Edit distance terhadap
pengukuran paraphrase dua buah kalimat (tweet).

c. Mengetahui pengaruh penggunaan algoritma BLEU, Meteor dan Edit distance terhadap akurasi
prediksi paraphrase dua buah kalimat (tweet).
Akurasi Ket
Precision = 0.38479020979
Recall = 0.417424242424 total data train = 10
F1 = 0.397747035573 total data testing = 7

Dengan menggunakan bleu meteor edit, tingkat akurasi dapat lebih baik jika
data training lebih banyak dibandingkan data yang akan diuji.

BAB V
PENUTUP
5.1 Kesimpulan
 1. Dari Penggunaan ketiga algoritma hasil akurasi yang didapat masih kurang cukup,
sehingga nilai akurasi dari identifikasi program yang dibuat masih jauh dari
harapan
2. Dari pengujian ketiga algoritma terhadap 200 data testing menghasilkan nilai
Precision = 0.38479020979, Recall = 0.417424242424 dan

5.2 Saran
1.
2.
3.
 DAFTAR PUSTAKA

[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
[10]
[11]