EDBERT JUNUS

2201767623

Natural Language Processing

Jawaban:

Contoh teknologi yang menerapkan Natural Language Processing ada banyak diantaranya:

• Email

Email merupakan salah satu alat komunikasi yang sangat penting perannya dalam
kehidupan kita sekarang. Penerapan Natural Language Processing ke email tentunya
sangat memudahkan user. Contoh penerapannya pada email dimulai dari spam filter
yang mencari kata – kata atau kalimat yang mengidentifikasi sebuah spam message,
sehingga bisa memindahkannya ke folder spam.

Selain dari spam filter, penerapan Natural Language Processing lainnya pada email
seperti Gmail bisa melakukan predictive text yang dapat memprediksi kata kata
selanjutnya yang akan ditulis oleh user.

• Aplikasi Penerjemah

Aplikasi penerjemah seperti Google Translate tentunya tidak bisa hanya

menerjemahkan kata per kata. Natural Language Processing yang diterapkan pada
Google Translate digunakan agar bisa mengerti kata dan kalimat sesuai konteks dan
grammar dari bahasa yang ingin diterjemahkan sehingga bisa menghasilkan terjemahan
yang tepat.

• Speech Recognition

Akhir ini semakin trend penggunaan smart assistant seperti Alexa, Siri, Google Assistant
yang digunakan dalam kehidupan sehari – hari seperti untuk menanyakan cuaca, waktu,
atau bahkan bisa diintegrasi dengan perangkat IoT, seperti bisa mematikan lampu. Hal
ini tentu bisa dilakukan dimana diperlukannya speech recognition untuk memahami apa
yang diucapkan oleh orang dalam suara dan memberikan respons yang tepat.

• Search Engine

Kehidupan kita saat ini tentunya sangat tidak lepas dari teknologi search engine seperti
Google yang sudah menjadi tempat kita mencari informasi. Penerapan Natural
Language Processing pada search engine ada pada saat kita menginput kata kata untuk
mencari informasi. Search Engine bisa menampilkan informasi yang relevan dengan
yang dicari oleh user karena seach engine tidak hanya mengerti arti dari kata – kata
yang diinput tetapi juga memahami maksud yang ingin disampaikan oleh user.
Jawaban:

• Inflectional Morphology

Kombinasi kata dasar (stem) dengan sebuah grammatical morfem yang akan
menghasilkan kata yang memiliki kelas yang sama dengan original stemnya.

Contoh penggunaan pada bahasa Inggris terdapat inflectional morfem -s untuk

membuat kata menjadi plural pada kata benda, seperti cakes dimana original stemnya
adalah cake dan inflectional morfem adalah -s.

Ada juga penggunaan inflectional morfem -ed untuuk membuat past tense dari sebuah
kata kerja seperti baked dimana original stemnya adalah bake dan inflectional morfem -
ed.

• Derivational Morphology

Kombinasi kata dasar (stem) dengan sebuah grammatical morfem yang akan
menghasilkan kata yang memiliki kelas yang berbeda dengan original stemnya.

Contoh penggunaan pada bahasa Inggris terdapat derivational morfem suffix -ful
ditambahkan kata benda seperti beauty akan menghasilkan kata baru beautiful yang
merupakan kata sifat yang berbeda dari original stemnya.

• Compounding

Kombinasi beberapa kata dasar (stem) menjadi suatu kata.

Contoh penggunaa pada bahasa Inggris dimana kata air dan plane yang digabung
menjadi airplane.

• Cliticization

Kombinasi kata dasar (stem) dengan sebuah clitic. Clitic merupakan morfem yang
bertindak secara syntax seperti sebuah kata, tetapi bentuknya lebih sedernaha dan
terikat pada kata lain dan tidak bisa berdiri sendiri.

Contoh penggunaan pada bahasa Inggris terdapat morfem ‘ve yang dipasangkan
dengan I menadi I’ve yang artinya sama dengan I have. Morfem ‘ve ini merupakan
sebuah clitic.
Jawaban:

Character Description Pattern Example Patterns

Matched
? Matches the previous token between /woodchucks?/ “I have one
zero and one times woodchuck and they
have ten woodchucks”
+ Matches the previous character one /cat+/ “I went to a cat cafe,
or more occurence its name is cattt”
* Matches the previous character or /cat*/ “I went to a cat cafe,
regular expression between zero or its name is cattt”
more occurrence
. Matches any single character /.atch/ “match, catch, patch,
scratch”

Karakter ? jika digunakan pada sebuah karakter ‘a’, regular expression akan mencocokkan
pada kata – kata yang memiliki karakter ‘a’ jumlah nol dan maksimal satu. Seperti pada contoh
diatas /woodchucks?/, dimana karakter terakhir adalah ‘s’ sehingga kata yang cocok pada
kalimat tersebut adalah antara ‘woodchuck’ dan ‘woodchucks’.

Karakter ‘+’ jika digunakan pada sebuah karakter ‘a’, regular expression akan mencocokkan
pada kata – kata yang memiliki karakter ‘a’ jumla minimal satu atau lebih. Seperti pada contoh
diatas /cat+/ dimana kata – kata yang akan cocok pada kalimat diatas adalah ‘cat’ dan ‘cattt’
karena memiliki karakter ‘t’ minimal satu atau lebih.

Karakter ‘*’ jika digunakan pada sebuah karakter ‘a’, regular expression akan mencocokkan
pada kata – kata yang memiliki karakter ‘a’ jumlah nol atau lebih. Seperti pada contoh diatas
saya samakan dengan contoh yang karakter ‘+’ agar bisa diliat perbedaanya. Bisa dilihat
dengan pattern /cat*/, kata – kata yang akan cocok pada kalimat diatas adalah ‘cat’, ‘cafe’, dan
‘cattt’. ‘cafe’ termasuk cocok karena ‘*’ match terhadap ketika tidak ada karakter ‘t’.

Karakter ‘.’ merupakan karakter yang spesial yang bisa cocok dengan semua jenis karakter.
Seperti pada contoh diatas /.atch/ dimana kata – kata yang akan cocok pada kalimat diatas
adalah ‘match’, ‘catch’, ‘patch’, dan ‘scratch’. Namun untuk ‘scratch’ yang cocok hanya mulai
dari huruf ‘r’, hal ini disebabkan karena karakter ‘.’ hanya merepresentasikan 1 karakter saja.

Jawaban:

• N – grams merupakan model probabilistik yang bisa melakukan word prediction,

prediksi kata selanjutnya dari kalimat sebelumnya. N – grams banyak digunakan pada
penerapan Natural Language Processing seperti part – of speech tagging, natural
language generation, dan word similarity.
• Closed Vocabulary merupakan sebuah asumsi adanya suatu lexicon dan test set yang
hanya bisa berisi kata yang mengandung lexicon tersebut. Oleh karena itu, Closed
Vocabulary mengasumsikan tidak adanya kata yang tidak diketahui (unknown word).
• Open Vocabulary merupakan sebuah sistem yang memodelkan kata – kata yang
berpotensi tidak diketahui (unknown words) pada test set dengan menambahkan pseudo
– word yang disebut <UNK>.

Jawaban:

• Part-of-Speech Tagging adalah proses memasukkan sebuah part-of-speech atau

tanda kelas syntax ke setiap kata dalam suatu corpus. Part-of-Speech yang dimaksud
adalah: Noun, Verb, Pronoun, Preposition, Adverb, Conjunction, Participle dan Article.
Contohnya part-of-speech tagging dengan Part-of-Speech Tag dari Penn Treebank
seperti:

Words I love playing game with my friends

Tag PP VB VBG NN IN PPS NNS
Description Personal Verb, base Verb, Noun, Preposition Possessive Noun,
Pronoun form gerund singular Pronoun Plural

• Closed Classes adalah kategori dari Part-of-Speech yang memiliki kelas yang
membershipnya sudah tetap (relatively fixed). Membership yang sudah tetap tersebut
maksudnya adalah tidak akan terjadi penambahan baru pada kelas tersebut. Salah satu
dari Closed Classes adalah Prepositions karena sudah memiliki kumpulan kata – kata
 yang pasti merupakan Prepositions dan jarang akan terjadi penambahan baru. Contoh
lain dari Closed Classes adalah Pronouns, dan Determiner.
• Open Classes adalah kategori dari Part-of-Speech yang memiliki kelas yang
membershipnya akan bertambah terus. Contoh dari Open Classes adalah Nouns and
Verbs dimana jumlah kata yang masuk dalam kelas akan bertambah terus seiring
bertambah atau bahkan dikutip dari bahasa lainnya. Contoh bahasa Inggris yang dikutip
dari bahasa lain seperti Karaoke yang artinya orkestra kosong dalam bahasa Jepang.

Jawaban:

Kata pada kalimat diatas akan diterima oleh finite-state automata jika melalui initial state dan
sampai pada final state (q3 atau q5). Berikut penjabaran untuk tiap kata kata ke dalam state
transition table.

‘she’ ‘won’
Input Input
State State
s i x t y s i x t y
→ q0 q1 Ø Ø Ø Ø → q0 Ø Ø Ø Ø Ø
q1 Ø Ø Ø Ø Ø q1 Ø Ø Ø Ø Ø
q2 Ø Ø Ø Ø Ø q2 Ø Ø Ø Ø Ø
*q3 Ø Ø Ø Ø Ø *q3 Ø Ø Ø Ø Ø
q4 Ø Ø Ø Ø Ø q4 Ø Ø Ø Ø Ø
*q5 Ø Ø Ø Ø Ø *q5 Ø Ø Ø Ø Ø
Kata ‘she’ ditolak oleh model finite-state Kata ‘won’ ditolak oleh model finite-state
automata karena sudah null pada semua input automata karena sudah null pada semua input
pada state q1 karena tidak ada huruf i pada pada state q0 (initial state).
‘she’ setelah huruf s.
‘six ‘medals’
Input Input
State State
s i x t y s i x t y
→ q0 q1 Ø Ø Ø Ø → q0 Ø Ø Ø Ø Ø
q1 Ø q2 Ø Ø Ø q1 Ø Ø Ø Ø Ø
q2 Ø Ø *q3 Ø Ø q2 Ø Ø Ø Ø Ø
*q3 Ø Ø Ø Ø Ø *q3 Ø Ø Ø Ø Ø
q4 Ø Ø Ø Ø Ø q4 Ø Ø Ø Ø Ø
*q5 Ø Ø Ø Ø Ø *q5 Ø Ø Ø Ø Ø
Kata ‘six’ diterima oleh model finite-state Kata ‘medals’ ditolak oleh model finite-state
automata karena berhasil diterima inputnya automata karena sudah null pada semua input
sampai pada salah satu final state q3. pada state q0 (initial state).

‘in’ ‘sixty’
Input Input
State State
s i x t y s i x t y
→ q0 Ø Ø Ø Ø Ø → q0 q1 Ø Ø Ø Ø
q1 Ø Ø Ø Ø Ø q1 Ø q2 Ø Ø Ø
q2 Ø Ø Ø Ø Ø q2 Ø Ø *q3 Ø Ø
*q3 Ø Ø Ø Ø Ø *q3 Ø Ø Ø q4 Ø
q4 Ø Ø Ø Ø Ø q4 Ø Ø Ø Ø *q5
*q5 Ø Ø Ø Ø Ø *q5 Ø Ø Ø Ø Ø
Kata ‘in’ ditolak oleh model finite-state Kata ‘sixty’ diterima oleh model finite-state
automata karena sudah null pada semua input automata karena berhasil diterima inputnya
pada state q0 (initial state). sampai pada salah satu final state q5.

‘games’
Input
State
s i x t y
→ q0 Ø Ø Ø Ø Ø
q1 Ø Ø Ø Ø Ø
q2 Ø Ø Ø Ø Ø
*q3 Ø Ø Ø Ø Ø
q4 Ø Ø Ø Ø Ø
*q5 Ø Ø Ø Ø Ø
Kata ‘games’ ditolak oleh model finite-state
automata karena sudah null pada semua input
pada state q0 (initial state).

Jadi, kata – kata dalam kalimat tersebut yang diterima hanya six dan sixty oleh model finite
state automata.