Natural Language Processing

DEFINISI

Pemroses bahasa alami (Natural Language

Processing/NLP) adalah suatu aplikasi (program)
dalam bidang AI yang dapat mengartikan suatu
bahasa baik bahasa tulisan maupun bahasa lisan
atau memproses masukan yang berupa bahasa
menjadi suatu informasi atau pengetahuan

Yang menjadi pembahasan bukan bagaimana bahasa

diinput atau dimasukkan kedalam program, tetapi
lebih kepada bagaimana mengartikan suatu bahasa
atau mengcopy / mengambil informasi/pengetahuan
dari suatu bahasa.
NLP adalah proses pembuatan model komputasi dari bahasa
sehingga memungkinkan terjadinya interaksi antara manusia dan
komputer dengan perantaraan bahasa alami yang dipakai oleh
manusia.
NLP memodelkan pengetahuan terhadap bahasa, baik dari segi kata,
bagaimana kata-kata bergabung menjadi suatu kalimat dan konteks
kata dalam kalimat.
 PEMBAGIAN NLP
Masalah pemrosesan bahasa alami dibagi menjadi dua
bagian besar, yaitu :
1. Pemrosesan Naskah Tertulis
menggunkan pengetahuan tentang leksikal, sintax, dan
semantik
2. Pemrosesan Bahasa Lisan
menggunakan semua pengetahuan dari pemrosesan
naskah tertulis ditambah pengetahuan tentang
phonology.
 MASALAH DALAM NLP
Beberapa masalah yang dihadapi dalam pemrosesan bahasa
alami antara lain adalah :
1. Suatu kalimat sering kali tidak lengkap, artinya tidak
memberi informasi yang jelas atau lengkap
2. Satu kalimat dapat memiliki lebih dari satu pengertian
dalam konteks yang berbeda
3. Tidak ada program pemroses bahasa alami yang cukup
lengkap karena bahasa selalu berkembang, kosa kata
selalu bertambah.
4. Bisa terdapat lebih dari satu cara (lebih dari satu
kalimat) untuk mengungkapkan hal(maksud) yang
sama.
 TAHAPAN PROSES
Untuk memproses bahasa alami diperlukan 5 langkah
sebagai berikut :
1. Analisis Morpology
Pada tahap ini dilakukan analisa untuk setiap kata dan
komponen yang dimiliki tiap kata termasuk token non
kata seperti spasi, tanda baca, tanda pemisah.

2. Analisis Sintax
Pada tahap ini sederetan kata disusun kedalam struktur
yang memperlihatkan bagaimana hubungan satu kata
dengan kata lainnya. Deretan kata akan ditolak bila tidak
memenuhi aturan penyusunan kata yang ada
3. Analisis semantik
Pada tahap ini struktur deretan kata yang sudah
terbentuk akan diberi arti. Dengan kata lain pemetaan
dibuat antara struktur sintax dengan object yang
berhubungan.

4. Discourse Knowledge
Pada tahap ini arti dari suatu kalimat disesuaikan
dengan kalimat-kalimat lain, karena arti dari suatu
kalimat biasanya berhubungan dengan kalimat
sebelumnya dan kalimat sesudahnya.

5. Analisis Pragmatis
Struktur yang terbentuk menghasilkan interpretasi ulang
dari apa yang sudah dikatakan atau ditulis sebelumnya
dengan arti yang sebenarnya.
MORFOLOGI
Pengetahuan tentang kata dan bentuknya sehingga bisa dibedakan
antara yang satu dengan yang lain.

Contoh:
membangunkan
 bangun (kata dasar)
 mem (prefix)
 kan (suffix)
SINTAKTIS
Pengetahuan tentang urutan kata dalam pembentukan kalimat.

Contoh:
Kalimat  Subyek, Predikat
Subyek  Determinan, KataBenda
Predikat  KataKerja, KataBenda
 SEMANTIK
Mempelajari arti suatu kata dan bagaimana arti kata-arti kata tersebut
membentuk suatu arti kata dari kalimat yang utuh.
Contoh:
- Ayahku datang membawa buah tangan
- Saya mau tahu. (tahu = mengerti)- saya mau tahu. (tahu = makanan)
 DISCOURSE KNOWLEDGE
Pengetahuan tentang hubungan antar kalimat.
Melakukan pengenalan apakah suatu kalimat yang
telah dikenali mempengaruhi kalimat selanjutnya.
Penting untuk identifikasi kata ganti orang, keterangan
tempat atau aspek sementara dari informasi.

Contoh:
Ibu pergi ke pasar. Ia membeli makanan disana.
 PRAGMATIK
Pengetahuan tentang konteks kata/kalimat yang
berhubungan erat keadaan atau situasi kata/kalimat
tersebut dipakai.

Contoh:
Ayah datang (diucapkan dengan nada datar)
Ayah datang! (diucapkan dengan nada tinggi)
Ayah datang? (diucapkan dengan tempo cepat)
 WORLD KNOWLEDGE

Mencakup arti sebuah kata secara umum dan apakah arti khusus bagi suatu
kata dalam suatu percakapan dengan konteks tertentu
 FONETIK / FONOLOGI
Berhubungan dengan suara yang menghasilkan kata yang dapat dikenali.
Bidang ini dipakai dalam aplikasi-aplikasi speech based system
Contoh
Dalam bahasa Inggris ada perbedaan yang nyata antara
bunyi tin dan thin, dan antara they dan day
 GRAMMAR DAN PARSERS
Grammar adalah suatu aturan yang menentukan bagaimana suatu
kalimat dalam suatu bahasa dibentuk. Grammar berisi kumpulan
sintax yang baku/benar dari suatu bahasa.
Contoh : Dalam bahasa Indonesia, suatu kalimat biasanya terdiri
dari
Subject-Predikat-Object-Keterangan

Parsers adalah suatu metode atau suatu program (sering disebut

suatu mesin) yang dapat memproduksi/menghasilkan kalimat
atau bahasa yang sesuai dengan Grammar yang sudah ditentukan
atau diinginkan. Parsers juga dapat memeriksa apakah suatu
kalimat yang dimasukkan sesuai dengan Grammar atau tidak.
 JENIS PARSERS

Parsers terdiri dari dua jenis, yaitu :

1. Top-Down Parsing
memulai proses parsing dari simbol start dan
menggunakan aturan grammar sampai simbol-simbol
terminal pada tree terhubung ke komponen kalimat yang
di parsing

2. Bottom-Up Parsing
memulai proses parsing dari kalimat yang akan di parsing
dan menggunakan aturan grammar secara terbalik untuk
memproduksi kata menjadi terminal, terminal menjadi
kalimat sampai tree/ pohon lengkap dan simbol start
tercapai
APLIKASI NLP

Text-based application
Speech-based application
TEXT-BASED APPLICATION
Aplikasi yang melakukan memprosesan terhadap
teks tertulis

Contoh:
 Mencari topik tertentu dari buku di perpustakaan
 Mencari isi dari suatu berita atau artikel
 Mencari isi dari email
 Menterjemahkan dokumen dari suatu bahasa ke bahasa
lain
 SPEECH-BASED APPLICATION
Aplikasi yang melakukan memprosesan dari bahasa lisan atau pengenalan
suara.

Contoh:
 Sistem otomatis pelayanan melalui telepon
 Control suara pada peralatan elektronik
 Aplikasi peningkatan kemampuan berbahasa
CONTOH APLIKASI NLP
ELIZA yang dibekali pengetahuan psikologi, sehingga
beberapa orang terdorong untuk mampu merubah sikap dan
perilakunya.
Jupiter yang mampu memberikan informasi cuaca melalui
telepon.
ALVIN yang mampu menjawab pertanyaan mengenai DOS.
SEXPERT yang dirancang untuk perbincangan mengenai
pendidikan seksual.
Email translator
Web translator
World translator
JUPITER
 EMAIL TRANSLATOR
Alat yang akan menjawab masalah
perbedaan bahasa, karena email
translator mampu menterjemahkan
bahasa, seperti yang kita inginkan.
Email Translator akan menterjemahkan
kalimat-kalimat di dalam mail box,
jika email yang kita terima tidak
sesuai dengan bahasa kita sehari-
hari.
 WEB TRANSLATOR
Suatu mesin aplikasi berbasis World Wide Web yang
dapat menterjemahkan bahasa dalam suatu web site.
Web Translator akan menterjemahkan bahasa di
dalam semua link-link, page per page menjadi bahasa
seperti yang kita inginkan.
 WORLD TRANSLATOR
Suatu pengembangan dari word translator yang sudah
ada. Diharapkan dengan teknik ini hasil terjemahan
bahasa akan menjadi lebih sempurna, mengikuti kaidah
tata bahasa.
Terjemahan akan lebih cepat, akurat bukan lagi dengan
sistem menterjemahkan per kata, tapi per kalimat
dengan melihat Subjek-Predikat-Objek.
Pengembangan ini diharapkan mampu menjawab
tantangan dari word translator yang sudah ada di
pasaran.
GRAMATIKA
Suatu aturan yang menentukan apakah suatu
kumpulan kata dapat diterima sebagai kalimat dalam
suatu bahasa.
Context Free Grammar (CFG) adalah representasi
grammar dari Chomsky Hierarchy yang mudah
dipahami dan diolah dalam bentuk program.
CFG merepresentasikan bahwa suatu grammar itu
dapat dibentuk dari 4 elemen, yaitu:
 Simbol awal
 Aturan penulisan
 Simbol non terminal
 Simbol terminal
CONTOH
simbol
awal
simbol non
aturan
terminal
penulisan

Kalimat  KataBenda KataKerja

KataBenda  {ayam, kucing, budi}
KataKerja  {makan, minum, baca} simbol
terminal
PARSING
Suatu proses menganalisa suatu kumpulan kata dengan memisahkan
kata-kata itu dan menentukan struktur sintaktis dari tiap kata tersebut.

Mempunyai 2 pendekatan:
 Top-down parsing
 Bottom-up parsing
CONTOH
kucing makan

Kalimat

KataBenda KataKerja
Bottom-up
parsing
kucing makan
KATEGORI KATA
N noun chair, bandwidth, pacing
V verb study, debate, munch
ADJ adj purple, tall, ridiculous
ADV adverb unfortunately, slowly,
P preposition of, by, to
PRO pronoun I, me, mine
DET determiner the, a, that, those
SYNTACTIC ANALYSIS - GRAMMAR
sentence -> noun_phrase, verb_phrase
noun_phrase -> proper_noun
noun_phrase -> determiner, noun
verb_phrase -> verb, noun_phrase
proper_noun -> [mary]
noun -> [apple]
verb -> [ate]
determiner -> [the]
NLP - PROF. CAROLINA RUIZ
SYNTACTIC ANALYSIS - PARSING
sentence

noun_phrase verb_phrase

proper_noun verb noun_phrase

determiner noun

“Mary” “ate” “the” “apple”

NLP - PROF. CAROLINA RUIZ
 Contoh Parsing
S

NP VP

NN IN NP VBZ NP

School of NP CC NP presents JJ NN

NN and NN Wonderful
Town
Theatre Dance

32/34
CONTOH PARSING
CONTOH PARSING