15

NATURAL LANGUAGE
PROCESSING
LONG SHORT-TERM MEMORY (LSTM)

Fakultas
AFIYATI SSi., MT.
FAKULTAS ILMU
KOMPUTER

Program Studi
INFORMATIKA
MATERI
1. Pengenalan NLP
2. Pre-processing
3. Word Embedding
4. Klasifikasi teks dengan perceptron
5. Pemodelan bahasa (dasar dan lanjut)
6. Part-of-speech tagging
7. Context Free Grammar dan Parsing
8. Neural Network (NN) / Recurrent Neural Network (RNN)
9. Named Entity Recognition (NER)
10.Text Summarization
11.Long Short-Term Memory (LSTM)
12.Presentasi Final Project
DEFINIS LSTM (1)
LSTM merupakan salah satu jenis dari Recurrent Neural Network
(RNN) dimana dilakukan modifikasi pada RNN dengan
menambahkan memory cell yang dapat menyimpan informasi
untuk jangka waktu yang lama (Manaswi, 2018). LSTM diusulkan
sebagai solusi untuk mengatasi terjadinya vanishing
gradient pada RNN saat memproses data sequential yang
panjang.
LSTM & RNN
Long Short-Term Memory Network adalah salah satu jenis
jaringan syaraf tiruan yang merupakan varian dari Recurrent
Neural Network. LSTM dapat mempelajari ketergantungan jangka
panjang (Long-term Dependencies) yang sebelumnya menjadi
kelemahan dalam RNN. LSTM juga memiliki koneksi berulang
atau struktur yang seperti rantai. Perbedaan LSTM dan RNN
terletak pada lapisan yang terdapat dalam setiap cell LSTM.
DEFINISI LSTM (3)
• LSTM (Long Short Term Memory) adalah jenis modul
pemrosesan lain untuk RNN. LSTM diciptakan oleh
Hochreiter & Schmidhuber (1997) dan kemudian
dikembangkan dan dipopulerkan oleh banyak periset. Seperti
RNN, jaringan LSTM (LSTM network) juga terdiri dari modul-
modul dengan pemrosesan berulang.
SEL LSTM
NOTASI LSTM
Pada diagram di bawah, setiap garis membawa seluruh vektor, dari output
satu simpul (node) ke input yang lain. Lingkaran merah muda mewakili operasi
elemen, seperti penambahan atau perkalian elemen vektor, sedangkan kotak
kuning adalah lapis jaringan saraf (mengandung parameter dan bias) yang bisa
belajar. Dua garis yang bergabung menandakan penggabungan dua
matriks/vektor, sementara garis berpisah menandakan kontennya disalin dan
salinannya pergi ke simpul yang berbeda.
JARINGAN LSTM
Modul LSTM (satu kotak hijau) mempunyai pemrosesan yang
berbeda dengan modul RNN biasa. Perbedaan lain adalah
adanya tambahan sinyal yang diberikan dari satu langkah waktu
ke langkah waktu berikutnya, yaitu konteks, direpresentasikan
dengan simbol Ct.
KETERANGAN JARINGAN LSTM
• Forget Gate f (NN dengan fungsi sigmoid).

• Candidate Layer g (NN dengan fungsi tanh).

• Input Gate I (NN dengan fungsi sigmoid).

• Output Gate O (NN dengan fungsi sigmoid).

• Hidden State H (vektor).

• Memory State C (vektor).

DIAGRAM LSTM

1.XtXt = Vektor input saat ke-t.

2.Ht−1Ht−1 = Hidden state sebelumnya.
3.Ct−1Ct−1 = Memori state sebelumnya.
4.HtHt = Hidden state saat ini.
5.CtCt = Memori state saat ini.
6.[*] = operasi perkalian elemen.
7.[+] = operasi penjumlahan elemen.

Jadi input dari tiap modul LSTM adalah XtXt (current input), Ht−1Ht−1, dan Ct−1Ct−1.
kemudian outputnya adalah HtHt, dan CtCt.
PENGGUNAAN LSTM
• Robot Control
• Prediksi Time Series
• Speech Recognition
• Rhythm Learning
• Komposisi Musik
• Grammar Learning
• Handwriting Recognition
• Human Action Recognition
• End to End Translation
PENGGUNA LSTM

• GOOGLE
• AMAZON
• APPLE
• MICROSOFT
CONTOH PROSES LSTM
PERBEDAAN RNN & LSTM
Terima Kasih
AFIYATI SSi., MT.