EAS PENGOLAHAN BAHASA ALAMI

Disusun Oleh :
Ahmad rizal Muqoddes
1461800076

Dosen Pengampu :
Luvia Friska Narulita S.ST.,M.T

FAKULTAS TEKNIK INFORMATIKA

UNIVERSITAS 17 AGUSTUS 1945 SURABAYA
2021
Source Code
from nltk.stem.wordnet import WordNetLemmatizer
from nltk.corpus import twitter_samples, stopwords
from nltk.tag import pos_tag
from nltk.tokenize import word_tokenize
from nltk import FreqDist, classify, NaiveBayesClassifier

import re, string, random

def remove_noise(tweet_tokens, stop_words = ()):

    # variabel penampung token yang sudah dibersihkan 
    cleaned_tokens = []

    # perulangan untuk proses pembersihan
    for token, tag in pos_tag(tweet_tokens):

        # menghapus atau mereplace token tidak jelas dari twitter
        token = re.sub('http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+#]|[!*\
(\),]|'\
                       '(?:%[0-9a-fA-F][0-9a-fA-F]))+','', token)
        token = re.sub("(@[A-Za-z0-9_]+)","", token)

        # mengconvert pos tag
        if tag.startswith("NN"):
            pos = 'n'
        elif tag.startswith('VB'):
            pos = 'v'
        else:
            pos = 'a'

        # proses lemmatizer 
        lemmatizer = WordNetLemmatizer()
        token = lemmatizer.lemmatize(token, pos)

        # pengkondisikan terakhir apabila token yang sudah lulus syarat di
atas
        # pengkondisian terakhir apabila ada kata yang duplikasi
        if len(token) > 0 and token not in string.punctuation and token.lo
wer() not in stop_words:
            cleaned_tokens.append(token.lower())
    return cleaned_tokens

custom_text = input()
custom_tokens = remove_noise(word_tokenize(custom_text))

print("Sentimen Analyze : " + classifier.classify(dict([token, True] for t
oken in custom_tokens)))

Screenshot saat dijalankan

Pembahasan :
Pada Aplikasi text processing sentiment analyse tersebut menggunakan beberapa fungsi yang
mengimport dari modul yaitu NLTK Pos Tag, Lemmatization, Stopword, Classify, Regular
Expression.

Link Project :
https://colab.research.google.com/drive/1sYNuFCgr4zAnA_bwwMs8Swz13wD9a2XR?
usp=sharing
Sumber :
https://www.digitalocean.com/community/tutorials/how-to-perform-sentiment-analysis-in-
python-3-using-the-natural-language-toolkit-nltk