Konsep Neural

Networks For
Unsupervised
Learning
Arman Andrian (14002308)
M Ilham Prasetya (14002329
Yuris Alkhalifi (14002360)
Sejarah dan
Konsep Neural
Networ
k
 Sejarah Neural Network

Perkembangan ilmu Neural Network sudah ada sejak tahun 1943 ketika Warren McCulloch
dan Walter Pitts memperkenalkan perhitungan model neural network yang pertama kalinya.
Mereka melakukan kombinasi beberapa processing unit sederhana bersama-sama yang
mampu memberikan peningkatan secara keseluruhan pada kekuatan komputasi.

 McCulloch & Pitts, penemu pertama Neural Network

 Sejarah Neural Network

Hal ini dilanjutkan pada penelitian yang dikerjakan oleh Rosenblatt pada tahun 1950, dimana
dia berhasil menemukan sebuah two-layer network, yang disebut sebagai perceptron.
Perceptron memungkinkan untuk pekerjaan klasifikasi pembelajaran tertentu dengan
penambahan bobot pada setiap koneksi antar-network.
 Sejarah Neural Network

Keberhasilan perceptron dalam pengklasifikasian pola tertentu ini tidak sepenuhnya sempurna, masih ditemukan
juga beberapa keterbatasan didalamnya. Perceptron tidak mampu untuk menyelesaikan permasalahan XOR
(exclusive-OR). Penilaian terhadap keterbatasan neural network ini membuat penelitian di bidang ini sempat mati
selama kurang lebih 15 tahun. Namun demikian, perceptron berhasil menjadi sebuah dasar untuk penelitian-
penelitian selanjutnya di bidang neural network. Pengkajian terhadap neural network mulai berkembang lagi
selanjutnya di awal tahun 1980-an. Para peneliti banyak menemukan bidang interest baru pada domain ilmu
neural network. Penelitian terakhir diantaranya adalah mesin Boltzmann, jaringan Hopfield, model pembelajaran
kompetitif, multilayer network,  dan teori model resonansi adaptif.
Untuk saat ini, Neural Network sudah dapat diterapkan pada beberapa task, diantaranya classification, recognition,
approximation, prediction, clusterization, memory simulation dan banyak task-task berbeda yang lainnya, dimana
jumlahnya semakin bertambah seiring berjalannya waktu.
 Konsep Neural Networks

Neural network adalah model yang terinspirasi oleh bagaimana neuron dalam otak manusia
bekerja. Tiap neuron pada otak manusia saling berhubungan dan informasi mengalir dari
setiap neuron tersebut. Gambar di bawah adalah ilustrasi neuron dengan model
matematisnya.
 Konsep Neural Networks

Neural Network merupakan kategori ilmu Soft Computing. Neural Network sebenarnya
mengadopsi dari kemampuan otak manusia yang mampu memberikan stimulasi/rangsangan,
melakukan proses, dan memberikan output. Output diperoleh dari variasi stimulasi dan
proses yang terjadi di dalam otak manusia. Kemampuan manusia dalam memproses
informasi merupakan hasil kompleksitas proses di dalam otak. Misalnya, yang terjadi pada
anak-anak, mereka mampu belajar untuk melakukan pengenalan meskipun mereka tidak
mengetahui algoritma apa yang digunakan. Kekuatan komputasi yang luar biasa dari otak
manusia ini merupakan sebuah keunggulan di dalam kajian ilmu pengetahuan.
Struktur dan
Fungsi Neural
Networ
k
 Struktur Neural Networks

Dari struktur neuron pada otak manusia, dan proses kerja yang dijelaskan di atas, maka konsep
dasar pembangunan neural network buatan (Artificial Neural Network) terbentuk. Ide mendasar
dari Artificial Neural Network (ANN) adalah mengadopsi mekanisme berpikir sebuah sistem
atau aplikasi yang menyerupai otak manusia, baik untuk pemrosesan berbagai sinyal elemen
yang diterima, toleransi terhadap kesalahan/error, dan juga parallel processing.
 Struktur Neural Networks

Karakteristik dari ANN dilihat dari pola hubungan antar neuron, metode penentuan bobot
dari tiap koneksi, dan fungsi aktivasinya. Gambar di atas menjelaskan struktur ANN secara
mendasar, yang dalam kenyataannya tidak hanya sederhana seperti itu.
•Input, berfungsi seperti dendrite
•Output, berfungsi seperti akson
•Fungsi aktivasi, berfungsi seperti sinapsis
 Struktur Neural Networks

Neural network dibangun dari banyak node/unit yang dihubungkan oleh link secara langsung. Link dari unit yang
satu ke unit yang lainnya digunakan untuk melakukan propagasi aktivasi dari unit pertama ke unit selanjutnya.
Setiap link memiliki bobot numerik. Bobot ini menentukan kekuatan serta penanda dari sebuah konektivitas.
Proses pada ANN dimulai dari input yang diterima oleh neuron beserta dengan nilai bobot dari tiap-tiap input
yang ada. Setelah masuk ke dalam neuron, nilai input yang ada akan dijumlahkan oleh suatu fungsi perambatan
(summing function), yang bisa dilihat seperti pada di gambar dengan lambang sigma (∑). Hasil penjumlahan akan
diproses oleh fungsi aktivasi setiap neuron, disini akan dibandingkan hasil penjumlahan dengan threshold (nilai
ambang) tertentu. Jika nilai melebihi threshold, maka aktivasi neuron akan dibatalkan, sebaliknya, jika masih
dibawah nilai threshold, neuron akan diaktifkan. Setelah aktif, neuron akan mengirimkan nilai output melalui
bobot-bobot outputnya ke semua neuron yang berhubungan dengannya. Proses ini akan terus berulang pada
input-input selanjutnya.
 Struktur Neural Networks

ANN terdiri dari banyak neuron di dalamnya. Neuron-neuron ini akan dikelompokkan ke
dalam beberapa layer. Neuron yang terdapat pada tiap layer dihubungkan dengan neuron
pada layer lainnya. Hal ini tentunya tidak berlaku pada layer input dan output, tapi hanya
layer yang berada di antaranya. Informasi yang diterima di layer input dilanjutkan ke layer-
layer dalam ANN secara satu persatu hingga mencapai layer terakhir/layer output. Layer
yang terletak di antara input dan output disebut sebagai hidden layer. Namun, tidak semua
ANN memiliki hidden layer, ada juga yang hanya terdapat layer input dan output saja.
 Fungsi Neural Networks

• Pengklasifikasian pola
• Memetakan pola yang didapat dari input ke dalam pola baru pada output
• Penyimpan pola yang akan dipanggil kembali
• Memetakan pola-pola yang sejenis
• Pengoptimasi permasalahan
• Prediksi
Contoh Jurnal
Pengaplikasian
Neural Network
untuk Text Mining Neural
Networ
k
 Pendahuluan

• Hal yang melatarbelakangi adalah kurang terorganisirnya data seperti sulitnya menemukan
dan membaca aduan masyarakat dalam aplikasi ‘Lapor Gub’ yang dimiliki oleh Pemprov
Jawa Tengah.
• Tujuan penelitian ini adalah mengklasifikasikan teks pengaduan yang masyarakan berikan
agar lebih efektif dan efisien.
• Alasan menggunakan Neural Network
1) Kemampuan mengakuisisi pengetahuan walaupun dalam keadaan ketidakpastian.
2) Neural network mampu menciptakan sendiri representasi melalui kemampuan
belajar.
3) Kemampuan untuk memberikan toleransi atas suatu distorsi dimana gangguan kecil
pada data dianggap sebagai gangguan (noise)
 Tahap Pre-processing

a) Case Folding
Case folding adalah mengubah semua huruf dalam dokumen menjadi huruf kecil dan
menghilangkan semua tanda baca. Hanya huruf „a‟ sampai dengan „z‟ yang diterima.
Karakter selain huruf dihilangkan dan dianggap delimiter.
b) Tokenizing
Ialah tahap pemotongan string input atau dokumen berdasarkan tiap kata yang
menyusunnya.
c) Filtering (Delete Stopwords)
Tahap filtering adalah tahap mengambil kata-kata penting dari hasil token. Bisa
menggunakan algoritma stop list (membuang kata yang kurang penting) atau word list
(menyimpan kata penting). Filtering (Delete Stopwords) merupakan langkah dari
preprocessing dengan menghilangkan kata yang kurang sesuai, seperti kata kerja bantu,
konjungsi (penghubung) dan artikel yang tidak penting dalam pelatihan classifier
 Kerangka Penelitian
d) Stemming
Tahap stemming adalah tahap mencari root kata dari tiap kata hasil filtering. Tahap ini
kebanyakan dipakai untuk teks berbahasa Inggris. Hal ini dikarenakan bahasa Indonesia tidak
memiliki rumus bentuk baku yang permanen. Stemming yaitu langkah preprocessing umum
dengan mengurangi ukuran fitur awal yang ditetapkan. Proses stemming dapat dilakukan dengan
menjadikan setiap kata ke dalam bentuk kata dasar.
e) Tagging
Tahap tagging ialah tahap mencari bentuk awal/root dari tiap kata lampau atau kata hasil
stemming. Tahap ini hanya dipakai untuk teks berbahasa Inggris. Hal ini dikarenakan bahasa
Indonesia tidak memiliki bentuk lampau.
f) Analyzing (Vector Representasi For Text)
Tahap analyzing merupakan tahap penentuan seberapa jauh keterhubungan antara katakata
dalam dokumen yang ada. Setelah proses tokenization teks dan menghapus kata-kata yang tidak
sesuai, tahap selanjutnya adalah pembobotan fitur. Pilihan fitur atau kunci tambahan rekayasa
merupakan representasi dari nilai fitur.
 METODE
• TF IDF
Untuk proses pembobotan kata akan digunakan perhitungan Term Frequency-Inverse Document
Frequency (TF-IDF). Sebuah kata akan memilih nilai TF-IDF tinggi jika memiliki frekuensi
kemunculan yang tinggi namun jumlah dokumen yang memuat kata tersebut dalam corpus
sedikit. TF-IDF merupakan produk hasil perkalian dari 2 nilai statistik yaitu term frequency (TF),
dan Inverse Document Frequency (IDF).
• Confusion Matrix • True Positive (TP) : Masalah yang diklasifikasikan berkaitan dengan
kategori yang benar.
• False Positive (FP) : Masalah yang diklasifikasikan berkaitan dengan
kategori yang salah.
• True Negative (TN) : Masalah yang diklasifikasikan tidak berkaitan
dengan kategori yang benar.
• False Negative (FN) : Masalah yang diklasifikasikan tidak berkaitan
dengan kategori yang salah
Kerangka Penelitian
Kerangka Kerja
Kerangka Kerja
Grafik Tingkat Akurasi Teks Pengaduan
Masyarakat Dengan P = 0,01 – 0,3

• Berdasarkan data grafik pada gambar disamping,

dapat diketahui bahwa nilai akurasi tertinggi
diperoleh dari hasil eksperimen pada seleksi fitur
dengan p = 0,08 yaitu sebesar 43,00% dengan jangka
waktu selama 03 jam 45 menit 14 detik.
Prediksi Akurasi Pada 10 Kategori Teks
Pengaduan Masyarakat
 Grafik Tingkat Akurasi Tertinggi Teks
Pengaduan Masyarakat Dengan P = 0,08
• Pada gambar disamping, disajikan dalam bentuk grafik
batang untuk tingkat akurasi (class precision) pada masing-
masing kategori dengan eksperimen menggunakan seleksi
fitur p = 0,08. Terlihat bahwa proses seleksi fitur dengan p =
0,08 terhadap 300 teks pengaduan masyarakat
Perhitungan Confussion Matrix