BAB 1 Pendahuluan

1.1 Definisi Data Mining

Data mining adalah serangkaian proses untuk menggali nilai tambah berupa informasi yang
selama ini tidak diketahui secara manual dari suatu basisdata. Informasi yang dihasilkan
diperoleh dengan cara mengekstraksi dan mengenali pola yang penting atau menarik dari
data yang terdapat dalam
basisdata.

Datamining terutama digunakan untuk mencari pengetahuan yang terdapat dalam basis data
yang besar sehingga sering disebut Knowledge Discovery in Databases (KDD). Proses
pencarian pengetahuan ini menggunakan berbagai teknik-teknik pembelajaran komputer
(machine learning) untuk menganalisis dan mengekstraksikannya. Proses pencarian bersifat
iteratif dan interaktif untuk menemukan pola atau model yang sahih, baru, bermanfaat, dan
dimengerti. Dalam penerapannya dataminig memerlukan berbagai perangkat lunak analisis
data untuk menemukan pola dan relasi data agar dapat digunakan untuk membuat prediksi
dengan akurat.

1.2 Operasi Data Mining

Data mining sesunggunghnya merupakan salah satu rangkaian dari proses pencarian
pengetahuan pada database (Knowledge Discovery in Database/KDD). KDD berhubungan
dengan teknik integrasi dan penemuan ilmiah, interprestasi dan visualisasi dari pola-pola
sejumlah kumpulan data. KDD adalah keseluruhan proses non-trivial untuk mencari dan
mengidentifikasi pola (pattern) dalam data, dimana pola yang ditemukan bersifat sah, baru,
dapat bermanfaat dan dapat dimengerti. Serangkaian proses tersebut yang memiliki tahap
sebagai berikut (Tan, 2004):

1. Pembersihan data dan integrasi data (cleaning and integration)

Proses ini digunakan untuk membuang data yang tidak konsisten dan bersifat noise dari
data yang terdapat di berbagai basisdata yang mungkin berbeda format maupun platform
yang kemudian diintegrasikan dalam satu database datawarehouse.
 2. Seleksi dan transformasi data (selection and transformation)
Data yang terdapat dalam database datawarehouse kemudian direduksi dengan berbagai
teknik. Proses reduksi diperlukan untuk mendapatkan hasil yang lebih akurat dan
mengurangi waktu komputasi terutama utuk masalah dengan skala besar (large scale
problem). Beberapa cara seleksi, antra lain:
 Sampling, adalah seleksi subset representatif dari populasi data yang besar.
 Denoising, adalah proses menghilangkan noise dari data yang akan
ditransformasikan.
 Feature extraction, adalah proses membuka spesifikasi data yang signifikan dalam
konteks tertentu.
Transformasi data diperlukan sebagai tahap pre-procecing, dimana data yang diolah siap
untuk ditambang. Beberapa cara transformsi, antara lain (Santosa, 2007):
• Centering, mengurangi setiap data dengan rata-rata dari setiap atribut yang ada.
• Normalisation, membagi setiap data yang dicentering dengan standar deviasi dari
atribut bersangkutan.
• Scaling, mengubah data sehingga berada dalam skala tertentu.

3. Penambangan data (data mining)

Data-data yang telah diseleksi dan ditransformasi ditambang dengan berbagai teknik.
Proses data mining adalah proses mencari pola atau informasi menarik dalam data terpilih
dengan menggunakan fungsi-fungsi tertentu. Fungsi atau algoritma dalam data mining
sangat bervariasi. Pemilihan fungsi atau algoritma yang tepat sangat bergantung pada
tujuan dan proses pencaraian pengetahuan secara keseluruhan.

4. Evaluasi pola dan presentasi pengetahuan

Tahap ini merupakan bagian dari proses pencarian pengetahuan yang mencakup
pemeriksaan apakah pola atau informasi yang ditemukan bertentangan dengan fakta atau
hipotesa yang ada sebelumnya. Langkah terakhir KDD adalah mempresentasikan
pengetahuan dalam bentuk yang mudah dipahami oleh pengguna.

1.3 Gudang Data (Data Warehouse)

 Pengertian Data Warehouse dapat bermacam-macam namun mempunyai inti yang sama,
seperti pendapat beberapa ahli berikut ini:
Menurut W.H. Inmon dan Richard D.H., data warehouse adalah koleksi data yang
mempunyai sifat berorientasi subjek,terintegrasi,time-variant, dan bersifat tetap dari koleksi
data dalam mendukung proses pengambilan keputusan management.
Menurut Vidette Poe, data warehouse merupakan database yang bersifat analisis dan read
only yang digunakan sebagai fondasi dari sistem penunjang keputusan.
Menurut Paul Lane, data warehouse merupakan database relasional yang didesain lebih
kepada query dan analisa dari pada proses transaksi, biasanya mengandung history data dari
proses transaksi dan bisa juga data dari sumber lainnya. Data warehouse memisahkan beban
kerja analisis dari beban kerja transaksi dan memungkinkan organisasi
menggabung/konsolidasi data dari berbagai macam sumber.
Dari definisi-definisi yang dijelaskan tadi, dapat disimpulkan data warehouse adalah database
yang saling bereaksi yang dapat digunakan untuk query dan analisisis, bersifat orientasi
subjek, terintegrasi, time-variant,tidak berubah yang digunakan untuk membantu para
pengambil keputusan.

1.4 Permasalahan dalam Data mining

Metodologi Data Mining dan masalah pada interaksi pengguna
 Mining jenis pengetahuan dalam database / Mining different kinds of knowledge in
databases − pengguna yang berbeda mungkin tertarik dalam berbagai jenis pengetahuan.
Oleh karena itu sangatlah penting untuk data pertambangan untuk menutupi berbagai
pengetahuan penemuan tugas.
 Interaktif pengetahuan data mining di berbagai tingkat abstraksi / Interactive mining of
knowledge at multiple levels of abstraction − proses data mining perlu interaktif karena
hal itu memungkinkan pengguna untuk fokus mencari pola, menyediakan dan
menyempurnakan permintaan pertambangan data berdasarkan hasil yang dikembalikan.
 Proses penggabungan / Incorporation of background knowledge − pengetahuan latar
belakang penemuan panduan dan untuk mengekspresikan pola ditemukan tidak hanya
dalam istilah yang ringkas tetapi di beberapa tingkatan abstraksi.
 Permintaan bahasa data mining dan ad hoc data mining / Data mining query languages
and ad hoc data mining− Data mining Query language yang memungkinkan pengguna
untuk menggambarkan tugas-tugas di Adhoc minging, harus diintegrasikan dengan data
gudang bahasa query dan dioptimalkan untuk memening data sehingga efisien dan
fleksibel.
 Presentasi dan visualisasi hasil data minig / Presentation and visualization of data mining
results − setelah pola ditemukan perlu dinyatakan dalam bahasa tingkat tinggi, dan
presentasi visual. Pernyataan ini harus mudah di mengerti.
 Penanganan data bising atau tidak lengkap / Handling noisy or incomplete data − data
cleaning metode diperlukan untuk menangani noisy dan benda-benda yang tidak lengkap
sementara data mining akan keteraturan. Jika metode data cleaning tidak ada ketepatan
pola ditemukan akan menjadi buruk.
 Pattern evaluation - Evaluasi pola menemukan harus menarik karena baik mereka
mewakili kebaruan pengetahuan atau kekurangan yang umum.

Masalah kinerja
 Efisiensi dan skalabilitas data mining / Efficiency and scalability of data mining
algorithms− algoritma untuk secara efektif mengekstrak informasi dari sejumlah besar
data dalam database, data pertambangan algoritma harus efisien dan scalable.
 Paralel, didistribusikan dan inkremental mining algoritma / Parallel, distributed, and
incremental mining algorithms − faktor-faktor seperti ukuran besar database, distribusi
data, dan kompleksitas dari metode pertambangan data memotivasi pengembangan data
paralel dan didistribusikan mining algoritma. Algoritma ini membagi data ke partisi yang
diproses lebih lanjut dalam mode paralel. Kemudian hasil dari partisi digabungkan.
Algoritma inkremental, update database tanpa pertambangan data lagi dari awal.

Jenis Masalah Data beragam

 Handling of relational and complex types of data / Penanganan relasional dan kompleks
jenis data − database dapat berisi objek datayang kompleks, objek multimedia data, data
spasial, temporal data dll. Hal ini tidakmungkin untuk satu sistem untuk mining semua
jenis data ini.
  Mining information from heterogeneous databases and global information systems /
Pertambangan informasi dari database heterogen dan informasi global sistem − data
tersedia di sumber data yang berbeda pada LAN atau WAN. Sumber data ini mungkin
terstruktur, semi terstruktur atau tidak terstruktur. Oleh karena itu pengetahuan mining
dari mereka menambah tantangan data mining.

1.5 Teknik Data mining

 Classification
Classification adalah tindakan untuk memberikan kelompok pada setiap keadaan. Setiap
keadaan berisi sekelompok atribut, salah satunya adalah class attribute. Metode ini butuh
untuk menemukan sebuah model yang dapat menjelaskan class attribute itu sebagai
fungsi dari input attribute.

Class adalah attribute CollegePlans yang berisi dua pernyataan, Yes dan No, perhatikan
ini.
Sebuah Classification Model akan menggunakan atribut lain dari kasus tersebut (input
attribut; yaitu kolom IQ, Gender, ParentIncome, dan ParentEncouragement) untuk dapat
menentukan pola (pattern) class (Output Attribute; yaitu Kolom CollegePlans yang berisi
Yes atau No).
Algoritma Data Mining yang membutuhkan variabel target untuk belajar (sampai
mendapatkan rule / pola yang berlaku pada data tersebut) kita standarkan dengan sebutan
dengan Supervised Algorithm. Yang termasuk kepada Classification Algorithm adalah
Decision Trees, Neural Network dan Naives Bayes.

 Clustering
Clustering juga disebut sebagai segmentation. Metoda ini digunakan untuk
mengidentifikasi kelompok alami dari sebuah kasus yang di dasarkan pada sebuah
kelompok atribut, mengelompokkan data yang memiliki kemiripan atribut. Gambar ini
menunjukkan kelompok data pelanggan sederhana yang berisi dua atribut, yaitu Age
(Umur) dan Income (Pendapatan). Algoritma Clustering mengelompokkan kelompok
data kedalam tiga segment berdasarkan kedua atribut ini.
 Cluster 1 berisi populasi berusia muda dengan pendapatan rendah
Cluster 2 berisi populasi berusia menengah dengan pendapatan yang lebih tinggi
Cluster 3 berisi populasi berusia tua dengan pendapatan yang relatif rendah.

Clustering adalah metode data mining yang Unsupervised, karena tidak ada satu
atributpun yang digunakan untuk memandu proses pembelajaran, jadi seluruh atribut
input diperlakukan sama. Kebanyakan Algoritma Clustering membangun sebuah model
melalui serangkaian pengulangan dan berhenti ketika model tersebut telah memusat atau
berkumpul (batasan dari segmentasi ini telah stabil).

 Association
Association juga disebut sebagai Market Basket Analysis. Sebuah problem bisnis yang
khas adalah menganalisa tabel transaksi penjualan dang mengidentifikasi produk-produk
yang seringkali dibeli bersamaan oleh customer, misalnya apabila orang membeli sambal,
biasanya juga dia membeli kecap. Kesamaan yang ada dari data pembelian digunakan
untuk mengidentifikasi kelompok kesamaan dari produk dan kebiasaan apa yang terjadi
guna kepentingan cross-selling seperti gambar dibawah ini.

Beberapa hal dapat kita baca, misalnya :

Ketika orang membeli susu, dia biasanya membeli keju
Ketika orang membeli pepsi atau coke, biasanya dia membeli juice
Didalam istilah association, setiap item dipertimbangkan sebagai informasi.
Metode association memiliki dua tujuan:
Untuk mencari produk apa yang biasanya terjual bersamaan
Untuk mencari tahu apa aturan yang menyebabkan kesamaan tersebut.

 Regression
Metode Regression mirip dengan metode Classification, yang membedakannya adalah
metode regression tidak bisa mencari pola yang dijabarkan sebagai class (kelas). Metoda
regression bertujuan untuk mecari pola dan menentukan sebuah nilai numerik.
 Sebuah Teknik Linear Line-fitting sederhana adalah sebuah contoh dari Regression,
dimana hasilnya adalah sebuah fungsi untuk menentukan hasil yang berdasarkan nilai
dari input. Bentuk yang lebih canggih dari regression sudah mendukung input berupa
kategori, jadi tidak hanya input berupa numerik. Teknik paling popular yang digunakan
untuk regression adalah linear regression dan logistic regression. Teknik lain yang
didukung oleh SQL Server Data mining adalah Regression Trees (bagian dari dari
algoritma Microsoft Decission Trees) dan Neural Network.
Regression digunakan untuk memecahkan banyak problem bisnis, contohnya untuk
memperkirakan metode distribusi, kapasitas distribusi, musim dan untuk memperkirakan
kecepatan angin berdasarkan temperatur, tekanan udara, dan kelembaban.

 Forecasting
Forecasting adalah metode data mining yang sangat penting. Contohnya digunakan untuk
menjawab pertanyaan seperti berikut:
o Seperti apa jadinya nilai saham dari Microsoft Corporation (pada NASDAQ,
disimbolkan sebagai MSFT) pada keesokan hari?
o Sebanyak apa penjualan produk tertentu pada bulan depan?

Teknik Forecasting dapat membantu menjawab pertanyaan-pertanyaan diatas. Sebagai

inputnya teknik Forecasting akan mengambil sederetan angka yang menunjukkan nilai
yang berjalan seiring waktu dan kemudian Teknik Forecasting ini akan menghubungkan
nilai masa depan dengan menggunakan bermacam-macam teknik machine-learning dan
teknik statistik yang berhubungan dengan musim, trend, dan noise pada data.

Gambar diatas menunjukkan dua kurva, garis yang tegas adalah time-series data
sebenarnya dari nilai saham Microsoft, dan garis putus-putus adalah time series model
yang memprediksi nilai saham berdasarkan nilai saham pada masa lalu.

 Sequence Analysis
Sequence Anlysis digunakan untuk mencari pola pada serangkaian kejadian yang disebut
dengan Sequence. Sebagai contoh sebuah DNA terdiri dari rangaian bagian: A, G, C, dan
 T. dan rangkaian klik pada sebuah website berisi rentetan URL. Pada kejadian nyata anda
mungkin memodelkan pembelian oleh pelanggan sebagai sebuah sequence (rangkaian)
data, rangkaian tersebut adalah:
Pertama-tama Seorang pelanggan membeli komputer
kemudian membeli speaker
dan akhirnya membeli sebuah webcam.

Baik Sequence maupun time-series data mempunyai kemiripan, mereka sama sama berisi
tinjauan berdekatan yang urutannya bergantung. Bedanya adalah sebuah time-series
berisi data bertipe numerik, dan sebuah sequence series berisi bagian yang khas. Gambar
ini menunjukan rangkaian klik pada sebuah website berita. Setiap node adalah sebuah
kategori URL. Dan garis melambangkan transisi antar kategori URL tersebut. Setiap
transisi di kelompokan dengan sebuah bobot yang menggambarkan kemungkinan transisi
antara satu URL dan URL yang lain.

1.6 Tantangan dalam data mining

Skalabilitas
– Memiliki data set dalam jumlah yang sangat banyak
– Membutuhkan strategi pencarian khusus untuk masing2 problem pencarian eksponensial
– Butuh implementasi struktur data terbaru untuk mengakses individual record secara
efisien
– Metode yang digunakan: sampling atau pengembangan paralel dan algoritma distribusi

High dimensionality
– Data set dengan komponen temporal dan spasial seringkali merupakan data berdimensi
tinggi
– Metode: pengurangan atribut

Kepemilikan dan distribusi data

– Secara geografis data terdistribusi diantara resources yang dimiliki oleh beberapa entitas
– Tantangan untuk teknik data mining terdistribusi
 • Mengurangi jumlah komunikasi yang dibutuhkan untuk melakukan komputasi
terdistribusi
• Hasil data mining yang efektif diperoleh dari berbagai sumber
• Masalah keamanan data

Heterogenitas dan kompleksitas data

– Memerlukan teknik yang dapat menghandle heterogenitas atribut
– More complex data objects including collections of Web pages containing semi-
structured text (documents) and hyperlinks; DNA data with sequential structure.

Analisis non-tradisional
– Pendekatan berorientasi hipotesis vs pendefinisian hipotesis dan evaluasi otomatis
• Pendekatan statistik tradisional berdasat pada paradigma hipotesis dan pengujian.
Eksperimen dan analisis data didesain untuk membuktikan kebenaran hipotesis.
– Dataset bukan merupakan sampel random
– Dataset merupakan non-traditional distribution

BAB 2 Data
2.1 Definisi dan Tipe Data
Menurut Turban et al, data adalah deskripsi dasar tentang sesuatu, kejadian, kegiatan, dan
transaksi yang ditangkap, direkam, disimpan, dan diklasifikasikan namun tidak terorganisir
untuk menyampaikan suatu arti khusus.
Menurut McLeod dan Schell, data terdiri dai fakta dan gambaran yang secara umum tidak
dapat digunakan oleh user (perlu diolah).
Dari kedua definisi diatas, dapat diambil kesimpulan bahwa data adalah fakta yang masih
mentah dan belum memiliki arti bagi pengguna karena belum diolah. Dalam definisi lain,
data adalah catatan atas kumpulan fakta. Data merupakan bentuk jamak dari datum,berasal
dari bahasa Latin yang berarti "sesuatu yang diberikan". Dalam penggunaan sehari-hari data
berarti suatu pernyataan yang diterima secara apa adanya. Pernyataan ini adalah hasil
pengukuran atau pengamatan suatu variabel yang bentuknya dapat berupa angka, kata-kata,
atau citra.
Data adalah sesuatu yang belum mempunyai arti bagi penerimanya dan masih memerlukan
adanya suatu pengolahan. Data bisa berujut suatu keadaan, gambar, suara, huruf, angka,
matematika, bahasa ataupun simbol-simbol lainnya yang bisa kita gunakan sebagai bahan
untuk melihat lingkungan, obyek, kejadian ataupun suatu konsep.
Tipe Data adalah jenis nilai yang dapat ditampung oleh suatu variabel.
Jenis-jenis Tipe Data:
1. Tipe data primitive (Sederhana)
Tipe data primitive adalah Tipe data yang mampu menyimpan satu nilai tiap satu
variabel. Tipe data primitive merupakan tipe data dasar yang sering dipakai oleh
program. Contoh tipe data primitive adalah tipe numerik (integer dan real), tipe data
karakter/char, tipe data boolean.

1. Numeric
Tipe data numeric digunakan pada variabel atau konstanta untuk menyimpan nilai
dalam bentuk angka. Tipe data ini terbagi atas integer, dan real.

a. Integer
Integer Merupakan tipe data berupa bilangan bulat, terbagi atas beberapa
kategori seperti table dibawah ini

Tipe Data Ukuran Tempat Rentang Nilai

Byte 1 byte 0 s/d +255
Shortint 1 byte -28 s/d +127
Integer 2 bytes -32768 s/d 32767
Word 2 bytes 0 s/d 65535
Longint 4 bytes 2147483648 s/d 2147483647
 b. Real
Real adalah bilangan yang berisi titik desimal atau jenis bilangan pecahan.
Tipe Data Ukuran Tempat Rentang Nilai
real 6 bytes 2.9 x 10-39 s/d 1.7 x1038
single 4 bytes 1.5 x 1045 s/d 3.4 x 1038
double 8 bytes 5.0 x 10-324 s/d 1.7 x 10308
extended 10 bytes 3.4 x 10-4932 s/d 1.1 x 104932
comp 8 bytes -9.2x 1018 s/d 9.2x 1018

2. Karakter (char)
Karakter merupakan tipe data yang hanya mampu menyimpan 1 digit karakter.
Ukuran untuk tipe data karakter adalah 1 byte (1 byte = 8 bit). Adapun macam
karakter yang ada sejumlah 256 macam karakter yaitu dari kode karakter (ASCII), 0
sampai dengan 255. Untuk penulisan karakter menggunakan tanda petik tunggal (‘ )
di depan dan belakang karakter yang ditulis. Contoh : ‘a’, ‘A’,’&’ dll.
Nilai-nilai yang termasuk karakter adalah :
a. Karakter huruf : ‘a’..’z’,’A’..’Z’
b. Karakter angka : ‘0’..’9’
c. Karakter tanda baca : titik, koma, titik koma, titik dua dan sebagainya
d. Karakter khusus : $, %, #, @ dan sebagainya.

3. Boolean
Boolean merupakan tipe data logika, yang berisi dua kemungkinan nilai: TRUE
(benar) atau FALSE (salah). Tipe data boolean memakai memori paling kecil.

2. Tipe Data Composite

Tipe Data Komposit merupakan tipe data yang dapat menampung banyak nilai, antara
lain sebagai berikut.

A. Array
 Array atau sering disebut sebagai larik, adalah tipe data yang sudah terstruktur
dengan baik, meskipun masih sederhana. Array mampu menyimpan sejumlah data
dengan tipe yang sama (homogen) dalam sebuah variabel. Sebagai ilustrasi, array
mampu menampung banyak data namun dengan satu tipe data yang sama, misalnya
integer saja. Setiap lokasi data array diberi nomor indeks yang berfungsi sebagai
alamat dari data tersebut.

B. Record atau struct

Seperti halnya Array, Record atau Struct juga termasuk tipe data komposit. Record
dikenal dalam bahasa Pascal/Delphi sedangkan Struct dikenal dalam bahasa C++.
Berbeda dengan array, tipe data record mampu menampung banyak data dengan tipe
data berbeda-beda (heterogen). Misalnya, satu bagian integer, satu bagian lagi
character, dan bagian lainnya Boolean. Biasanya record digunakan untuk menampung
data suatu obyek. Misalnya, siswa memiliki nama, alamat, usia, tempat lahir, dan
tanggal lahir. Nama akan menggunakan tipe data string, alamat bertipe data string,
usia bertipe data single (numeric), tempat lahir bertipe data string, dan tanggal lahir
bertipe data date. Berikut ini contoh pengunaan record dalam Delphi.

C. Image
Image, atau gambar, atau citra, merupakan tipe data grafik. Misalnya grafik
perkembangan jumlah siswa SMK, foto keluarga kita, video perjalanan, dan lain-lain.
Pada bahasa-bahasa pemrograman modern terutama yang berbasis visual, tipe data ini
telah didukung dengan sangat baik.

D. Date Time
Nilai data untuk tanggal (date) dan waktu (time) secara internal disimpan dalam
format yang spesifik. Variabel atau konstanta yang dideklarasikan dengan tipe data
Date dapat digunakan untuk menyimpan, baik tanggal maupun jam. Tipe data ini
masuk dalam kelompok tipe data composite, karena merupakan bentukan dari
beberapa tipe data.
 E. Object
Tipe data object digunakan untuk menyimpan nilai yang berhubungan dengan obyek-
obyek yang disediakan oleh Visual Basic, Delphi, dan bahasa pemrograman lain yang
berbasis GUI. Sebagai contoh, apabila mempunyai form yang memiliki control
Command button, yang kita beri nama Command1.

F. Subrange
Tipe data subrange merupakan tipe data bilangan yang mempunyai jangkauan nilai
tertentu sesuai dengan yang ditetapkan programmer. Biasanya, tipe data ini
mempunyai nilai batas minimum dan nilai batas maksimum. Tipe data ini didukung
dengan sangat baik dalam Delphi.

G. Enumerasi
Tipe data ini merupakan tipe data yang mempunyai elemen-elemen yang harus
disebut satu persatu, dan bernilai konstanta integer sesuai dengan urutannya. Nilai
konstanta integer elemen ini diwakili oleh suatu nama variable yang ditulis di dalam
kurung. Tipe data ini juga dijumpai pada Delphi, dan bahasa pemrograman deklaratif
seperti SQL.

Pada contoh di atas, tipe data Hari_dlm_Minggu termasuk enumerasi dengan rentang
nilai Nol, dimana Senin sampai dengan Minggu dan nilai data dari 0, 1, sampai
dengan 7. Sedangkan tipe data Nama_Bulan termasuk enumerasi dengan rentang nilai
Nol, Januari sampai dengan Desember dan nilai data dari 0, 1, sampai dengan 12.

Tipe Data Lainnya

1. Tipe Data Terstruktur
A. Tipe Data String
Merupakan suatu data yang menyimpan array (larik), sebagai contoh 'ABCDEF'
merupakan sebuah konstanta string yang berisikan 6 byte karakter. Ukuran Tempat
untuk tipe data ini adalah 2 s/d 256 byte, dengan jumlah elemen 1 s/d 255.
 B. Tipe Data Set
Sebuah set merupakan suatu himpunan yang berisi nilai (anggota). Set merupakan
Tipe data yang khusus untuk Pascal. Set dalam pemrograman sangat mirip dengan
himpunan dalam ilmu matematika.

Salah satu manfaat dari penggunaan tipe data set adalah untuk mengecek apakah
suatu nilai muncul dalam suatu range tertentu. Misalnya, untuk menentukan apakah
suatu karakter berupa Lower Case Letter (huruf kecil), mis. Ch adalah tipe Char, kita
bisa menulis, if (Ch >= 'a') and (Ch <= 'z') then Writeln( Ch,' merupakan huruf
kecil.'); atau, dengan notasi set, kita bisa menulis, if Ch in ['a'..'z'] then Writeln( Ch,'
merupakan huruf kecil.');

2. Tipe Data Pointer

Pointer merupakan variabel khusus yang berisi suatu address (alamat) di lokasi lain
didalam memori. Suatu variabel yang points (menunjuk) ke sesuatu sehingga disebut
pointer. Ada dua macam pointer:
A. Typed (tertentu) : merupakan pointer yang menunjuk pada tipe data tertentu pada
variabel.
B. Generic (umum) : merupakan pointer yang tidak menunjuk pada tipe data tertentu
pada variabel.

2.2 Kualitas Data

Menurut Mark Mosley (2008), dalam bukunya “Dictionary of Data Management”,
pengertian kualitas data adalah level data yang menyatakan data tersebut akurat (accurate),
lengkap (complete), timely (update), konsisten (consistent) sesuai dengan semua kebutuhan
peraturan bisnis dan relevan.
Menilai kualitas data memerlukan pemeriksaan karakteristiknya dan kemudian menimbang
karakteristik tersebut sesuai dengan apa yang paling penting bagi organisasi dan aplikasi
yang digunakan. Terdapat tujuh karakteristik yang menentukan kualitas data adalah:
1. Accuracy and Precision
 Karakteristik ini mengacu pada ketepatan data. Tidak ada unsur yang keliru dan harus
menyampaikan pesan yang benar tanpa menyesatkan. Keakuratan dan ketepatan ini
memiliki komponen yang berhubungan dengan penggunaannya. Tanpa memahami
bagaimana data akan dikonsumsi, memastikan akurasi dan presisi bisa di luar target atau
lebih mahal dari yang dibutuhkan. Misalnya, ketepatan dalam perawatan kesehatan
mungkin lebih penting daripada di industri lain (misalnya, data perawatan kesehatan yang
tidak akurat dapat menimbulkan konsekuensi yang lebih serius), dan oleh karena itu,
layak untuk investasi tingkat tinggi.

2. Legitimacy and Validity

Persyaratan yang mengatur data menetapkan batasan karakteristik ini. Misalnya, pada
survei, item seperti jenis kelamin, etnisitas, dan kewarganegaraan biasanya terbatas pada
serangkaian pilihan dan jawaban terbuka tidak diizinkan. Setiap jawaban selain ini tidak
akan dianggap sah atau sah berdasarkan persyaratan survei. Ini adalah kasus untuk
sebagian besar data dan harus dipertimbangkan dengan cermat saat menentukan
kualitasnya. Orang-orang di setiap departemen dalam sebuah organisasi memahami data
apa yang valid atau tidak, sehingga persyaratan harus diadopsi saat mengevaluasi kualitas
data.

3. Reliability and Consistency

Banyak sistem di lingkungan saat ini menggunakan dan atau mengumpulkan data sumber
yang sama. Terlepas dari sumber apa yang mengumpulkan data atau tempat tinggalnya,
tidak ada yang bertentangan dengan nilai yang berada pada sumber yang berbeda atau
dikumpulkan oleh sistem yang berbeda. Harus ada mekanisme tepat dan stabil yang
mengumpulkan dan menyimpan data tanpa kontradiksi atau varian yang tidak beralasan.

4. Timeliness and Relevance

Harus ada alasan yang sah untuk mengumpulkan data untuk membenarkan usaha yang
dibutuhkan, yang juga berarti harus dikumpulkan pada saat yang tepat waktu. Data yang
dikumpulkan terlalu cepat atau terlambat bisa menggambarkan situasi dan mendorong
keputusan yang tidak akurat.
 5. Completeness and Comprehensiveness
Data tidak lengkap sama berbahayanya dengan data yang tidak akurat. Kesenjangan
dalam pengumpulan data menyebabkan sebagian tampilan keseluruhan gambar
ditampilkan. Tanpa gambaran lengkap tentang bagaimana operasi berjalan, tindakan yang
tidak diinformasikan akan terjadi. Penting untuk memahami persyaratan lengkap yang
merupakan kumpulan data yang komprehensif untuk menentukan apakah persyaratan
dipenuhi atau tidak.

6. Availability and Accessibility

Karakteristik ini terkadang rumit karena kendala hukum dan peraturan. Terlepas dari
tantangannya, individu membutuhkan tingkat akses yang tepat terhadap data untuk
melakukan pekerjaan mereka. Ini menduga bahwa data ada dan tersedia untuk akses yang
akan diberikan.

7. Granularity and Uniqueness

Tingkat detail pengumpulan data penting, karena kebingungan dan keputusan yang tidak
akurat dapat terjadi. Kumpulan data gabungan, dirangkum dan dimanipulasi dapat
menawarkan arti yang berbeda dari pada data yang tersirat pada tingkat yang lebih
rendah. Tingkat granularitas yang tepat harus didefinisikan untuk memberikan keunikan
dan sifat khas yang cukup untuk terlihat. Ini adalah persyaratan agar operasi berfungsi
secara efektif.

BAB 3 Data Preprocessing

3.1 Data Preprocessing: An Overview
Dalam sebuah buku yang membahas lengkap mengenai Data Mining, yaitu buku yang
berjudul "Data Mining: Concepts and Techniques (Morgan Kaufmann Series in Data
Management Systems) (3RD ed.)" dari seorang penulis terkenal yang berasal dari Cina
yaitu Jiawei Han telah memberikan wawasan luas terhadap pembelajaran Data Mining.
Dari buku ini banyak intisari yang sudah saya rangkum sedemikian rupa agar
memudahkan para pembaca untuk lebih mengerti tentang apa yang terdapat di dalam
 buku ini. Pada buku "Data Mining: Concepts and Techniques edisi ke-3" yang membahas
mengenai Data Processing, terdapat beberapa pemahaman seperti Gambaran Umum Data
Preprocessing, Mengapa memerlukan Data Preprocessing?, dan apa tujuan utama dari
Data Preprocessing?. Nah, oleh karena itu setelah saya melakukan pemahaman terhadap
buku ini, maka dapat saya simpulkan bahwa Data Preprocessing merupakan sebuah
langkah penting dalam Data Mining. Data ini pada umumnya berupa noise, ukuran yang
besar, dan merupakan campuran dari berbagai macam sumber.

3.1.1 Data Quality: Why Preprocess the Data?

Data di dunia nyata ini sebagian besarnya ialah data mentah yang kotor. Seperti yang
terangkum di bawah ini:

a. Tidak Lengkap
Data hilang / Kosong
Kekurangan atribut tertentu atau atribut yang sesuai
Hanya berisi data agregat

b. Noise
Mengandung kesalahan
Mengandung data yang outlier

c. Tidak Konsisten
Mengandung perbedaan dalam kode atau nama

Maka dari itu pentingnya melakukan Data Preprocesing dikarenakan data yang tidak
berkualitas akan menghasilkan kualitas mining yang tidak baik. Lalu Data Preprocessing,
cleaning, dan transformasi merupakan pekerjaan mayoritas dalam aplikasi data mining.

Kualitas Data
Pandangan kualitas data multidimensional yang diterima dengan baik yakni:
Ketepatan
 Kelengkapan
Konsistensi
Ketepatan waktu
Percaya diri
Interpretabilitas
Aksesibilitas
Sumber

3.1.2 Major Tasks in Data Preprocessing

Adapun tujuan utama dalam Data Preprocessing ini ialah sebagai berikut yang telah
terangkum:

a. Pembersihan Data
Isi nilai yang hilang
Data noise yang halus
Mengidentifikasi dan menghapus outlier
Menyelesaikan inkonsistensi

b. Integrasi Data
Integrasi beberapa database, kubus data, atau file

c. Transformasi Data
Normalisasi dan agregasi

d. Pengurangan Data
Memperoleh penurunan representasi dalam volume tetapi menghasilkan hasil analitis
yang sama atau serupa

e. Diskretisasi Data
Pengurangan data namun sangat penting, terutama untuk data numerik
 Banyak lagi pembahasan yang masih belum saya rangkum kedalam sebuah tulisan
sebagai bahan pembelajaran. Karena untuk memahami metode pembelajaran Data
Mining dibutuhkan waktu dan juga kesabaran untuk memahami segala hal. Ada kalanya
membaca itu menjadi jembatan bagi kita untuk menggali sejuta wawasan yang ada di
dunia ini. Tat kala seseorang yang ingin terjun ke dunia Teknik Informatika ini akan jadi
langkah awal baginya yang ingin membuka pola pikir untuk berlogikaria yang
merupakan makanan sehari-hari programmer yaitu wajib memiliki logika serta
berdedikasi tinggi dalam mempelajari segala macam ilmu yang berkaitan dengan
Informatika.

3.2 Data Cleaning

Data cleaning bertujuan untuk memperkecil jumlah data yang hilang atau berbeda, dapat
dilakukan dengan langkah sebagai berikut.
H. Mengisi data yang hilang dengan default value.2.
I. Mengisi data secara manual, misal: trace ulang transaksi untuk mengetahui data yang
hilang.
J. Mengisidengan rata-rata atribut tersebut, misal: gaji pegawai yang kosong diisi
dengan rata-rata gaji pegawai.
K. Mengisi dengan rata-rata suatu atribut untuk kelas yang sama, misal: gaji pegawai
yang kosong diisi dengan rata-rata gaji pegawai yang memiliki jabatan yang sama.
L. Menggunakan regresi, prediksi berdasarkan dua variabel yang lain, misal: mengisi
gaji pegawai yang kosong dengan nilai prediksi dengan regresi berdasarkan jabatan
dan lama masa kerja.
M. Menghilangkan baris yang mengandung data yang hilang.
N. Binning by means, menggunakan rata-rata pengelompokkan. misal: sorted data dibagi
menjadi beberapa kelompok, dan dicari rata-rata masing2 kelompok untuk mengganti
setiap data yang ada, sesuai dengan kelompoknya. misal data dari kelompok A
diganti dengan a rata-rata kelompok A.
O. Binning by range boundries, menggunakan batas terdekat suatu kelompok data, misal:
sorted data dibagi menjadi beberapa kelompok, di cari nilai minimum dan maximum
 dari masing-masing kelompok, lalu gantikan tiap nilai di suatu kelompok dengan
batas atas atau batas bawah kelompoknya, sesuai dengan yang paling dekat.
P. Mencari dan menghilangkan outlier dengan pengelompokan atau regresi.

8. Data Integration
Integrasi data merupakan proses mengkombinasikan dua atau lebih set data agar
mempermudah dalam berbagi dan analisis, dalam rangka mendukung manajemen
informasi di dalam sebuah lingkungan kerja. Integrasi data menggabungkan data dari
berbagai sumber database yang berbeda ke dalam sebuah penyimpanan seperti gudang
data (data warehouse).
Alasan perlunya dilakukan integrasi data adalah:
 Data yang sama (misalnya: data penduduk) dapat dipakai bersama antar bagian
organisasi (antar instansi).
 Data suatu instansi dapat dipakai bersama oleh instansi-instansi lain yang
memerlukan (tidak perlu ada duplikasi data dalam suatu lingkungan organisasi).
 Meskipun fokus integrasi adalah data, tapi perlu juga integrasi hal-hal lain yang
terkait.
 Integrasi data perlu dilakukan secara cermat karena kesalahan pada integrasi data
bisa menghasilkan ouput/keluaran yang menyimpang dan bahkan menyesatkan
pengambilan keputusan nantinya.

Syarat integrasi data dapat dipenuhi dengan berbagai cara seperti konsisten dalam
penamaan variabel, konsisten dalam ukuran variabel, konsisten dalam struktur
pengkodean dan konsisten dalam atribut fisik dari data. Masalah-masalah yang ada pada
integrasi data yaitu heterogenitas data, otonomi sumber data, kebenaran dan kinerja
query/permintaan.
Integrasi data membuat penyatuan pandangan dari data bisnis. Pandangan ini bisa dibuat
dengan bermacam teknik, yang akan kita paparkan selanjutnya. Bagaimanapun juga,
integrasi data bukanlah jalan satu-satunya untuk data bisa digabungkan melalui sebuah
perusahaan.
9. Data Reduction
Teknik ini dilakukan dengan cara mengurangi jumlah data sehingga resource yang
digunakan lebih sedikit, sehingga prosesnya dapat lebih cepat dilakukan dengan langkah
sebagai berikut:
4. Sampling/generalisasi.
5. Agregasi, seperti agregasi padat ransformasi. Data ribuan memiliki volume byte yang
lebih kecil dari pada data jutaan.
6. Mengurangi atribut yang tidak perlu (korelasi yang rendah terhadap keseluruhan data)
7. Kompresi data.

10. Data Transformation and Data Discretization

Ada 7 (tujuh) tahapan proses data mining, dimana 4 (empat) tahap pertama disebut juga
dengan data preprocessing (terdiri dari data cleaning, data integration, data selection, dan
data transformation), yang dalam implementasinya membutuhkan waktu sekitar 60% dari
keseluruhan proses. Dalam data transformation, terdapat beberapa pendekatan/teknik
untuk melakukan transformasi data, yaitu smoothing, generalization, normalization,
aggregation, dan attribute construction.
 Smoothing
Smoothing dilakukan jika data mengandung noise/nilai yang tidak valid terhadap data
yang di-mining. Untuk mengatasinya harus dilakukan smoothing (dengan memperhatikan
nilai-nilai tetangga). Berikut teknik atau metode untuk smoothing:
3. Binning Metode binning dilakukan dengan memeriksa “nilai tetangga”, yaitu nilai-nilai
yang ada disekelilingnya. Berikut adalah langkah-langkah metode binning: 1. Data
diurutkan dari yang terkecil sampai dengan yang terbesar. 2. Data yang sudah urut
kemudian dipartisi ke dalam beberapa bin. Teknik partisi ke dalam bin ada 2 (dua) cara:
equal-width (distance) partitioning dan equaldepth (frequency) partitioning. 3. Dilakukan
smoothing dengan tiga macam teknik, yaitu: smoothing by binmeans, smoothing by bin-
medians, dan smoothing by bin-boundaries.
4. Clustering Digunakan untuk menyingkirkan outliers (keluar jauh-jauh dari
cluster/centroid), data yang memiliki noise. Algoritma k-Means yang merupakan kategori
metode partitioning dapat digunakan jika ukuran database tidak terlalu besar. Algoritma
ini didasarkan pada nilai tengah dari objek yang ada dalam cluster. Algoritma k-Means
meminta inputan parameter k, dan mempartisi satu set n objek ke dalam k cluster
sehingga menghasilkan tingkat kemiripan yang tinggi antar objek dalam kelas yang sama
(intra-class similarity) dan tingkat kemiripan yang paling rendah antar objek dalam kelas
yang berbeda (inter-class similarity). Kemiripan cluster diukur dengan menghitung nilai
tengah dari objek yang ada di dalam cluster.
5. Regression Linear regression memodelkan sebuah random variable, Y (disebut response
variable) sebagai sebuah fungsi linier dari random variable yang lain, X (disebut sebagai
predictor variable), dengan persamaan empiris: X Y βα += , dimana α dan β adalah
koefisien regresi. Koefisien ini dapat dihitung menggunakan metode least squares dengan
persamaan sebagai berikut: ()∑ ∑ ∑∑ ∑ − − = 2 2 ii iiii xxn yxyxn β dan x y βα −= ,
dimana x adalah nilai ratarata dari x1, x2, …, xi dan y adalah nilai rata-rata dari y1, y2,
…, yi.

 Generalization
Generalization atau generalisasi adalah ketika data level rendah (low-level data) diganti
dengan konsep yang lebih tinggi, yaitu dengan melakukan diskretisasi. Teknik
diskretisasi dapat digunakan untuk mereduksi sekumpulan nilai yang terdapat pada
atribut continuous, dengan membagi range dari atribut ke dalam interval.
Proses diskretisasi secara umum terdiri dari 4 tahapan, yaitu:
1. Sorting, melakukan sorting nilai atribut continuous yang mau didiskretisasi.
2. Memilih “cut-point”, banyak fungsi evaluasi yang dapat digunakan seperti binning
dan pengukuran entropy.
3. Splitting, dilakukan evaluasi cut-point yang ada dan pilih satu yang terbaik dan
lakukan split range nilai atribut continuous ke dalam dua partisi. Diskretisasi berlanjut
untuk tiap partisi sampai kondisi berhenti tercapai.
4. Stopping criterion, diperlukan untuk menghentikan proses diskretisasi.
  Normalization
Normalization atau normalisasi adalah proses transformasi dimana sebuah atribut
numerik diskalakan dalam range yang lebih kecil seperti -1.0 sampai 1.0, atau 0.0 sampai
1.0.
Ada beberapa metode/teknik yang diterapkan untuk normalisasi data, diantaranya:
 Min-max Normalization: Min-max normalization memetakan sebuah value v dari
atribut A menjadi v’ ke dalam range [new_minA, new_maxA] berdasarkan rumus
 Z-Score Normalization: Disebut juga zero-mean normalization, dimana value dari
sebuah atribut A dinormalisasi berdasarkan nilai rata-rata dan standar deviasi dari
atribut A.
 Normalization by Decimal Scaling: Normalisasi yang diperoleh dengan melakukan
penggeseran titik desimal dari value sebuah atribut A. Jumlah titik desimal yang
digeser tergantung dari nilai absolut maksimum dari atribut A.

 Aggregation
Adalah operasi summary (peringkasan) diaplikasikan pada data numerik. Misalnya pada
data penjualan harian digabungkan untuk menghitung pendapatan perbulan dan pertahun
dengan dirata-rata atau ditotal. Langkah ini dilakukan dengan memanfaatkan operator
data cube (operasi roll up/meringkas).

 Attribute/Feature Construction
Pada attribute construction, atribut baru dibentuk dari atribut yang sudah ada dan
ditambahkan bersama atribut lainnya untuk membantu meningkatkan ketelitian/ketepatan
dan pemahaman struktur dalam high-dimensional data. Contohnya, mau menambahkan
atribut luas berdasarkan atribut tinggi dan lebar. Atau, atribut lama kerja jadi dosen dan
usia bisa digantikan dengan senioritas, yunioritas, dan orientasi.

BAB 4 DATA WAREHOUSE

4.1 Karakteristik Data Warehouse
Menurut W. H. Inmon, data warehouse mempunyai empat karakteristik, yaitu Subject
Oriented, Integrated, Time Variant, dan Non-Volatile.

1. Subject Oriented (Berorientasi Subjek)

Data warehouse berorientasi subjek, artinya data warehouse berorientasi terhadap
subjek-subjek utama dalam suatu perusahaan, seperti data warehouse untuk customer,
produk, dan sebagainya. Dapat juga dikatakan bahwa data warehouse didesain untuk
membantu dalam menganalisis data berdasarkan subjek-subjek tertentu sehingga
hanya data yang benar-benar diperlukan yang dimasukkan ke dalam data warehouse.

2. Integrated (Integrasi)
Data warehouse dapat menyimpan data-data yang berasal dari sumber-sumber yang
terpisah ke dalam suatu format yang konsisten dan saling terintegrasi satu sama lain.
Data tidak dapat dipecah-pecah karena data yang ada merupakan suatu kesatuan yang
menunjang keseluruhan konsep data warehouse itu sendiri.

Syarat integrasi sumber data dapat dipenuhi dengan cara konsisten dalam penamaan
variabel, ukuran variabel, dan atribut fisik dari data. Misalnya untuk tabel pelanggan
yang berasal dari sumber data I, format untuk jenis kelamin menggunakan format F
dan M (Female dan Male). Sedangkan untuk tabel pelanggan yang berasal dari
sumber data II menggunakan format P dan L (Perempuan dan Laki-Laki). Maka data
tersebut sebelum masuk ke dalam data warehouse harus dilakukan integrasi terlebih
dahulu. Misalnya memilih format dari salah satu sumber data atau menggunakan
format yang baru, misalnya 0 untuk perempuan/female dan 1 untuk laki-laki/male.

3. Time Variant (Rentang Waktu)

Data yang berada di dalam data warehouse akurat dan valid pada titik waktu tertentu
atau dalam interval waktu tertentu (hanya pada saat proses ETL/update). Setiap data
yang dimasukkan ke data warehouse pasti memiliki dimensi waktu. Dimensi waktu
ini akan dipergunakan sebagai pembanding dalam perhitungan untuk menghasilkan
 laporan yang diinginkan. Selain itu, dengan menggunakan dimensi waktu, pembuat
keputusan dapat mengenal kecenderungan dan pola dari suatu data.

4. Non Volatile
Data pada data warehouse tidak di-update secara real time, tetapi di-refresh dari
sistem operasional secara reguler. Data yang baru selalu ditambahkan sebagai
tambahan bagi database itu sendiri. Database tersebut secara berkesinambungan
mengambil data baru ini, dan kemudian disatukan dengan data sebelumnya.

Data yang berada dalam data warehouse bersifat read-only, dan tidak berubah setiap
saat sehingga hanya terdapat dua kegiatan dalam data warehouse, yaitu mengambil
data (loading data), dan akses data (mengakses data warehouse, seperti melakukan
query untuk menampilkan laporan yang dibutuhkan, tidak ada kegiatan updating
data).

4.2 Proses dalam Data Warehouse

Proses dalam data warehouse atau data warehousing (catatan: istilah data warehouse
mengacu ke tempat repository data sementara istilah data warehousing mengacu ke
proses perjalanan data dari berbagai sumber data hingga masuk ke data warehouse) terdiri
dari tahap-tahap berikut ini:
1. Data di-import dari berbagai sumber data internal maupun eksternal
2. Data di-cleansed atau dibersihkan dan diorganisir secara konsisten sesuai dengan
kebutuhan perusahaan
3. a). Data di-load atau di-export atau dimasukkan ke data warehouse enterprise, atau
b). Data di-load/export/di masukkan ke data marts [tentang definisi data marts bisa
dibaca pada artikel sebelumnya tentang Data Warehouse dan Beberapa
Karakteristiknya di link ini]
4. Bila diinginkan, data marts dibuat sebagai subset atau bagian dari EDW (enterprise
data warehouse), atau b) Data marts disatukan menjadi EDW
5. Analisa dilakukan ketika diperlukan
4.3 Data Warehouse dan Sistem OLTP
Data warehouse dan OLTP (Online Transaction Processing) memiliki beberapa
perbedaan. Berikut beberapa penjelasan perbedaan antara data warehouse dan OLTP:
1. Karakteristik
OLTP mempunyai database yang sering kita jumpai dalam aplikasi-aplikasi yang
berhubungan dengan aktivitas sehari-hari dari suatu toko atau perusahaan, contoh :
database yang digunakan pada sistem informasi penjualan.

Sehingga database tersebut didesain atau dirancang khusus untuk menangani kegiatan
operasional atau transaksi dari suatu toko atau perusahaan.

Hal ini jelas berbeda dengan data warehouse karena data warehouse menyimpan data
yang bersifat historical dan digunakan untuk menangani kegiatan penyajian
informasi.

2. Orientasi
OLTP lebih berorientasi pada transaksi, sedangkan data warehouse lebih
diorientasikan pada proses untuk melakukan analisis.

3. Struktur Data
Karena OLTP diorientasikan pada proses transaksi, maka query yang digunakan lebih
dioptimalkan untuk mendukung proses transaksi tersebut. Sehingga harus dihindarkan
dari data yang berulang-ulang atau redudan. Dalam hal ini, perancangannya
membutuhkan normalisasi.

Sedangkan dalam data warehouse yang berorientasi pada proses query untuk
menghasilkan suatu informasi yang lengkap dan akurat, maka memungkinan
terjadinya data yang berulang-ulang karena dibutuhkan akses yang cepat dalam
query-nya. Dalam hal ini, perancangannya haruslah denormalisasi.

4. Tipe Data
 Dalam hal tipe data, data yang dimiliki oleh OLTP bersifat bernilai sekarang. Hal ini
disebabkan karena OLTP menyimpan data operasional atau transaksi yang terjadi
secara terus-menerus dalam suatu perusahaan atau toko.

Sedangkan data warehouse memiliki data yang bersifat historical, karena data
tersebut hanya akurat pada saat proses ETL (update) dilaksanakan atau berdasarkan
periode yang telah ditentukan.

5. Frekuensi Akses
Frekuensi dalam mengakses OLTP sangat tinggi karena data terus-menerus
dibutuhkan untuk mendukung kegiatan operasional atau transaksi dalam suatu
perusahaan atau toko. Contoh : dalam sistem informasi penjualan, dimana data yang
terdapat dalam tabel yang berisi informasi barang akan sangat ditinggi diakses untuk
mendukung proses transaksi (misalnya harga barang).

Sedangkan dalam data warehouse, frekuensi aksesnya sangat sedang dan bahkan
dapat dikatakn rendah, hal ini disebabkan karena data warehouse hanya diakses pada
saat proses analisis dibutuhkan.

4.4 Model Data Warehouse

Model yang sering digunakan di dalam data warehouse saat ini adalah skema bintang dan
skema snowflake. Masing-masing model tentunya memiliki kelebihan dan
kekurangannya masing-masing. Dalam artikel ini dijelaskan dengan detil mengenai
perbedaan kedua skema tersebut. Selain itu dijelaskan pula kondisi-kondisi yang sesuai di
dalam mengimplementasikan skema bintang maupun skema snowflake.

Skema bintang dan skema snowflake adalah sarana untuk mengorganisir data mart – data
mart atau gudang-gudang data dengan menggunakan basis data relasional. Kedua skema
tersebut menggunakan tabel-tabel dimensi untuk mendeskripsikan data-data yang
terdapat di dalam tabel fakta.
Setiap perusahaan pada umumnya menjual produk, pengetahuan, maupun jasa. Sehingga
sistem penjualan adalah sebuah sistem yang terdapat di sebagian besar perusahaan.
Berikut ini dijelaskan mengenai model penjualan baik skema bintang maupun skema
snowflake.

Karakteristik utama dari skema bintang adalah bahwa tabel dimensinya tidak
dinormalisasi. Pada model di atas, tabel fakta fact_sales (warna merah muda)berisi data-
data yang diekstrakdari database operasional. Sedangkan tabel yang berwarna biru muda
adalah tabel dimensi. Pada gambar di atas terdapat lima tabel dimensi yaitu
dim_sales_type, dim_store, dim_employee, dim_product, dan dim_time.

Dari model ini, kita dapat dengan mudah melihat mengapa skema ini disebut ‘skema
bintang’, karena model tersebut terlihat seperti bintang, dengan tabel dimensi yang
mengelilingi tabel fakta.
Skema snowflakejuga menyimpan data yang sama seperti pada skema bintang. Tabel
fakta yang digunakan pada skema bintang maupun pada skema snowflake berisi field-
field yang sama. Perbedaan utama antara skema bintang dan skema snowflake adalah
semua tabel dimensi pada skema snowflake telah dinormalisasi. Proses normalisasi tabel-
tabel dimensi pada skema snowflake ini disebut dengan proses snowflaking,sehingga
tampilan tabel-tabel pada skema snowflake bentuknya menyerupai snowflake.

Seperti yang telah disebutkan di atas, normalisasi adalah perbedaan utama antara skema
bintang dengan skema snowflake. Beberapa hal yang harus diperhatikan adalah sebagai
berikut:
1. Skema snowflake menggunakan ruang penyimpanan yang lebih kecil dibandingkan
ruang penyimpanan pada skema bintang. Hal ini disebabkan karena tabel-tabel
dimensi yang telah dinormalisasi memiliki record-record yang efisien karena tidak
terjadi pengulangan data-data yang sama.
2. Tabel dimensi yang tidak dinormalisasi dapat menyebabkan masalah integritas data.
Karena data-data yang sama bisa muncul berulang-ulang, bahkan bisa juga terjadi
 kesalahan pengetikan pada data-data yang sama tersebut. Sehingga pada skema
bintang harus dilakukan pengecekan dan maintenance secara berkala.
3. Penyimpanan data pada skema snowflake lebih terorganisir dan lebih rapi
dibandingkan dengan skema bintang.
BAB 5 CLUSTERING
5.1 Konsep dasar Clustering
Clustering atau klasterisasi adalah metode pengelompokan data. Menurut Tan, 2006
clustering adalah sebuah proses untuk mengelompokan data ke dalam beberapa cluster atau
kelompok sehingga data dalam satu cluster memiliki tingkat kemiripan yang maksimum dan
data antar cluster memiliki kemiripan yang minimum.
Clustering merupakan proses partisi satu set objek data ke dalam himpunan bagian yang
disebut dengan cluster. Objek yang di dalam cluster memiliki kemiripan karakteristik antar
satu sama lainnya dan berbeda dengan cluster yang lain. Partisi tidak dilakukan secara
manual melainkan dengan suatu algoritma clustering. Oleh karena itu, clustering sangat
berguna dan bisa menemukan group atau kelompokyang tidak dikenal dalam data.
Clustering banyak digunakan dalam berbagai aplikasi seperti misalnya pada business
inteligence, pengenalan pola citra, web search, bidang ilmu biologi, dan untuk keamanan
(security). Di dalam business inteligence, clustering bisa mengatur banyak customer ke
dalam banyaknya kelompok. Contohnya mengelompokan customer ke dalam beberapa
cluster dengan kesamaan karakteristik yang kuat. Clustering juga dikenal sebagai data
segmentasi karena clustering mempartisi banyak data set ke dalam banyak group
berdasarkan kesamaannya. Selain itu clustering juga bisa sebagai outlier detection.
5.2 Clustering Type
1. Partitional Clustering
Pembagian objek data ke dalam non-overlapping subset (cluster) sehingga setiap objek
data adalah tepat satu subset
2. Hirerarchical Clustering
Sehimpunan cluster bersarang yang diorganisasikan sebagai struktur hirarki pohon.
5.2 Metode Clustering
Metoda berbasis Partisi
 Partitional clusteringyaitu data dikelompokkan ke dalam sejumlah cluster tanpa adanya
struktur hirarki antara satu dengan yang lainnya. Pada metode partitional clusteringsetiap
cluster memiliki titik pusat cluster (centroid) dan secara umum metode ini memiliki fungsi
tujuan yaitu meminimumkan jarak (dissimilarity) dari seluruh data ke pusat cluster masing-
masing. Contoh metode partitional clustering: K-Means, Fuzzy K-means dan Mixture
Modelling.
Metoda berbasis Hirarki
Pada hierarchical clusteringdata dikelompokkan melalui suatu bagan yang berupa hirarki,
dimana terdapat penggabungan dua grup yang terdekat disetiap iterasinya ataupun
pembagian dari seluruh set data kedalam cluster.
Langkah melakukan Hierarchical clustering:
 Identifikasi item dengan jarak terdekat
 Gabungkan item itu kedalam satu cluster
 Hitung jarak antar cluster
 Ulangi dari awal sampai semua terhubung
Contoh metode hierarchy clustering: Single Linkage, Complete Linkage, Average Linkage,
Average Group Linkage.
Metoda berbasis Kepadatan

Metoda berbasis Kisi

Metoda berbasis

5.3 Evaluation method

BAB 6 KLASIFIKASI
6.1 Konsep dasar Klasifikasi
Klasifikasi adalah suatu pengelompokan data dimana data yang digunakan tersebut
mempunyai kelas label atau target.
Klasifikasi digunakan untuk memprediksi label clas (diskrit atau kontinu) serta
mengklasifikasi data (membangun model) yang didasarkan pada data training dan nilai
 label class dalam mengklasifikasikan atribut dan menggunakannya saat
mengklasifikasikan data baru.

a. Klasifikasi Bayes
Model Naïve Bayes adalah klasifikasi statistikk yang dapat digunakan untuk
memprediksi suatu kelas. Model Naïve Bayes dapat diasumsikan bahwa efek dari suatu
nilai atribut sebuah kelas yang diberikan adalah bebas dari atribut-atribut lain. Kelebihan
yang dimiliki oleh Naïve Bayes adalah dapat menangani data kuantitatif dan data diskrit,
Naïve Bayes kokoh terhadap noise, Naïve Bayes hanya memerlukan sejumlah kecil data
pelatihan untuk mengestimasi parameter yang dibutuhkan untuk klasifikasi, Naïve Bayes
dapat menangani nilai yang hilang dengan mengabaikan instansi selama perhitungan
estimasi peluang, Naïve Bayes cepat dan efisiensi ruang.

b. Decission Tree
Decision tree merupakan salah satu metode klasifikasi yang menggunakan representasi
struktur pohon (tree) di mana setiap node merepresentasikan atribut, cabangnya
merepresentasikan nilai dari atribut, dan daun merepresentasikan kelas. Node yang paling
atas dari decision tree disebut sebagai root. Decision tree merupakan metode klasifikasi
yang paling populer digunakan. Selain karena pembangunannya relatif cepat, hasil dari
model yang dibangun mudah untuk dipahami.
Pada decision tree terdapat 3 jenis node, yaitu:
C. Root Node, merupakan node paling atas, pada node ini tidak ada input dan bisa tidak
mempunyai output atau mempunyai output lebih dari satu.
D. Internal Node , merupakan node percabangan, pada node ini hanya terdapat satu input
dan mempunyai output minimal dua.
E. Leaf node atau terminal node , merupakan node akhir, pada node ini hanya terdapat
satu input dan tidak mempunyai output.

c. Artificial Neural Network

Artificial Neural Network bekerja dnegan cara meniru otak manusia dengan
menggunakan 'neuron' buatan untuk membandingkan atribut satu sama lain dan mencari
 koneksi yang kuat. Dengan mengambil nilai atribut, memprosesnya, dan menghasilkan
node yang terhubung oleh neuron, model penambangan data ini dapat menawarkan
prediksi dan persentase keyakinan, bahkan di tengah ketidakpastian dalam beberapa data.
Jaringan syaraf buatan tidak terbatas mengenai rentang nilai seperti beberapa metodologi
lainnya.
Dalam representasi grafisnya, jaring neural ditarik menggunakan node dan neuron.
Semakin tebal atau semakin gelap garis antara simpul, semakin kuat koneksi yang
diwakili oleh neuron itu. Neuron yang lebih kuat menyamakan kemampuan yang lebih
kuat dengan atribut itu untuk diprediksi. Meskipun tampilan grafis bisa sulit dibaca, yang
sering dapat terjadi ketika ada sejumlah besar atribut, komputer dapat membaca jaringan
dan menerapkan model untuk mencetak data untuk membuat prediksi. Persentase
keyakinan dapat lebih lanjut menginformasikan nilai prediksi observasi, seperti yang
diilustrasikan dengan atlet hipotetis kami, Lance Goodwin dalam bab ini. Antara prediksi
dan persentase keyakinan, kita dapat menggunakan jaringan syaraf untuk menemukan
pengamatan menarik yang mungkin tidak jelas, tetapi masih mewakili peluang bagus
untuk menjawab pertanyaan atau memecahkan masalah.

d. Support Vector Machine

Support Vector Machine adalah model pembelajaran yang diawasi dengan algoritma
pembelajaran terkait yang menganalisis data yang digunakan untuk klasifikasi dan
analisis regresi.
Santoso (2007): adalah suatu teknik untuk melakukan prediksi, baik dalam kasus
klasifikasi maupun regresi. SVM berada dalam satu kelas dengan Artificial Neural
Network (ANN) dalam hal fungsi dan kondisi permasalahan yang bisa diselesaikan.
Keduanya masuk dalam kelas supervised learning.

e. Nearest Neighbor Rule

Algoritma k-nearest neighbor (k-NN atau KNN) adalah sebuah metode untuk melakukan
klasifikasi terhadap objek berdasarkan data pembelajaran yang jaraknya paling dekat
dengan objek tersebut. K-Nearest Neighbor berdasarkan konsep ‘learning by analogy’.
Data learning dideskripsikan dengan atribut numerik n-dimensi. Tiap data learning
 merepresentasikan sebuah titik, yang ditandai dengan c, dalam ruang n-dimensi. Jika
sebuah data query yang labelnya tidak diketahui diinputkan, maka KNearest Neighbor
akan mencari k buah data learning yang jaraknya paling dekat dengan data query dalam
ruang n-dimensi. Jarak antara data query dengan data learning dihitung dengan cara
mengukur jarak antara titik yang merepresentasikan data query dengan semua titik yang
merepresentasikan data learning dengan rumus Euclidean Distance. Pada fase training,
algoritma ini hanya melakukan penyimpanan vektorvektor fitur dan klasifikasi data
training sample. Pada fase klasifikasi, fitur – fitur yang sama dihitung untuk testing data
(klasifikasinya belum diketahui). Jarak dari vektor yang baru ini terhadap seluruh vektor
training sample dihitung, dan sejumlah k buah yang paling dekat diambil. Titik yang baru
klasifikasinya diprediksikan termasuk pada klasifikasi terbanyak dari titik – titik tersebut.
Nilai k yang terbaik untuk algoritma ini tergantung pada data; secara umumnya, nilai k
yang tinggi akan mengurangi efek noise pada klasifikasi, tetapi membuat batasan antara
setiap klasifikasi menjadi lebih kabur. Nilai k yang bagus dapat dipilih dengan optimasi
parameter, misalnya dengan menggunakan cross-validation. Kasus khusus di mana
klasifikasi diprediksikan berdasarkan data pembelajaran yang paling dekat (dengan kata
lain, k = 1) disebut algoritma nearest neighbor. Ketepatan algoritma k-NN ini sangat
dipengaruhi oleh ada atau tidaknya fitur-fitur yang tidak relevan, atau jika bobot fitur
tersebut tidak setara dengan relevansinya terhadap klasifikasi. Riset terhadap algoritma
ini sebagian besar membahas bagaimana memilih dan memberi bobot terhadap fitur, agar
performa klasifikasi menjadi lebih baik. K buah data learning terdekat akan melakukan
voting untuk menentukan label mayoritas. Label data query akan ditentukan berdasarkan
label mayoritas dan jika ada lebih dari satu label mayoritas maka label data query dapat
dipilih secara acak di antara label-label mayoritas yang ada.

f. Klasifikasi Berbasis Fuzzy Logic

Logika Fuzzy adalah peningkatan dari logika Boolean yang berhadapan dengan
konsep kebenaran sebagian. Saat logika klasikmenyatakan bahwa segala hal dapat
diekspresikan dalam istilah biner (0 atau 1, hitam atau putih, ya atau tidak), logika fuzzy
menggantikan kebenaran boolean dengan tingkat kebenaran.
 Logika Fuzzy memungkinkan nilai keanggotaan antara 0 dan 1, tingkat keabuan dan juga
hitam dan putih, dan dalam bentuk linguistik, konsep tidak pasti seperti "sedikit",
"lumayan", dan "sangat".
Teori ini membantu pekerjaan tingkat abstraksi tinggi yang menawarkan sarana untuk
pengukuran data yang tidak tepat.
Contohnya: dalam pengaplikasian kartu kredit, perusahaan memberikan batas
pennggunaan kartu kredit hanya untuk orang yang berpenghasilan $50.000 sehingga:

IF (years_employed ≥2) AND (income ≥ 50,000) THEN credit = approved.

Tetapi ini tidak adil bagi seseorang yang mendapatkan penghasilan $49.000 sehingga bila
menggunakan metode fuzzy logic:

g. Evaluation Method
Metode evaluasi adalah tolak ukur untuk memeriksa efisiensi dan kinerja model apa pun.
Evaluasi penting untuk memahami kualitas model atau teknik untuk memperbaiki
parameter dalam proses pembelajaran berulang dan untuk memilih model atau teknik
yang paling dapat diterima dari seperangkat model atau teknik yang diberikan. Ada
beberapa kriteria yang dapat menjadi penting juga, seperti kompleksitas komputasional
atau komprehensibilitas model. Langkah-langkah yang paling banyak digunakan untuk
mengevaluasi kinerja teknik yang digunakan untuk melaksanakan tugas data mining yang
berbeda.

BAB 7 Question Answer System (QAS)

7.1 Konsep QAS
Question answering system (QA system) adalah sistem yang mengijinkan user
menyatakan kebutuhan informasinya dalam bentuk natural language question (pertanyaan
dalam bahasa alami), dan mengembalikan kutipan teks singkat atau bahkan frase sebagai
jawaban. Ketersediaan sumber informasi yang luas dan bervariasi, serta adanya
perkembangan yang pesat dari teknik Natural Language Processing (NLP), Information
Extraction (IE), dan Information Retrieval (IR) sangat mempengaruhi perkembangan dari
QA system, yang mana dulunya hanya dapat menjawab pertanyaan-pertanyaan yang
terbatas pada suatu bidang (domain) tertentu dengan berdasarkan pada sumber informasi
yang terstruktur seperti database, hingga kini dapat menjawab berbagai jenis pertanyaan
dengan bersumber pada informasi dari sebuah koleksi teks yang tidak terstruktur. Dilihat
dari ruang lingkup permasalahan, QAS dapat dibagi menjadi dua jenis yaitu QAS dengan
domain terbuka (pada domain ini semua permasalahan dapat dibahas melalu proses tanya
jawab pada sistem) dan QAS dengan domain terbatas/ tertutup (pada domain ini hanya
membahas satu topik saja misalnya kesehatan, olahraga, politik dan sebagainya).

 Arsitektur QAS
Umumnya arsitektur question answering system yang berbasis teks dibangun atas enam
tahapan proses, yaitu analisis pertanyaan, preprocessing koleksi dokumen, pemilihan
kandidat dokumen, analisis kandidat dokumen, ekstraksi jawaban, dan pemberian respon.
Aplikasi-aplikasi QA system (baik yang dapat diakses melalui internet maupun tidak)
yang dikembangkan dengan ciri khasnya masing-masing memiliki urutan proses yang
tidak jauh berbeda satu dengan lainnya. Jawaban yang dikembalikan oleh sebuah QA
system sebagai respon terhadap pertanyaan perlu dievaluasi untuk menilai performansi
sistem.

 Implementasi QAS
Berdasarkan penelitian berjudul “Implementasi Question Answering System (QAS)
dengan Metode Rule-Based Untuk Temu Kembali Informasi Berbahasa Indonesia” yang
dibangun oleh Ikhsani dan Nafi tahun 2006, Question Answering System (QAS) dapat
diterapkan untuk membangun sistem temu kembali jawaban atas pertanyaan dalam suatu
bacaan (reading comprehension). Dengan memasukkan kueri berupa pertanyaan ke dalam
sistem, maka sistem akan mengembalikan sebuah kalimat sebagai jawabannya. Proses
penemukembalian jawaban dimulai dengan memecah (parsing) suatu dokumen bacaan
menjadi kalimat-kalimat. Kalimat-kalimat tersebut dipecah dan di-stem menjadi token-
token. Begitu pula dengan kalimat pertanyaan pada kueri dipecah dan di-stem menjadi
 token-token. Token-token dari setiap kalimat dokumen maupun kueri diproses dalam
rules sesuai dengan tipe pertanyaannya. Dalam penelitian ini tipe pertanyaan yang
digunakan hanya lima tipe, yaitu: APA, SIAPA, KAPAN, MANA, dan MENGAPA.
Proses di dalam rules itu memberikan nilai (score) untuk masing-masing kalimat
dokumen. Kalimat yang memiliki nilai tinggi akan dikembalikan sebagai jawaban.
Kalimat yang dikembalikan sebagai jawaban bisa lebih dari satu, karena ada
kemungkinan beberapa kalimat yang memiliki nilai yang sama tingginya. Banyaknya
kalimat yang ditemukembalikan juga bergantung pada ambang batas nilai (threshold of
score) yang digunakan. Threshold of score yang digunakan dalam penelitian ini adalah 1
sampai 12. Kinerja sistem tertinggi dicapai saat menggunakan ambang batas 7 dan 8,
yang mengembalikan rata-rata tiga kalimat dan banyaknya hasil yang benar mencapai
82,5%. Dari evaluasi berdasarkan rules, rules ”APA” mempunyai kinerja yang paling
tinggi, dan akurasi rata-rata rules adalah 74,65%. Namun, akurasi yang cukup tinggi yang
dapat dicapai sistem ini hanya berlaku untuk penelitian ini saja dengan berbagai asumsi
yang digunakan.

BAB 8 Text Mining dan NLP

8.1 Konsep NLP
Natural Language Processing (NLP) merupakan salah satu cabang ilmu AI yang berfokus
pada pengolahan bahasa natural. Bahasa natural adalah bahasa yang secara umum
digunakan oleh manusia dalam berkomunikasi satu sama lain. Bahasa yang diterima oleh
komputer butuh untuk diproses dan dipahami terlebih dahulu supaya maksud dari user
bisa dipahami dengan baik oleh komputer.
Ada berbagai terapan aplikasi dari NLP. Diantaranya adalah Chatbot (aplikasi yang
membuat user bisa seolah-olah melakukan komunikasi dengan computer), Stemming atau
Lemmatization (pemotongan kata dalam bahasa tertentu menjadi bentuk dasar
pengenalan fungsi setiap kata dalam kalimat), Summarization (ringkasan dari bacaan),
Translation Tools (menterjemahkan bahasa) dan aplikasi-aplikasi lain yang
memungkinkan komputer mampu memahami instruksi bahasa yang diinputkan oleh user.
1. NLP Area
 Pustejovsky dan Stubbs (2012) menjelaskan bahwa ada beberapa area utama penelitian
pada field NLP, diantaranya:
 Question Answering Systems (QAS): Kemampuan komputer untuk menjawab pertanyaan
yang diberikan oleh user. Daripada memasukkan keyword ke dalam browser pencarian,
dengan QAS, user bisa langsung bertanya dalam bahasa natural yang digunakannya, baik
itu Inggris, Mandarin, ataupun Indonesia.
 Summarization: Pembuatan ringkasan dari sekumpulan konten dokumen atau email.
Dengan menggunakan aplikasi ini, user bisa dibantu untuk mengkonversikan dokumen
teks yang besar ke dalam bentuk slide presentasi.
 Machine Translation: Produk yang dihasilkan adalah aplikasi yang dapat memahami
bahasa manusia dan menterjemahkannya ke dalam bahasa lain. Termasuk di dalamnya
adalah Google Translate yang apabila dicermati semakin membaik dalam penterjemahan
bahasa. Contoh lain lagi adalah BabelFish yang menterjemahkan bahasa pada real time.
 Speech Recognition: Field ini merupakan cabang ilmu NLP yang cukup sulit. Proses
pembangunan model untuk digunakan telpon/komputer dalam mengenali bahasa yang
diucapkan sudah banyak dikerjakan. Bahasa yang sering digunakan adalah berupa
pertanyaan dan perintah.
 Document classification: Sedangkan aplikasi ini adalah merupakan area penelitian NLP
Yang paling sukses. Pekerjaan yang dilakukan aplikasi ini adalah menentukan dimana
tempat terbaik dokumen yang baru diinputkan ke dalam sistem. Hal ini sangat berguna
pada aplikasi spam filtering, news article classification, dan movie review.

1. Terminologi NLP
Perkembangan NLP menghasilkan kemungkinan dari interface bahasa natural menjadi
knowledge base dan penterjemahan bahasa natural. Poole dan Mackworth (2010)
menjelaskan bahwa ada 3 (tiga) aspek utama pada teori pemahaman mengenai natural
language:
e. Syntax: menjelaskan bentuk dari bahasa. Syntax biasa dispesifikasikan oleh
sebuah grammar. Natural language jauh lebih daripada formal language yang
digunakan untuk logika kecerdasan buatan dan program compute.
 f. Semantics: menjelaskan arti dari kalimat dalam satu bahasa. Meskipun teori
semantics secara umum sudah ada, ketika membangun sistem natural language
understanding untuk aplikasi tertentu, akan digunakan representasi yang paling
sederhana.
g. Pragmatics: menjelaskan bagaimana pernyataan yang ada berhubungan dengan
dunia. Untuk memahami bahasa, agen harus mempertimbangan lebih dari hanya
sekedar kalimat. Agen harus melihat lebih ke dalam konteks kalimat, keadaan
dunia, tujuan dari speaker dan listener, konvensi khusus, dan sejenisnya.

Contoh kalimat di bawah ini akan membantu untuk memahami perbedaan diantara ketiga
aspek tersebut di atas. Kalimat-kalimat ini adalah kalimat yang mungkin muncul pada
bagian awal dari sebuah buku Artificial Intelligence (AI):
1. This book is about Artificial Intelligence
2. The green frogs sleep soundly
3. Colorless green ideas sleep furiously
4. Furiously sleep ideas green colorless
Kalimat pertama akan tepat jika diletakkan pada awal sebuah buku, karena tepat secara
sintaks, semantik, dan pragmatik. Kalimat kedua tepat secara sintaks dan semantic,
namun kalimat tersebut akan menjadi aneh apabila diletakkan pada awal sebuah buku AI,
sehingga kalimat ini tidak tepat secara pragmatik. Kalimat ketiga tepat secara sintaks,
tetapi tidak secara semantik. Sedangkan pada kalimat keempat, tidak tepat secara sintaks,
semantik, dan pragmatik.
Selain daripada ketiga istilah tersebut ada beberapa istilah yang terkait dengan NLP,
yaitu:
c. Morfologi. Adalah pengetahuan tentang kata dan bentuknya sehingga bisa
dibedakan antara yang satu dengan yang lainnya. Bisa juga didefinisikan asal
usul sebuah kata itu bisa terjadi. Contoh : membangunkan –> bangun (kata
dasar), mem- (prefix), -kan (suffix)
d. Fonetik. Adalah segala hal yang berhubungan dengan suara yang
menghasilkan kata yang dapat dikenali. Fonetik digunakan dalam
pengembangan NLP khususnya bidang speech based system.
5. Konsep Text Mining
Text mining (juga disebut dengan text data mining, atau knowledge discovery in textual
database) adalah proses semi-otomatis dalam mengekstrak berbagai pola data (informasi
dan database yang bermanfaat) dari sumber data tak-terstruktur. Perlu diingat bahwa data
mining adalah suatu proses untuk mengidentifikasi pola-pola yang valid, baru, berpotensi
bermanfaat, dan akhirnya bisa dipahami yang ada di dalam data yang disimpan dalam
database terstruktur, dimana data dikelola secara terstruktur berdasarkan atribut atau
variable-variabel categorical, ordinal, atau continuous. Text mining sama dengan data
mining dalam arti dia punya maksud yang sama dan menggunakan proses yang sama,
tetapi dalam text mining input terhadap proses adalah file-file data tak-terstruktur (atau
kurang terstruktur) seperti dokumen word, file-file pdf, kutipan-kutipan text, file-file
XML, dan seterusnya. Pada dasarnya, text mining bisa dipikir sebagai suatu proses
(dengan dua langkah utama) yang mulai dengan memaksakan struktur ke berbagai
sumber data berbasis teks yang diikuti dengan mengektrak informasi dan knowledge
yang relevan dari data berbasis teks yang sudah terstruktur tersebut dengan
menggunakan berbagai tool dan teknik data mining.
Manfaat text mining sangat terasa di bidang-bidang yang memiliki banyak data teks,
seperti bidang hukum (perintah pengadilan), penelitian akademis (artikel-artikel ilmiah),
keuangan (laporan quarterly), pengobatan/kedokteran, biologi (interaksi molekuler),
teknologi (file-file paten), dan marketing (komentar-komentar pelanggan). Sebagai
contoh, berbagai macam jenis interaksi dengan para pelanggan berbasis teks dengan
format yang sembarangan dalam hal complain (atau mungkin juga pujian) dan klaim
jaminan bisa digunakan untuk mengidentifikasi karakteristik produk dan layanan secara
objektif yang dianggap kurang sempurna untuk dijadikan sebagai input terhadap
pengembangan produk dan alokasi layanan. Demikian juga, dengan berbagai macam
program untuk menjangkau market yang menghasilkan jumlah data yang besar. Dengan
tidak membatasi feedback terhadap produk dan layanan dengan bentuk yang terformat,
pelanggan bisa menyajikan dengan kata-kata mereka sendiri apa yang mereka pikirkan
tentang produk dan layanan perusahaan. Bidang lain dimana pemrosesan otomatis
terhadap text tak terstruktur telah membawa berbagai impact adalah dalam email dan
 komunikasi elektronik. Text mining tidak hanya bisa digunakan untuk
mengklasifikasikan dan memfilter junk email, tetapi juga bisa digunakan untuk
memprioritaskan email secara otomatis berdasarkan tingkat kepentingannya dan juga
menghasilkan respon otomatis (Weng and Liu, 2004).
Berikut ini adalah bidang-bidang penerapan text mining yang paling popular:
 Information extraction (ekstraksi informasi). Identifikasi terhadap hubungan dan
frase-frase kunci dalam text dengan mencari urutan yang sudah ditetapkan dalam
text menggunakan pencocokan pola.
 Topic tracking (pelacakan topic). Berdasarkan pada profil user dan berbagai
dokumen yang dilihat user, text mining bisa memprediksi dokumen-dokumen lain
yang menjadi perhatian/minat user tersebut.
 Summarization (peringkasan). Meringkas suatu dokumen untuk menghemat
waktu dari sis si pembaca
 Clustering. Mengelompokkan dokumen-dokumen yang mirip tanpa memiliki
kategori yang sudah ditetapkan sebelumnya.
 Concept linking. Menghubungkan berbagai dokumen terkait dengan
mengidentifikasi konsep yang digunakan berbsama dan dengan demikian
membantu para user untuk menemukan informasi yang barangkali mereka tidak
akan temukan dengan menggunakan metode-metode pencarian tradisional.
 Question answering. Menemukan jawaban terbaik pada pertanyaan yang
diberikan melalui pencocokan pola berbasis knowledge

6. Information Extraction
IE merupakan proses identifikasi fragmen-fragmen khusus suatu dokumen yang
membentuk inti dari isi semantiknya. IE biasanya bergantung pada aturan ekstraksi yang
dibuat khusus untuk sumber informasi tertentu, yang biasa disebut wrapper (berupa
program atau set aturan-aturan). Dengan wrapper ini, berbagai macam struktur sumber
data dapat diproses.
IE mengekstraksi data terstruktur atau pengetahuan dari teks tak terstruktur dengan
mengidentifikasi referensi entitas nama serta hubungan antar entitas. Jadi, IE secara
 umum berhubungan dengan penggalian informasi semantik dalam teks. IE meliputi
pengenalan entitas, resolusi coreference, ekstraksi hubungan, dan sebagainya. Tujuan
umum IE adalah agar komputer dapat melakukan pengolahan dengan data-data yang pada
mulanya tidak terstruktur. Lebih spesifik lagi, IE memungkinkan komputer untuk
menarik kesimpulan dari konteks logis sebuah data.
IE merupakan proses mengolah teks sebagai input dan memproduksi data dengan format
yang baku dan tidak ambigu sebagai outputnya. Aplikasi IE menganalisis teks dan
menyajikan hanya informasi khusus yang menarik minat pengguna atau sesuai konteks
pengguna. Prosees IE dapat dipermudah dengan pemanfaatkan teknik-teknik lainnya,
seperti bag of words, NLP, machine learning, model hidden markov, model statistik, dan
lain sebagainya.
Dalam praktiknya, IE sering dibantu dengan penggunaan pola tata bahasa serta aturan
linguistik yang diterapkan pada bahasa alami manusia. Namun, dengan bantuan domain
pengetahuan yang sesuai konteks, representasi pengetahuan yang dihasilkan oleh proses
IE dapat berkurang dari sisi kompleksitasnya. Selain itu, algoritma pembelajarannya serta
efisiensi ekstraksi menjadi semakin baik. Bahkan, disebutkan bahwa tanpa domain
pengetahuan yang sesuai konteks, proses dari IE tidak dapat menghasilkan analisis yang
tepat.

7. Information Retrieval
Information Retrieval (IR) adalah pekerjaan untuk menemukan dokumen yang relevan
dengan kebutuhan informasi yang dibutuhkan oleh user. Contoh sistem IR yang paling
popular adalah search engine pada World Wide Web. Seorang pengguna Web bisa
menginputkan query berupa kata apapun ke dalam sebuah search engine dan melihat hasil
dari pencarian yang relevan. Karakteristik dari sebuah sistem IR (Russel & Norvig, 2010)
diantaranya adalah:
1. A corpus of documents. Setiap sistem harus memutuskan dokumen yang ada akan
diperlakukan sebagai apa. Bisa sebagai sebuah paragraf, halaman, atau teks multipage.
2. Queries posed in a query language. Sebuah query menjelaskan tentang apa yang user ingin
peroleh. Query language dapat berupa list dari kata-kata, atau bisa juga menspesifikasikan
sebuah frase dari kata-kata yang harus berdekatan
3. A result set. Ini adalah bagian dari dokumen yang dinilai oleh sistem IR sebagai yang relevan
dengan query.
4. A presentation of the result set. Maksud dari bagian ini adalah tampilan list judul dokumen
yang sudah di ranking.
DAFTAR PUSTAKA

• Kusrini, dan Emha Taufiq Luthfi. 2009. Algoritma Data Mining. Yogyakarta: C.V
ANDI OFFSET
• Feri Sulianta dan Domunikus Juju. Data Mining: Meramalkan Bisnis Perusahaan.
2010. Jakarta: Elex Media Komputindo
• Han, Jiawei, dkk. Data Mining Concepts and Techniques. 2012. The Morgan
Kauffman
• Sungkono, Christian. 2008. Pengantar Ilmu Penggalian Data Bisnis. Jakarta:
Penerbit Salemba Empat
• Defiyanti dan Jajuli. 2015. Integrasi Metode Klasifikasi Dan Clustering dalam Data
Mining. Konferensi Nasional Informatik, 2354-645X/15.Diambil dari:
https://goo.gl/R89Vq3
• https://mti.binus.ac.id/2017/11/24/klasifikasi/: ANTONI WIBOWO, Lecturer
Specialist S3, Universitas Bina Nusantara
• Nuryani, A., Susanto, B., dan Proboyekti, U., 2007, Implementasi Naive Bayes
Classifier pada Program Bantu Penentuan Buku Referensi Mata Kuliah, Jurnal
Informatika Vol 3 No. 2, 32-36.
• Gunawan Gunawan, dan Gita Lovina. 2006. Question Answering System dan
Penerapannya Pada Alkitab. Jurnal Informatika Vol. 7.
http://jurnalinformatika.petra.ac.id/index.php/inf/article/view/16479
• Piskorski, J. and Yangarber, R., 2013, Information Extraction: Past, Present and
Future, In: T. Poibeau et al., eds., Multi-source, Multilingual Information Extraction
and Summarization, Springer-Verlag, Berlin, Ch.2.
• Pustejovsky, J., Stubbs A. (2012). Natural Language Annotation for Machine
Learning. Beijing: O’Reilly.
• Massachusetts Institute of Technology (2010). Advanced Natural Language
Processing. http://people.csail.mit.edu/regina/6864/. Cambridge
• Kowalski, M. (2011). Information Retrieval Architecture and Algorithms. New York:
Springer.
• North, D.M. 2012. Data Mining For The Masses. A Global Text Project Book
• Keekyoung Seo; Jaeyoung Yang; Joongmin Choi, "Building intelligent systems for
mining information extraction rules from web pages by using domain knowledge,"
Industrial Electronics, 2001. Proceedings. ISIE 2001. IEEE International Symposium
on , vol.1, no., pp.322,327 vol.1, 2001
• Mooney, Raymond J., and Razvan Bunescu. "Mining knowledge from text using
information extraction." ACM SIGKDD explorations newsletter 7.1 (2005): 3-10.
• Turban, E dan Jay E, (2001), “Decision Support Systems and Intelligent Systems”,.
Aronson, 6th edition, Copyright 2001, Prentice Hall, Upper Saddle River, NJ
• Hammer, J., Garcia-molina, H., Cho, J., Aranha, R., dan Crespo, A, 1997, Extracting
Semistructured Information from the Web, Proceedings of the Workshop on
Management of Semistructured Data, Tucson, Arizona.