Association Rule

Data Mining

Nur Fitrianti F., S.Kom., MT

References :

Dr. Matthew North, Data Mining for the Masses, Amazon.com, 2012
 1 Association Rule

Outline 2 Algoritma Apriori

 1.
Association Rule
Association Rule

Aturan Asosiasi memiliki dapat dilihat dari dua proses :

1. Temukan semua frequent item sets

a. Apriori Method

b. FP-Growth

2. Generate Strong Association Rule dari frequent item sets (Item yang sering muncul):

Secara definisi, frequent item sets yang memenuhi minimum support dan minimum
confidence
Algoritma Apriori

• Algoritma apriori diberikan oleh R. Agrawal dan R. Srikant pada tahun 1994 untuk menemukan
frequent itemset dalam sebuah dataset untuk aturan asosiasi boolean.

• Nama algoritmanya adalah Apriori karena menggunakan pengetahuan sebelumnya (prior

knowledge) tentang properti frequent itemset.

• Algoritma ini menerapkan pendekatan iteratif atau pencarian berdasarkan level di mana k-
frequent itemset digunakan untuk menemukan k+1 itemset.

• Lalu apa itu frequent itemset?

Apa itu itemset?
Transaction ID Items bought Itemset adalah kumpulan dari
1 Tea, Cake, Cold Drink satu atau lebih item.
2 Tea, Coffee, Cold Drink

3 Eggs, Tea, Cold Drink Contoh : Transaksi 1 menampilkan

4 Cake, Milk, Eggs itemset yang berisi item seperti
5 Cake, Coffee, Cold Drink, Milk, Eggs Tea, Cake, Cold Drink

Apa itu K-itemset?

Ketika K=1, maka K-Itemset adalah 1 itemset.
Ketika K=2, maka K-Itemset adalah 2 itemset.
Ketika K=3, maka K-Itemset adalah 3 itemset.
Ketika K=4, maka K-Itemset adalah 4 itemset.
Ketika K=5, maka K-Itemset adalah 5 itemset.
Apa itu frequent itemset?

• Itemset sering terjadi jika support tidak kurang dari "minimum support threshold".

• Minimum support dapat kita tentukan sendiri. Anda dapat memilih minimum support untuk
memutuskan bahwa itemset itu frequent/sering atau tidak.

Apa itu support atau support absolut?

Jumlah absolut transaksi yang berisi
kumpulan item.
Contoh Absolut Support

Transaction ID Items bought • Absolute Support of Tea: 3

1 Tea, Cake, Cold Drink
• Absolute Support of Cake : 3
2 Tea, Coffee, Cold Drink
• Absolute Support of Cold Drink: 4
3 Eggs, Tea, Cold Drink
• Absolute Support of Milk: 2
4 Cake, Milk, Eggs
• Absolute Support of Eggs: 3
5 Cake, Coffee, Cold Drink, Milk, Eggs
• Support that if a person buy Tea, also buy Cake : 1 / 5 = 0.2
= 20%

• Support that if a person buy Tea, also buy Cold Drink : 3 / 5

= 0.6 = 60%

• The support that if a person buys Eggs, also buy Cold Drink:
2 / 5 = 0.4 = 40%
Apa itu Relative Support

• jumlah relatif transaksi yang berisi itemset relatif terhadap total transaksi.

Transaction ID Items bought

Relative Support of Tea: 3 / 5 = 0.6
1 Tea, Cake, Cold Drink
Relative Support of Cake : 3 / 5 = 0.6
2 Tea, Coffee, Cold Drink
Relative Support of Cold Drink : 4 / 5 = 0.8
3 Eggs, Tea, Cold Drink
Relative Support of Milk : 2 / 5 = 0.4
4 Cake, Milk, Eggs
Relative Support of Eggs: 3 / 5 = 0.6
5 Cake, Coffee, Cold Drink, Milk, Eggs
Apa itu Confidence

Transaction ID Items bought • Confidence /Keyakinan adalah probabilitas

1 Tea, Cake, Cold Drink bahwa jika seseorang membeli barang A,
2 Tea, Coffee, Cold Drink maka ia juga akan membeli barang B.
3 Eggs, Tea, Cold Drink

4 Cake, Milk, Eggs

5 Cake, Coffee, Cold Drink, Milk, Eggs

Confidence bahwa jika seseorang membeli Teh, juga membeli Kue : 1/3 = 0,33 = 33%
Mengapa 1? karena Teh dan Kue terjadi bersamaan hanya dalam 1 transaksi
Mengapa 3? karena ada tiga transaksi di mana terdapat Teh
Confidence bahwa jika seseorang membeli Susu, juga membeli Teh : 0 / 2 = 0 = 0%
Mengapa 0? karena Susu dan Teh tidak terjadi bersamaan dalam transaksi apa pun
Mengapa 2? karena ada 2 transaksi dimana terdapat Milk
Algoritma Apriori

• Minimum Support 2

Transaction ID Items bought Step 1 :

1 Milk, Tea, Cake,
Calculate the support/frequency of all
items
2 Eggs, Tea, Cold Drink

3 Milk, Eggs, Tea, Cold Drink Items bought Support

4 Eggs, Cold Drink Milk 2

5 Coffee Tea 3

Eggs 3

Cold Drink 3
Candidate Itemset
Coffee 1

Cake 1

Tidak memenuhi min.support

Frequent 1 Itemset

Step 1 :
Calculate the support/frequency of all
items
Candidate 1 Itemset
Items bought Support Frequent 1 Itemset
Milk 2
Items bought Support
Tea 3
Milk 2

Eggs 3
Tea 3

Cold Drink 3
Eggs 3

Coffee 1
Cold Drink 3

Cake 1

Tidak memenuhi min.support

 Transaction ID Items bought
Frequent 2 Itemset 1 Milk, Tea, Cake,

2 Eggs, Tea, Cold Drink

3 Milk, Eggs, Tea, Cold Drink

• Kombinasikan Frequent 1 Itemset, 4 Eggs, Cold Drink

5 Coffee

Candidate 2 Itemset
Items bought Support Frequent 2 Itemset
Milk, Tea 2
Items bought Support
Milk, Eggs 1
Milk, Tea 2
Milk, Cold Drink 1
Eggs,Tea 2
Eggs,Tea 2
Eggs, Cold Drink 3
Eggs, Cold Drink 3
Tea, Cold Drink 2
Tea, Cold Drink 2
 Transaction ID Items bought
Frequent 3 Itemset 1 Milk, Tea, Cake,

2 Eggs, Tea, Cold Drink

Frequent 2 Itemset 3 Milk, Eggs, Tea, Cold Drink

Items bought Support 4 Eggs, Cold Drink

Milk, Tea 2 5 Coffee

Eggs,Tea 2
Frequent 3 Itemset
Eggs, Cold Drink 3
Items bought Support
Tea, Cold Drink 2
Eggs,Tea, Cold Drink 2

• Hanya satu itemset frequent (Eggs, Tea, Cold Drink)

Karena hanya itemset ini yang memenuhi minimum
support 2

Apakah kita tidak membuat kombinasi yang mengandung Milk ????

Apa itu Pruning Principle ?

• Semua subset dari frequent itemset juga harus frequent.

• Periksa apakah semua himpunan bagian (subsets) dari itemset ini frequent atau tidak. Jika
tidak, hapus itemset itu.

• Subset dari {A, B, C} adalah {A, B}, {A, C}, {B, C}, jika salah satu subset tidak frequent maka
itemset {A, B, C} harus di hapus.

Prinsip Pruning Principle: Jika ada itemset yang jarang terjadi, supersetnya tidak
boleh dibuat/diuji!
 Transaction ID Items bought
Frequent 3 Itemset 1 Milk, Tea, Cake,

2 Eggs, Tea, Cold Drink

Candidate 2 Itemset 3 Milk, Eggs, Tea, Cold Drink

Items bought Support 4 Eggs, Cold Drink

Milk, Tea 2 5 Coffee

Frequent 3 Itemset
Milk, Eggs 1
Items bought Support
Milk, Cold Drink 1
Eggs,Tea, Cold Drink 2
Eggs,Tea 2
Subset
Eggs, Cold Drink 3
yang
Items bought Support
tidak
Tea, Cold Drink 2
frequent
{Milk,
Milk ,Tea, Cold Drink 1
Coldrink}
Tidak memenuhi min. support
Milk, Eggs, Tea, 1 {Milk, Eggs}

• Berdasarkan prinsip tadi maka kita tidak perlu

membuat itemset Milk
Bagaimana cara generate candidate?

• Step 1: self-joining Fk

• Step 2: prunning
 Items bought Support
Generating Association Rules Eggs,Tea, Cold Drink 2

• Association Rule dapat di generate dengan aturan sebagai berikut :

• Untuk setiap frequent itemset I, generate semua nonempty subset dari I.

• Untuk setiap nonempty subset s dari I, Output Rule “s  (I-s)”

• I = {Eggs,Tea, Cold Drink}

• S = {Eggs,Tea}, {Eggs,Cold Drink}, {Tea, Cold Drink}, {Eggs}, {Tea}, {Cold

Drink}

1. {Eggs,Tea}  Cold Drink

2. {Eggs,Cold Drink}  Tea
3. {Tea, Cold Drink}  Eggs
4. {Eggs}  {Tea, Cold Drink} Rules
5. {Tea}  {Eggs,Cold Drink}
6. {Cold Drink} {Eggs,Tea}
 Transaction ID Items bought

1 Milk, Tea, Cake,

Generating Association Rules 2 Eggs, Tea, Cold Drink

3 Milk, Eggs, Tea, Cold Drink

4 Eggs, Cold Drink

5 Coffee

Items bought Support (AՍB) Support (A) Confidence

{Eggs,Tea}  Cold Drink 2 2 100%

{Eggs,Cold Drink}  Tea 2 3 67%

{Tea, Cold Drink}  Eggs 2 2 100%

{Eggs}  {Tea, Cold Drink} 2 3 67%

{Tea}  {Eggs,Cold Drink}

2 3 67%

{Cold Drink} {Eggs,Tea}

2 3 67%
Studi Kasus
Berikut ini contoh dari 5 Transaksi belanja konsumen, akan dicari hubungan asosiasi antar item dengan
minimal support 2

TID Item Bought

1 Gula, Kopi, Terigu
2 Gula, Mentega, Terigu
3 Gula, Terigu, Mentega
4 Kopi, Garam
5 Kopi, Gula, Mentega
Latihan

Transaction ID Items bought

1 Tea, Cake, Cold Drink

2 Tea, Coffee, Cold Drink

3 Eggs, Tea, Cold Drink

4 Cake, Milk, Eggs, Cold Drink

5 Cake, Coffee, Cold Drink, Milk, Eggs

Reference

• Dennis A.C, Donny A. Baskoro,Lia A., I Wayan S. W., Belajar Data Mining dengan RapidMiner.

• Michael J.A. Berry, Gordon S. Linoff, Data Mining Techniques For Marketing, Sales and Customer Relationship Management, 2 nd Ed, Wiley, 2004

• Charu C. Aggarwal, Data Mining The Textbook, Springer, 2015

• Ian H. Witten, Eibe Frank, Mark A. Hall, Data Mining Practical Machine Learning Tools and Techniques Third Edition, Elsevier, 2011

• Dr. Suyanto, Data Mining untuk Klasifikasi Data dan Klasterisasi Data, Edisi Revisi, Penerbit Informatika, 2018

• Eko Prasetyo, Data Mining “Mengolah data menjadi informasi menggunakan Matlab”, Andi, 2014