MODEL LOG LINIER

Kelompok 2
3 SE 3

Ahmad Fajar Novianto (14.7957)

Alfada Maghfiri Firdani (14.7968)
Alfian Syamsurizal (14.7970)
Eka Amalia (14.8098)
Mazaya Alifah Syadzwina (14.8231)

Muhammad Yusuf (14.8268)

Nadia Humairo (14.8277)
Rizka Heryanti (14.8352)
Sarah Pratiwi (14.8374)
Tirta Aprilian Taher (14.8413)

MODEL LOG LINIER 3 DIMENSI

STRUKTUR TABEL 3 DIMENSI

Struktur tabel kontingensi tiga dimensi berukuran r x c x l digunakan untuk

tiga variabel dengan:
r = banyaknya kategori variabel baris (row),
c = banyak kategori variabel kolom (column),
l = banyaknya kategori dari variabel layer

Kita asumsikan peluang sel ( berdistribusi multinomial dengan

Frekuensi harapan dari tiap sel dinyatakan dengan

Estimasi frekuensi harapannya adalah

MODELLING STRATEGY

9 model log linier yang mungkin untuk model 3 dimensi :

Complete independence: (A,B,C)
Jointly independence: (AB,C); (AC,B); (BC,A)
Conditional independence: (AB,BC); (AC,BC); (AB,AC)
Homogeneous Association: (AB,AC,BC)
Saturated: (ABC)

MODEL INDEPENDENCE

Diasumsikan, sampel

multinomial

berukuran n yang disusun dalam

tabel kontingensi tiga dimensi dikatakan

jika:
= ++ . ++ . ++
untuk semua i, j, dan k.

Dalam skala logaritma, diperoleh:

log = log ++ + log ++ + log ++

= .

independen

secara statistik

++ = ++

++ = ++

++ = ++

maka diperoleh:

Jika variabel baris dilambangkan dengan X, variabel kolom dilambangkan

dengan Y dan variabel kontrol dengan Z, maka fungsi frekuensi harapan
untuk model

loglinier independen untuk tabel tiga dimensi adalah:

log = + ...(1)
Dengan asumsi:

Saat itu berarti setiap kombinasi Y dan Z diperoleh logaritma frekuensi

harapan pada level ke-i dari X lebih besar daripada nilai rata-rata
logaritma frekuensi harapan yang menjelaskan semua level dari X.

MODEL JOINTLY INDEPENDENCE

Variabel Y dikatakan joint independen dari X dan Z saat

Hal ini sama saja seperti hubungan dua dimensi independen antara Y dan
variabel yang berasal dari IK kombinasi level dari gabungan variabel X dan
Z. Model log liniernya adalah:
+

Dengan cara yang sama, X juga bisa merupakan variabel independen

bersama dari Y dan Z, atau Z bisa merupakan variabel independen bersama
dari X dan Y.

Jika dua variabel joint bebas terhadap variabel ketiga, yang disimbolkan
dengan (XY, Z), atau (XZ, Y) atau (YZ, X) maka

untuk (XY, Z). Model log linier untuk hipotesis ini:

+ ...(3)

Dengan asumsi:

Pada model ini, parameter tidak hanya menunjukkan hubungan parsial

antara variabel X dan Y saja, namun juga menunjukkan adanya syarat
ketidakbebasan (dependen) antara variabel X dan Y dan adanya
independensi antara variabel X dan Z, maupun antara variabel Y dan Z.

Jika semua maka variabel X dan Y independen dan modelnya menjadi

(X,Y,Z). Pada model (XY, Z) terdapat interaksi pada setiap level variabel Z (.
Akan tetapi, antara variabel X dan Y maupun antara variabel Y dan Z tidak
terdapat hubungan (.

Dua versi lain dari hipotesis ini, yaitu variabel Y bebas terhadap joint variabel
X dan Z yang disimbolkan (XZ, Y) dan variabel X bebas terhadap joint
variabel Y dan Z (YZ, X). Model log linier untuk masing-masing hipotesis
tersebut adalah:
+

TABEL RINGKASAN MODEL INDEPENDEN

Model

(1)
(3)
(3)
(2)
(2)

Bentuk Probabilitas untuk

Syarat Asosiasi
dalam Model Log
Linier

Interpretasi

Variabel-variabel
saling independen
Y independen dari
Y
independen
dari
distribusi
bersama
distribusi
X dan Z bersama
X
Z
X dan
dan Y
independen
X
dan Y syarat
dengan
independen
diketahui Z
dengan syarat
diketahui Z

MODEL CONDITIONALLY INDEPENDENCE

Dari bab sebelumnya, bisa diketahui bahwa X dan Y

bersyarat

independen

(conditionally independent) pada level k dari Z saat semua

tabel parsial independen dan Z tetap (kontrol variabel), yaitu:

Distribusi bersama dari X dan Y pada level k dari variabel Z dinotasikan

sebagai:
untuk semua i dan j.

Secara lebih umum, X dan Y merupakan variabel independen dengan syarat

diketahui Z ( conditionally independent given Z ), yaitu jika kedua
variabel tersebut independen bersyarat pada setiap level dari variabel Z atau
ekuivalen dengan

untuk semua i, j, dan k.

Maka, model log linier independen bersyarat dari X dan Y adalah

+ ... (2)

dengan asumsi

Hipotesis dengan model (XY, YZ) menyatakan bahwa

Interaksi antara variabel X dan Z adalah sama pada setiap variabel Y (

Demikian halnya dengan variabel Y dan Z pada tiap level variabel X (

ada setiap level

variabel Z, tidak terdapat interaksi antara variabel X dan Y (.

ASOSIASI HOMOGEN

Setiap log linier yang sudah dijelaskan di atas memiliki tiga, dua, dan satu
pasang variabel independen bersyarat. Setiap pasang variabelnya terdapat
interaksi, dan interaksi tersebut tidak dipengaruhi oleh level variabel ketiga.

Hipotesisnya disimbolkan dengan (XY, YZ, XZ). Model log linier untuk
hipotesis ini adalah:
+

Jika dieksponensialkan kedua sisi:

dengan asumsi:

Hipotesis ini menyatakan bahwa interaksi di setiap pasang variabel adalah

identik pada setiap level variabel ketiga. Bentuk hubungan parsial terlihat
pada tiap pasang variabel dan tidak terdapat pasangan variabel yang
independen, serta tidak dapat dinyatakan dengan menggunakan konsep
kebebasan maupun kebebasan bersyarat

SATURATED MODEL

Model log linier untuk tabel tiga dimensi adalah:

+ ...(4)

Dengan dummy variabel, adalah koefisien dari i dummy variabel untuk X, j

dummy variabel untuk Y, dan k dummy variabel untuk Z.

Maka parameter nonredundannya adalah

atau sama dengan jumlah sel dalam tabel.

Model (4) di atas merupakan model lengkap (saturated model) dimana

subscript ganda menunjukkan asosiasi parsial, sedangkan subscript triple
menunjukkan tiga faktor interaksi.

INFERENSIA DAN ESTIMASI PARAMETER MODEL

LOG LINEAR

METODE ESTIMASI DIRECT MAXIMUM

LIKELIHOOD

 Metode estimasi parameter ada dua yaitu direct maximum

likelihood (DML) dan iteratif.
DML pada prinsipnya memaksimalkan fungsi likelihood, hasil
estimasi tergantung pada statistik cukup (sufficient statistics).
Tidak semua fungsi bisa langsung diestimasi secara direct oleh
karena itu dilakukan iteratif. Iteratif bisa dilakukan dengan
proporsional/iteratif proportional fitting dan metode NewtonRapson.
Pengepasan melalui proses iterasi sampai menghasilkan nilai
estimasi yang konvergen.

Untuk tabel tiga arah, bentuk kernel log likehood didapat berdasarkan joint
Poisson probability, yaitu

L( ) nijk log ijk ijk

i

Bentuk umum model loglinear persamaan diatas:

L( ) n ni iX n j Yj n k kZ nij ijXY ni k ikXY n jk YZjk nijk ijkXYZ exp( ... ijkXYZ )

i

Distribusi Poisson merupakan salah satu keluarga eksponensial maka

koefisien dari parameter adalah statistik cukup. Untuk model yang saling
independen (X,Y,Z), statistik cukup nya koefisien dari

{iX } yaitu {ni }

{ Yj } yaitu {n j }
{kZ } yaitu {n k }

Dapat terlihat bahwa statistic cukup minimal merupakan marginal distribusi

dimana (X,Y,Z) menggunakan single-factor marginal distribusi sedangkan
(XY,XZ,YZ) menggunakan tabel marginal dua arah

ESTIMASI PERSAMAAN LIKELIHOOD

Diketahui bentuk kernel log likehood didapat berdasarkan joint Poisson

probability,

L( ) nijk log ijk ijk

i

ni ( xij j ) exp( xij j )

i

Oleh karena statistic cukup dari adalah koefisien nya sendiri , maka

[ exp( xij j )] xij exp( xij j ) xij i

j i
j
j

j=1,2,,p

L( )
ni xij i xij
j
i
i

Persamaan likelihood tersebut diderivative menjadi nol. Misalkan untuk

model (XZ,YZ), log-likelihood model tersebut. . Derivative dari log linear
tersebut

L
ni k i k
XZ
ik

L
n jk jk
YZ
jk

maka didapat hasil dari persamaan likelihood :

ni k i k
n jk jk

DIRECT MAXIMUM LIKELIHOOD DAN ITERATIF

CALCULATION

Untuk menyelesaikan persamaan likelihood, kita misalkan dengan

menganalisis model (XZ,YZ). Dari pembahasan sebelumnya diketahui
bahwa joint probabilitinya yaitu:

ijk

untuk semua i,j, dan k

i k jk
k

Berdasarkan persamaan likelihood diketahui bahwa ML estimasi yaitu

)
i k ni k

karena maximum likelihood mengsetimasi dari parameter dari fungsi adalah

fungsi sama dari ML mengestimasi parameter lainnya, maka

i k jk ni k n jk
ijk

k
n k

Solusi diatas sesuai dengan model dan data pada statsistik cukup

Model-model diatas mempunyai formula explisit untuk , dan cara

mengestimasinya secara langsung (direct).

Banyak model loglinear yang tidak bisa diestimasi secara langsung, untuk
menyelesaikannya dengan metode iteratif.

Pada tabel diatas yang tidak bisa diestimasi secara langsung yaitu model
(XY,XZ,YZ). Estimasi langsung tidak bisa dilakukan untuk unsaturated model
yang mengandung semuanya dua faktor asosiasi.

METODE ITERATIF

Jika model log linier tidak langsung menghasilkan estimasi maka algoritma
iteratif seperti Newton-Raphson dapat digunakan untuk memecahkan
persamaan likelihoodnya. Selain metode Newton-Raphson, ada pula metode
iteratif yang menyajikan metode yang lebih simpel namun memiliki
keterbatasan yaitu metode iteratif proportional fitting.

METODE NEWTON-RAPHSON

Penduga maximum likelihood dari banyak parameter pada GLM untuk

persamaan nonlinier dapat diperoleh menggunakan prosedur iteratif NewtonRaphson diasumsikan mengikuti baik distribusi binomial atau Poisson.
Metode ini menggunakan fungsi Likelihood yang menggambarkan peluang
dari data pengamatan yang akan diamati melalui suatu range atau selang
dari nilai parameter.

Prosedur dimulai dengan dugaan awal sebagai solusi.

Dugaan awal melalui fungsi likelihood dievaluasi menggunakan estimasi

parameter awal dan data pengamatan.

Sehingga akan didapatkan dugaan kedua dengan memperkirakan fungsi

yang akan dimaksimalkan di sekitar nilai dugaan awal oleh polynomial
tingkat dua dan ditemukan letak nilai maksimum dari polynomial.

Proses dilakukan terus menerus hingga nilai dari estimasi tidak lagi berubah
yang berarti bahwa likelihood mencapai titik maksimum dan proses iterasi
telah konvergen ke titik maksimum saat fungsi telah cocok dan nilai dugaan
sudah bagus.

ITERRATIVE PROPORTIONAL FITTING

Algoritma Iteriative Proportional Fitting adalah metode sederhana untuk

menduga parameter untuk model loglinier. Berikut adalah langkahlangkahnya secara umum:
Dimulai dengan yang memenuhi model yang tidak lagi kompleks jika
dibandingkan dengan model yang sudah cocok. Sebagai contoh, (= 1.0)
adalah model yang memadai.
Dengan mengalikan dengan faktor yang sesuai, sesuaikan yang
berhasil cocok dengan nilai pada tiap marginal table pada satu set
statistik minimal yang cukup
Lanjutkan langkah-langkah sebelumnya hingga perbedaan maksimum
antara statistik yang cukup dan nilai pada model yang cocok mendekati
nilai nol.

Digambarkan bahwa model yang digunakan adalah model (XY, XZ, YZ)
memiliki statistik cukup ( n ij+ ), ( ni+k), ( n+jk). Penduga awalannya harus
memenuhi model. Ada tiga langkah untuk ulangan pertama pada IPF:

Dengan menjumlahkan kedua sisi dari persamaan pada k menunjukkan

bahwa untuk semua i dan j. Langkah selanjutnya adalah amati dan
cocokkan nilai yang sesuai dengan marginal tabel XY. Setelah langkah
kedua, semua , namun marginal tabel XY menjadi tidak sama lagi. Setelah
langkah ketiga, seluruh , namun marginal tabel XY dan XZ tidak lagi sesuai.

FITTING LOG LINIER MODEL

Uji Pearson Chi Square

Likelihood Ratio Test

Hipotesis nol dan alternatif untuk kedua tes tersebut dapat dirumuskan
menjadi
H0: model Log Linier yang digunakan cocok dengan keadaan
sebenarnya
H1: model Log Linier yang digunakan tidak
sebenarnya

cocok dengan keadaan

Apabila hasil penghitungan dari kedua uji di atas yaitu

lebih kecil dibandingkan

maka dapat diambil kesimpulan bahwa model Log Linear yang digunakan
sesuai dengan keadaan sebenarnya.

Hasil yang signifikan memberikan arti bahwa model tidak cocok, sedangkan
hasil yang tidak signifikan memberikan arti bahwa model cocok dengan
keadaaan sebenarnya.

Uji kecocokan model secara keseluruhan didasarkan pada perbedaan

menyeluruh antara nilai pengamatan dengan nilai harapan (diprediksi dari
model) dan juga menilai kecocokan dari model dengan menganalisis
residualnya, dimana menggambarkan secara lingkup yang lebih kecil
perbedaan antara nilai pengamatan dengan nilai harapan.

Residual yang telah disesuaikan akan membantu peneliti untuk menjelaskan

mengapa suatu model tertentu tidak cocok.

Residual dapat digunakan untuk meunjukkan sel mana pada tabel yang
berkontribusi terhadap ketidakcocokan model, dan juga membantu peneliti
untuk menentukan model alternatif yang lebih cocok.

MODEL LOG LINEAR DIMENSI YANG LEBIH

TINGGI

Model log linear untuk dimensi yang lebih tinggi (multidimennsi) merupakan
perluasan dari model log linear tabel 3 arah. Bertambahnya jumlah dimensi,
maka memunculkan beberapa komplikasi.

Diantaranya :
Meningkatnya jumlah asosiasi yang mungkin dan ketentuan interaksi,
sehingga pemilihan model jauh lebih sulit.
Bertambahnya jumlah sel-sel.

MODEL LOG LINEAR EMPAT DIMENSI

Model log linear untuk dimensi yang lebih tinggi dapat di gambarkan melalui
tabel kontingensi 4 dimensi, yang memuat 4 variabel utama yaitu W, X, Y,
dan Z.

Model log linear dari tabel kontingensi 4 dimensi dapat dilihat baik secara
teoritis maupun hierarki.

Keenam gambar diatas memberikan gambaran secara teoritis terkait model

log linear yang mungkin dibentuk dari keempat variabel W, X, Y dan Z.

Garis-garis yang menghubungkan antar variabel pada gambar menunjukan

kedua variabel tersebut berasosiasi.
Model teoritis log linear terlengkap pada empat dimensi harus memuat 6
pasangan asosiasi, dimana ditunjukan pada gambar A.
Sementara gambar B hanya menganudng 5 pasangan variabel yang
berasosiasi.
Gambar C dan D mengandung 4 pasangan variabel denga pola hubungan
yang berbeda.

Serta gambar E dan F yang mengandung 3 pasangan variabel dengan pola

hubungan yang berbeda.

Model log linear juga dapat dibedakan menjadi 3 model, yaitu

Model Lengkap Independen / Mutual Independence
Model Loglinear Kompleks
Model Tanpa Interaksi 3 faktor atau lebih

MODEL LENGKAP INDEPENDEN / MUTUAL

INDEPENDENCE

Model Mutual Independence merupakan model log linear yang paling

sederhana dari tabel kontingensi 4 dimensi untuk semua variabel.
Persamaaan loglinear dapat ditunjukan sebagai berikut.

MODEL LOGLINEAR KOMPLEKS

Model log linear yang kompleks pada tabel kontingensi empat dimensi
memuat 6 kemungkinan dari interaksi 2 variabel , 4 kemungkinan dari
interaksi 3 variabel , dan 1 interaksi 4 variabel . Persamaan loglinearnya sbb

MODEL TANPA INTERAKSI 3 FAKTOR ATAU LEBIH

Model tanpa interaksi 3 faktor atau lebih mempunya bentuk model loglinear
yang hanya terdiri dari model sederhana dan interaksi 2 variabel.
Persamaannnya sebagai berikut.

PROSEDUR ANALISIS MODEL LOG LINEAR

EMPAT DIMENSI

UJI GOODNESS OF FIT

Uji Chi Square digunakan untuk mengetahui apakah model sesuai dengan
keadaan sebenarnya atau tidak.
Hipotesis :
Ho : model loglinear sesuai dengan keadaan sebenarnya
H1 : model loglinear tidak sesuai dengan keadaan sebenarnya
Rumus Uji Statistik Chi Square :
Apabila dan p-value > taraf signifikansi =5% maka dianggap model log
linear yang digunakan sesuai keadaan yang sebenarnya.

LIKELIHOOD RASIO SQUARE.

Rumus Uji Statistik Likelihood Rasio Square :

Keterangan :

= observasi pada variabel ke i, j, k, l

= frekuensi harapan

Derajat bebas untuk model yang memuat semua bentuk interaksi dalam
tabel kontingensi 4 dimensi ditunjukan dengan rumus :
df=ijkl-[1-(i-1)+(j-1)+(k-1)+(l-1)+(i-1)(j-1)+(i-1)(k-1)+(i-1)(l-1)+(j-1)(k-1)+(j1)(l-1)+(k-1)(l-1)+(i-1)(j-1)(k-1)+(i-1)(j-1)(l-1)+(i-1)(k-1)(l-1)+(j-1)(k-1)(l-1)]

No

Model Log Linear

Derajat Bebas

(W, X, Y, Z)

[ijkl-i-j-k-l+3]

(WX, Y, Z)

[ijkl-ij-k-l+2]

(WX, YZ)

[(ij-1)(kl-1)]

(WX, XY, Z)

[j(ikl-i-k+1)(l+1)]

(WX, XY, YZ)

[ijkl-ij-jk-kl+j+k]

(WX, WY, WZ)

[i(jkl-j-k-l+2)]

(WXY, Z)

[(ijk-1)(l-1)]

(WXY, YZ)

[k(ij-1)(l-1)]

(WXY, XYZ)

[jk(i-1)(l-1)]

10

(WXY, WXZ, XYZ, WYZ)

(l-1)(k-1)(i-1)(j-1)

11

(WXY, WXZ, XYZ)

[ijkl-ijk-ijl-jkl+i+j+k+1]

12

(WXZ, WYZ, XYZ)

[l(k-1)(j-1)(i-1)]

13

(WXY, WXZ, YZ)

[ij(kl-l-k)]

14

(WXZ, XYZ, WY)

[jl(ik-k-i)]

15

(WXZ, WY, XY, YZ)

[ijkl-ijl-ij-jk-kl+j+k+4]

16

(WXY, WZ, XZ, YZ)

[ijkl-ijk-il-jl-kl+i+k+l+3]

17

(WXY, XZ, YZ)

[ijkl-ijk-jl-kl+j+k+2]

18

(WXZ, WY, XY)

[ijkl-ijl-ij-jk]

19

(WX, WY, XY, XZ, YZ, WZ)

[ijkl-ij-ik-jk-jl-kl-il+2j+2k+2l+2i-3]

20

(WX, WY, XY, XZ, YZ)

[ijkl-ij-ik-jk-jl-kl+2j+2k+l+i-2]

21

(WX, WY, XY, YZ)

[ijkl-ij-ik-jk-kl+i+2k+j-1]

22

(WX, WY, XY, Z)

[ijkl-ij-ik-jk+i+k-1]

23

(WXYZ)

MENENTUKAN STATISTIK CUKUP MINIMAL

DAN FUNGSI LIKELIHOOD

Statistic cukup minimal untuk model-model log linear merupakan koefisien

dari masing-masing parameternya.

Koefisien dari masing-masing parameternya diperoleh dari pengumpulan

atau penjumlahan batas marginal dari masing-masing parameternya.

Sementara fungsi likelihood diperoleh dari hasil derivatif L(m) terhadap

masing-masing parameter disama dengankan nol.

Cara mencari statistik cukup minimal dengan mengasumsikan sebuah model

sampel sederhana untuk klasifikasi silang dari variabel-variabel random
poisson (W, X, Y, Z) yang independen dengan nilai harapan .

Fungsi kepadatan probabilitas bersama Poisson dari adalah

dengan parameter dan hasil kali seluruh sel dalam tabel.

Persamaan kepadatann probabilitas bersama Poisson diatas jika dalam

bentuk logaritma sebagai bentuk log likelihood dari m menjadi :

Dari model log linear kompleks , maka bentuk likelihood dari persamaan diatas menjadi

Sementara hasil derivative L(m) terhadap masing-masing parameter yang

telah disama dengankan 0 menghasilkan fungsi likelihood sebagai berikut.

INTERPRETATION MODEL

Loglinier modelnya adalah:

log mijk = + + +

Ketiga variable tersebut saling bebas untuk semua i, j, dan k :

=

Setiap pasang dari variable tersebut merupakan conditionally independent

dan marginal independent

X-Y marginal association adalah identik dengan X-Y partial association

(given Z), karena Z adalah conditional independent dari X (given Y) atau
juga karena Z merupakan conditional independent dari X (given Y) atau juga
karena Z merupakan conditional independent dari Y (given X)

TERIMAKASIH