Analisis Faktor dan Inferensi

untuk Struktur Matriks Kovarians

Kelompok 8

Fiqa Adha Demokrawati 1003117
Faizal Rachman 1005225


Metode Persamaan Struktur
Perspektif dan Strategi Untuk Analisis Faktor
Skor Faktor
Rotasi Faktor
Metode Estimasi
Model Faktor Orthogonal
Analisis Faktor
Analisis Faktor
Analisis faktor adalah salah satu metode statistika multivariat
yang digunakan untuk mengelompokkan variabel-variabel
yang memiliki korelasi relatif tinggi kedalam faktor-faktor
bersama yang saling independen.
Analisis faktor dapat dianggap sebagai perluasan dari analisis
komponen utama. Karena kedua teknik ini dapat dipakai untuk
menentukan matriks covarians .

Model Faktor Orthogonal
Misal X adalah peubah acak yang terobservasi, dengan p
komponen, yang mempunyai rata-rata dan matriks kovarian .
Dalil model faktor menyatakan bahwa X secara linear bergantung
pada faktor umum yaitu peubah acak dan faktor
khusus yaitu . Model analisis faktornya adalah:




atau dalam notasi matriks,

p m pm p p p p
m m
m m
F l F l F l X
F l F l F l X
F l F l F l X
c
c
c




2 2 1 1
2 2 2 22 1 21 2 2
1 1 2 12 1 11 1 1
+ + + + =
+ + + + =
+ + + + =

. .

m
F F F , , ,
2 1

p
c c c , , ,
2 1

(px1) (mx1) (pxm) (px1)
c + = F L X
(9-1)
(9-2)
acak bersifat yang i - ke khusus faktor :
j - ke faktor dengan i - ke variabel antara korelasi yaitu
bobot, atau loadig : l
bersama :
i
ij
c
f aktor F
j
Penambahan asumsi sebagai berikut:

(mx1) (mxm)






(px1) (pxp)


matriks diagonal,
dengan F dan saling bebas (independent),
sehingga

(pxm)

I ] [ ) ( , 0 ) (
'
= = = FF E F Cov F E

0 0
0 0
0 0
] [ ) ( , 0 ) (
2
1
'
(
(
(
(
(

= = = =
p
E Cov E

cc c c

. . .

0 ] [ ) , (
'
= = F E F Cov c c
Model Faktor Orthogonal dengan m Faktor Umum
diagonal matriks adalah dimana , ) Cov( , 0 ) E(
I Cov(F) 0, E(F)
independen dan F
j - ke faktor dan i - ke variabel dari loading
j - ke umum faktor
i - ke khusus faktor
i - ke variabel dari rata - rata
dengan,
4) - (9
) 1 ( ) 1 ( ) ( ) 1 ( ) 1 (
+ + = =
= =
=
=
=
=
+ + =
c c
c
c

c
ij
j
i
i
px mx pxm px px
l
F
F L X
(px1) (px1) (pxm)(mx1) (px1)
Model faktor orhogonal menghasilkan struktur
kovarians untuk X. Dari model (9-4),



sehinga menghasilkan

' ' ' '
' '
' '
) ( ) (
) ) )(( (
) )( ( ) )( (
cc c c
c c
c c
+ + + =
+ + =
+ + =
LF LF LF LF
LF LF
LF LF X X

cc c c
cc c c
cc c c

+ =
+ + + =
+ + + =
+ + + =
= = E
'
' ' ' ' ' '
' ' ' '
' ' ' '
'

) ( ) ( ) ( ) (
) ( ) ) ( ( ) ) ( (
) ) ( ) ( (
) )( ( ) (
LL
E F LE L F E L FF LE
LF E LF E LF LF E
LF LF LF LF E
X X E X Cov
Kovarians untuk peubah acak X dan faktor
umum F diperoleh


sehingga,


' '
' '

) ( ) (
F LFF
F LF F X
c
c
+ =
+ =
L
F E FF LE
F E LFF E
F LFF E
F X E F X Cov

) ( ) (
) ( ) (
) (
) ( ) , (
' '
' '
' '
'
=
+ =
+ =
+ =
=
c
c
c

Struktur Kovarians untuk Model Faktor Orthogonal

ij j i
km im k i k i
i im i i
l F X Cov
atau
L F X Cov
l l l l X X Cov
l l X Var
atau
LL X Cov
=
=
+ + =
+ + + =
+ =
) , (

) , ( . 2
5) - (9 ) , (
) (

) ( 1.
1 1
2 2
1
'

Dari (9-5) bahwa

.
Komunalitas ke-i adalah jumlah kuadrat dari loading
variabel ke-i yang diberikan oleh faktor bersama
(common factors). Komunalitas menunjukkan proporsi
varians dari variabel Xi yang dapat menerangkan m
faktor bersama.
khusus rians disebut va dan s komunalita disebut yaitu
komponen, dua oleh dijelaskan X variabel dari varians
i
2
i
+
i
h
i
i im i ii i
l l X Var

o
+ =
+ + + = =
2
i
2 2
1
h
) (
p i l l l h
im i i i
, 1,2,
2 2
2
2
1
2
= + + + =
Contoh 9.1
Misal diberikan matriks kovarian


Dengan persamaan


atau



=
19 30 2 12
30 57 5 23
2 5 38 47
12 23 47 68



19 30 2 12
30 57 5 23
2 5 38 47
12 23 47 68
=
4 1
7 2
1 6
1 8

4 7 1 1
1 2 6 8
+
2 0 0 0
0 4 0 0
0 0 1 0
0 0 0 3


=

+
mempunyai struktur dengan m = 2, maka


komunaliti dari ?

variansi dari bisa diuraikan seperti







(
(
(
(

=
(
(
(
(

=
(
(
(
(

=
(
(
(
(

=
3 0 0 0
0 1 0 0
0 0 4 0
0 0 0 2
0 0 0
0 0 0
0 0 0
0 0 0
,
8 1
6 1
2 7
1 4
4
3
2
1
42 41
32 31
22 21
12 11

l l
l l
l l
l l
L
17 1 4
2 2 2
12
2
11
2
1
= + = + = l l h
1
X
1
X

2 17 2 1 4 19
atau
) (
var
2 2
var
1
2
1 1
2
12
2
11 11
+ = + + =
+ = + + =
khusus
ians
y communalit
ians
h l l
_
o
Model faktor mengasumsikan p+p(p-1)/2 = p(p+1)/2.
varians dan kovarians dari X dapat dihasilkan dari pm
faktor loading lij dan p varians spesifik i.
Contoh: jika X memiliki 12 variabel dengan faktor
berama m=2, sesuai dengan p(p+1)/2=78 elemen
dari dapat digambarkan dengan mp+p=36, 24
parameter faktor loading + 12spesifik varians dari
faktor model.
Ketika m=p, matriks kovarians dapat diperoleh
tepatnya sebagai LL dimana =0.
Namun, dalam analisis faktor sering ditemukan
matriks kovarians yang tidak dapat difaktorkan
sebagai LL+, dimana jumlah m jauh lebih sedikit
dibanding p

3
2
31
31 21 2
21
2
31 11 21 11 1
11
2
3 1 31 3 3
2 1 21 2 2
1 1 11 1 1
1
0,40 1
70 , 0 0,90 1
LL' dengan
X
X
X
faktor, model n menggunaka
1 4 , 0 7 , 0
4 , 0 1 9 , 0
7 , 0 9 , 0 1
positif definit kovarians matriks
memiliki X3 X2, X1, acak el dan variab 1 m 3, p
+ + =
= + + =
= = + + =
E + = E
+ =
+ =
+ =
(
(
(

= E
= =
l
l l l
l l l l l atau
F l
F l
F l
misal
c
c
c

negatif ) var( karena memenuhi tidak artinya yang
575 , 0 575 , 1 1 atau ya1 persamaann dalam
1). (melebihi beasr terlalu | 25 , 1 | | |
) ( 1, Var(X1)
asumsi) (dengan 1 ) Var(F karena 255 , 1 atau 575 , 1 :
0,90 persamaan ke
70 , 0
40 , 0
0,40
70 , 0
peramaan dari pasangan
1
1 1
11
2
11
1 , 1 11
1 11
11
2
21 11 21
11 21
31 21
31 11
bernilai
l
l
F X Cov l dan
l l diperoleh
l l l an subtitusik
l l
maka
l l
l l
+ =
= = + + + =
=
= =
= = =
=
=
=
=
c
Untuk m>1 terdapat hubungan yang ambigu dengan model faktor.
Untuk mengetahuinya, misal T matriks orthogonal mxm sehingga
TT=TT=I
Persamaan (9-2) menjadi:
X- = LF+ = LTTF + = L*F*+ (9-7)
Dimana L*=LT dan F*=TF
Karena E(F*)=T E(F)=0
Dan, Cov(F*)=TCov(F)T=TT=I

pada observasi X, matriks L dengan L*, F dan F* memiliki sifat
statistik yang sama. Walaupun loading L* pada perluasannya
berbeda dengan loading L, tetapi menghasilkan matriks kovarians,
yang sama. Sehingga
= LL+ = LTTL+ = (L*)(L*)+.

L* dan L memberikan representasi yang sama, dan menghasilktan
komunalitas yang sama (tidak dipengaruhi oleh pemilihan T)

Metode Estimasi
1. Metode Komponen Utama
2. Metode Maksimum Likelihood
Metode Komponen Utama
Informasi yang dibutuhkan dalam teknik komponen
utama suatu data didapat dari matriks kovarians sampel
S, atau dari matriks korelasi sampel R. Metode komponen
utama ini, bertujuan untuk menaksir parameter pada
analisis faktor, yaitu varians khusus, komunalitas (h),
dan matriks faktor loading (L). Matriks kovarians sampel S
merupakan estimator (penduga) bagi matriks kovarians
populasi yang tidak diketahui yaitu . Komponen utama
analisis faktor pada matriks varians populasi memiliki
pasangan nilai eigen dan vektor eigen
dengan
dimana
( )
( )
i i
e ,
0
2 1
> > > >
p

| |

+ =
+
(
(
(
(
(

=
+ + + =
'
'
'
2 2
'
1 1
2 2 1 1
' '
2 2 2
'
1 1 1

0
LL
e
e
e
e e e
e e e e e e
p p
p p
p p p
.

Untuk mencari penaksir , substitusi dengan

S pada persamaan sehingga diperoleh :

Dalam pendekatan analisis komponen utama,
diabaikan dan S dapat difaktorkan menjadi
.




L

+ =
'
LL

+ ~
'
L L S

'
L L S

=
Solusi Komponen Utama pada Model Faktor
Komponen utama analisis faktor pada matriks
varians kovarians sampel S memiliki pasangan
nilai eigen dan vektor eigen
dimana . Jika m<p merupakan
banyaknya faktor umum, maka matriks yang
dihasilkan dari estimasi faktor loading
didefinisikan sebagai:

) , ( , ), , ( ), , (
2 2 1 1 p p
e e e

p
> > >
2 1
} {
ij

| |
m m
e e e L

2 2 1 1
=
Estimasi varians khusus diberikan oleh diagonal
dari matriks adalah



Sedangkan estimasi varians khusus oleh elemen
diagonal dari matriks adalah

komunalitas diestimasi sebagai:



'
L L S

=
=
(
(
(
(
(

=
m
j
ij ii i
p
S
1
2 2
1
dengan
0 0
0 0
0 0

. . .

'
L L R

=
=
m
j
ij i
1
2
1

=
= + + + =
m
j
ij im i i i
h
1
2 2 2
2
2
1
2

Jika banyaknya faktor bersama tidak diketahui,
maka m dapat dicari berdasarkan pada
estimasi nilai eigen, yaitu mempertimbangkan
faktor yang memiliki nilai eigen lebih dari satu
Nilai eigen menunjukkan besarnya sumbangan
dari faktor terhadap varian seluruh variabel
asli.







Kriteria pada persamaan diatas seringkali digunakan dalam
menentukan banyaknya faktor umum. Dengan menggunakan
program komputer kita juga dapat menentukan banyaknya faktor
umum berdasarkan pada banyaknya nilai eigen dari matriks
korelasi R atau dari matriks varians kovarians S yang lebih dari
rata-rata nilai eigen. Setelah seluruh nilai taksiran parameter
didapatkan kemudian dihitung matriks sisa. Matriks sisa
didefinisikan sebagai selisih dari korelasi sampel R atau dari
matriks S dengan nilai-nilai taksiran yang didapat.

R pada faktor
analisis untuk
S pada faktor
analisis untuk

total sampel
varians terhadap j - ke
umum faktor Proporsi
22 11

+ + +
=
|
|
|
.
|

\
|
p
s s s
j
pp
j

Contoh
Pada suatu survey, sampel acak diperoleh dari para
konsumen tentang atribut dari suatu produk baru.
Respon yang berbeda dari para konsumen membentuk
matriks korelasi. Matriks korelasi disajikan dalam
bentuk sebagai berikut:
(
(
(
(
(
(
(
(

00 , 1 79 , 0 11 , 0 85 , 0 01 , 0
79 , 0 00 , 1 50 , 0 71 , 0 42 , 0
11 , 0 50 , 0 00 , 1 13 , 0 96 , 0
85 , 0 71 , 0 13 , 0 00 , 1 02 , 0
01 , 0 42 , 0 96 , 0 02 , 0 00 , 1
5 4 3 2 1
5
4
3
2
1
energy of lots Provides
snack for Suitable
Flavour
money for buy Good
Taste
(Variabel) Atribut
umum. faktor 2 oleh dijelaskan dapat variabel 5 93% sebesar
93 , 0
5
81 , 1 85 , 2
: kumulatif proporsi dengan
2 m umum faktor memiliki kita dikatakan, dapat
1 yang eigen nilai adalah 81 , 1 dan 2,85 pertama eigen nilai dua
umum. faktor atau tiga dua, satu, bentuk dalam dijelaskan dapat variabel
antar linier hubungan bahwa mengira dapat kita maka (1,3). grup daripada (2,5)
grup mendekati lebih 4 variabel 0,79. dan 0,85 masing - masing korelasi dengan
grup membentuk 5 dan 2 el dan variab 3, dan 1 variabel bahwa dilihat dapat jelas
1
^
1
^
2
^
1
^
artinya
p
=
+
=
+
=
> = =


Tabel estimasi faktor loading, komunalitas, dan varans khusus

variabel. masing - masing sampel variansi dari besar presentasi untuk faktor dua n perhitunga
si mengindika ,0.93) ,0.98,0.89 (0.98,0.88 s komunalita data. untuk baik cukup yang atas di
loading faktor dengan model faktor dua menilai akan kita R. korelasi matriks mendekati Hasilnya
1
81 , 0 1
11 , 0 53 , 0 1
91 , 0 79 , 0 11 , 0 1
0 44 , 0 97 , 0 01 , 0 1

07 , 0 0 0 0 0
0 11 , 0 0 0 0
0 0 02 , 0 0 0
0 0 0 12 , 0 0
0 0 0 0 02 , 0
54 , 0 1 , 0 75 , 0 53 , 0 62 , 0
8 , 0 94 , 0 65 , 0 78 , 0 56 , 0
54 , 0 8 , 0
1 , 0 94 , 0
75 , 0 65 , 0
53 , 0 78 , 0
62 , 0 56 , 0
'
~ ~ ~
(
(
(
(
(
(

=
(
(
(
(
(
(

+
(

(
(
(
(
(
(

= + + = E L L
Metode Maksimum Likelihood
Jika common factors F dan specific factors dapat
diasumsikan berdistribusi normal, maka penaksiran
maksimum Likelihood dari faktor loading dan varians
spesifik dapat diperoleh. Ketika F
j
dan
j
berdistribusi
normal gabungan, maka observasi adalah
normal, dan memiliki bentuk fungsi Likelihood:



yang bergantung pada L dan dengan .
j j j
LF X c + =
+ + = E ' LL
( ) ( ) ( )( ) ( )( )

(
(

|
|
.
|

\
|
+ E
|
.
|

\
|
E = E

=

n
j
j j
n
np
x x n x x x x tr L
1
' ' 1
2
2
2
1
exp 2 , t
( )
( ) ( )
( )( ) ( ) ( ) ( )
)
`

E |
.
|

\
|
E

(
(

|
|
.
|

\
|
E |
.
|

\
|
E =


=

t t x x
n
x x x x tr
p
n
j
j j
n p n
1 '
2
1
2
1
' 1
2
1
2
1
2
exp 2
2
1
exp 2
(9-25)
Model tersebut masih belum terdefinisi dengan
baik (well defined) karena banyaknya pilihan L.
Agar L terdefinisi dengan baik, maka digunakan
kondisi keunikan/ketunggalan pada proses
perhitungan, yaitu:



diagonal matriks suatu ana dim
, '
1
A
A = +

L L
(9-26)
Result 9.1
Misal adalah sampel acak dari
dengan adalah matriks kovarians dari faktor
umum m. Estimator maksimum Likelihood
diperoleh dengan memaksimumkan (9-25) terhadap
matriks diagonal
.
Penaksiran maksimum Likelihood untuk komunalitas
adalah
jadi,



+ + = E ' LL
n
X X X , , ,
2 1
. ( ) E ,
p
N
x L = +

dan ,

^
1

'

A = +

L L
2

i
h
p i h
im i i i
, , 2 , 1

2 2
2
2
1
2
. . = + + + = untuk
pp
pj j j
s s s + + +
+ + +
=
|
|
|
.
|

\
|
.
.
22 11
2 2
2
2
1

total sampel variansi
terhadap
j - ke faktor Proporsi
(9-27)
(9-28)
Sebagaimana (8-10), variabel distandarkan, maka
matriks kovarians, , dari Z memiliki representasi


memiliki faktorisasi yang analog dengan (9-5) dengan matriks
loading dan matriks varians spesifik .
Dengan sifat invarians dari estimator maksimum Likelihood,
estimator maksimum Likelihood dari adalah



dimana masing-masing adalah estimator maksimum
Likelihood dari .
( ) =

X V Z
2 / 1
( )( )
2 / 1 2 / 1
'
2 / 1 2 / 1 2 / 1 2 / 1
+ + = E = V V L V L V V V
L V L
z
2 / 1
=
2 / 1 2 / 1
+ = + V V
z
( )( )
2 / 1 2 / 1
'
2 / 1 2 / 1

+ + = V V L V L V
z z z
L L + + =

'
L V

2 / 1
dan

L V dan
2 / 1
(9-29)
(9-30)
Konsekuensi dari faktorisasi (9-30), apabila analisis
maksimum Likelihood berkaitan dengan matriks korelasi,

disebut penaksiran maksimum Likelihood dari
komunalitas dan





Matriks sisa didefinisikan sebagai selisih dari korelasi
sampel R dengan nilai-nilai taksiran yang diperoleh.
p i h
im i i i
, , 2 , 1

2 2
2
2
1
2
. . = + + + =
(9-31)
p
pj j j
2 2
2
2
1

sasi) (stardardi
total varians sampel
terhadap
j - ke faktor Proporsi
. + + +
=
|
|
|
|
|
.
|

\
|
(9-32)
Example 9.5
Data stock-price dari Example 8.5 dan 9.4 akan di
analisis ulang, asumsikan model faktor m=2 dan
gunakan metode maksimum Likelihood. Penaksir faktor
loading, komunalitas, varians spesifik, dan proporsi dari
varians sampel total yang distandarkan dijelaskan
dalam Tabel 9.3.

(
(
(
(
(
(

=
000 . 1 523 . 426 . 322 . 462 .
523 . 000 . 1 436 . 389 . 387 .
426 . 436 . 000 . 1 599 . 509 .
322 . 389 . 599 . 000 . 1 577 .
462 . 387 . 509 . 577 . 000 . 1
R
Tabel 9.3

Variable
Maximum Likelihood Principal components
Estimated factor
loadings
Specific
variances
Estimated factor
loadings
Specific
variances
F
1
F
2

= 1

2
F
1
F
2

= 1

2

1. Allied Chemical
2. du Point
3. Union Carbide
4. Exxon
5. Texaco
.684
.694
.681
.621
.792
.189
.517
.248
-.073
-.442
.50
.25
.47
.61
.18
.783
.773
.794
.713
.712
-.217
-.458
-.234
.412
.524
.34
.19
.31
.27
.22
Cumulative
proportion of total
(standardized)
sample variance
explained .485 .598 .517 .733

Residual matriks (maksimum Likelihood) diperoleh






Residual matriks (principal component) diperoleh






Tampak bahwa elemen-elemen matriks sisa denga metode maksiimum
likelihood lebih kecil dari elemen-elemen matriks sisa merode komponen
utama. Sehingga kita memilih pendekatan maksimum Likelihood sebagai
metode penaksir yang lebih baik.
(
(
(
(
(
(

= +
0 000 . 004 . 000 . 004 .
000 . 0 031 . 004 . 024 .
004 . 031 . 0 003 . 004 .
000 . 004 . 003 . 0 005 .
004 . 024 . 004 . 005 . 0

'

L L R
(
(
(
(
(
(

= +
0 232 . 017 . 012 . 017 .
232 . 0 019 . 055 . 069 .
017 . 019 . 0 122 . 164 .
012 . 055 . 122 . 0 127 .
017 . 069 . 164 . 127 . 0
~
'
~ ~
L L R
Menguji Jumlah Faktor Umum
Dengan asumsi populasi berdistribusi normal, maka
akan kita lakukan uji model yang sesuai. misalkan
dalam hipotesis terdapat m buah common factor.
Dalam kasus ini , maka dilakukan pengujian:



Dengan fungsi likelihood yang dimaksimumkan
diperoleh

+ + = E ' LL
) ( ) ( ) ( ) (
*
0
' :
p p p m m p p p
L L H

+ + = E = E
E = E :
*
1
H
(9-33)
+ +
+ + = E =

dan L dari Likelihood penaksir adalah dimana
' dan
^ ^
^ ^ ^ ^ ^
dan L
L L x
(9-34)
Statistik uji untuk rasio Likelihood adalah:




(9.38)



Dengan derajat kebebasan:


(

= A
Likelihood maximized
H under Likelihood maximized
0
ln 2 ln 2
( ) | | p S tr n
S
n
n
n
E +
|
|
|
.
|

\
|
E
=

1
2 /

ln 2
( ) ( ) ( ) | | m p m p m m m p p p v v =
(

+ + =
2
0
2
1
1
2
1
1 ) 1 (
2
1
n
S
n
E
=

ln
Bartlett [4] menunjukkan bahwa aproksimasi chi-
kuadrat dapat dilakukan pada distribusi sampel dari
-2 ln dengan mengganti n pada (9-38) dengan faktor
multiplikatif (n-1-(2p+4m+5)/6).
Dengan menggunakan koreksi Bartlett, H
0
ditolak pada
taraf signifikansi jika


asalkan n dan n-p besar. Karena besarnya derajat
kebebasan , bernilai positif, maka
( ) ( ) ) (

'

ln 6 / 5 4 2 1
2 /
2
) (
2
o _
(

>
+ +
+ +
m p m p
n
S
L L
m p n
(9-39)
( ) | | m p m p
2
2
1
) 1 8 1 2 (
2
1
+ + < p p m
(9-40)
Comment
Dalam mengimplementasikan pengujian (9-39), untuk
m model common factor dengan membandingkan
perluasan varians . Jika n besar dan m
relatif kecil dari p, biasanya hipotesis H
0
ditolak, maka
harus digunakan pertimbangan lain dalam memilih
jumlah faktor m.
n
S L L dan + +

'

Example 9.7
Dua faktor analisis maksimum Likelihood dari
data stock-price pada Example 9.5. Misalkan
matriks residual solusi dua faktor sudah
mencukupi. Uji hipotesis dengan
m=2, dan = .05.


+ + = E ' :
0
LL H
0065 . 1
193163 .
194414 .
000 . 1 523 . 426 . 322 . 462 .
000 . 1 436 . 389 . 387 .
000 . 1 599 . 509 .
000 . 1 577 .
000 . 1
000 . 1 523 . 430 . 322 . 458 .
000 . 1 405 . 393 . 411 .
000 . 1 602 . 513 .
000 . 1 572 .
000 . 1

'

= = =
+ +
R
L L
z z z
Dengan menggunakan koreksi Bartlett, kita
evaluasi statistik uji (9-39)



H
0
ditolak jika,

Berdasarkan hasil di atas, ternyata .62 < 3.84,
maka H
0
diterima pada = .05. artinya,
( ) | |
( )
| | 62 . ) 0065 . 1 ln( 1 100 ln 6 / 5 4 2 1
6
5 8 10
'

= = + +
+ +
+ +
n
S
L L
m p n
( ) | | ( ) | | 84 . 3 ) 05 (. , 05 . , 1 2 5 2 5
2
1
2
1
2
1
2 2
= = = =
_
o pada m p m p
( ) ( ) ) (

'

ln 6 / 5 4 2 1
2 /
2
) (
2
o _
(

>
+ +
+ +
m p m p
n
S
L L
m p n
Rotasi Faktor
Tujuan rotai faktor adalah untuk memudahkan
interpretasi dari matriks faktor loading.
Jika matriks pm yang mengestimasi faktor
loading yang diperoleh dengan suatu metode,
maka

adalah sebuah matriks pm dari rotasi
loading. Selain itu, matriks estimasi kovarians
(atau korelasi) tetap tidak berubah, karena


L

I T T TT T L L = = = ' ' ,

dengan
(9-42)
+ + = + + = + +

*'

*

'

'

L L L TT L L L
(9-43)
Jika nilai loading aslinya (awal) mungkin sukar
untuk diinterpretasikan, maka biasanya
dilakukan rotasi sampai diperoleh bentuk yang
sederhana.
Idealnya, kita lebih suka menggunakan bentuk
dari loading sehingga pada suatu faktor
beberapa variabel mempunyai loading yang
relatif besar dan nilai loading yang kecil pada
variabel lainnya.
Koordinat axes dapat dirotasikan terhadap suatu
sudut, sebut , dan rotasi loading yang baru
ditentukan berdasarkan hubungan
*

ij

jam jarum arah berlawanan ,

cos sin
sin - cos
T
jam jarum searah ,
cos sin -
sin cos
T
dengan
(

=
(

=
=

| |
| |
| |
| |
) 2 2 ( ) 2 ( ) 2 (

*

T L L
p p
Example 9.8
Lawley dan Maxwell [20] menunjukkan matriks
korelasi sampel dari hasil ujian dalam p=6 subjek
untuk n=220 pelajar laki-laki.




dan suatu solusi maksimum Likelihood untuk
m=2 common factors pada tabel 9.5.

1.0
.464 1.0
.470 .595 1.0
.181 .190 .164 1.0
.329 .320 .354 .351 1.0
.248 .329 .288 .410 .439 1.0
Geometry Algebra Arithmetic History English Gaelic
= R
Tabel 9.5
Variable
Estimated
factor loadings
Communalities
F
1
F
2

1. Gaelic
2. English
3. History
4. Arithmetic
5. Algebra
6. Geometry
.553
.568
.392
.740
.724
.595
.429
.288
.450
-.273
-.211
-.132
.490
.406
.356
.623
.569
.372
Dari tabel 9.5 terlihat sulit untuk menentukan
variabel mana saja yang dapat dikelompokkan
dalam suatu faktor karena pada Faktor kedua nilai
loading kecil. Sehingga akan dilakukan rotasi
faktor untuk memudahkan interpretasi.
Dalam hal ini variabel mata pelajaran dapat
dikelompokkan dalam dua faktor umum, yaitu
faktor matematika dan non-matematika.
Pasangan faktor loading (l1,l2) diplotkan seperti :

Tampak bahwa data tersebar searah jarum
jam. Sehingga dalam perhitungannya
digunakan matriks ortogonal T yang searah
jarum jam dengan = 20 derajat. Hasil rotasi
ditunjukkan pada tabel 9.6
Tabel 9.6
Variable
Estimated
rotated
factor loadings
Communalities
F*
1
F*
2

1. Gaelic
2. English
3. History
4. Arithmetic
5. Algebra
6. Geometry
.369
.433
.211
.789
.752
.604
.594
.467
.558
.001
.054
.083
.490
.406
.356
.623
.569
.372
Setelah dilakukan rotasi, jelas bahwa faktor
loading dari F2 meningkat dan dapat dengan
mudah menentukan variabel yang
dikelompokkan kedalam dua faktor yang ada,
yaitu X1,X2,X3 nggota faktor 2 dan X4,X5,X6
anggota faktor satu.
Rotasi Orthogonal
Rotasi orthogonal adalah rotasi yang sesuai
untuk model faktor dimana common factors
diasumsikan independent (saling bebas). Pada
rotasi orthogonal, sumbu dipertahankan tegak
lurus dan yang banyak digunakan biasanya
prosedur varimax, yaitu metode yang berusaha
meminimumkan banyaknya variabel dengan
muatan tinggi pada satu faktor, sehingga
memudahkan interpretasi.
Oblique Rotations
Berbeda dengan rotasi orthogonal, oblique
rotations tidak harus mempertahankan sumbu
agar tetap tegak lurus. Oblique rotation
digunakan jika faktor berkorelasi kuat.
Skor Faktor
Dalam analisis faktor, perhatian biasanya
terpusat pada parameter dalam model faktor.
Walaupun, nilai estimasi dari common factors,
disebut skor faktor, dapat pula dicari. Nilai ini
seringkali digunakan untuk mendiagnosis nilai-
nilai yang akan dianalisis lebih jauh.
Skor faktor tidak mengestimasi parameter yang
tidak diketahui. Biasanya, mengestimasi nilai
vektor faktor random tidak terobservasi F
j
, j=1,
2, , n. Skor faktor

j) - ke (kasus F dari diperoleh , f nilai, dari estimasi f
j j j
=

Terdapat dua macam pendekatan dalam

mengestimasi nilai-nilai suatu faktor
1. Dengan metode Weighted Least Squares
2. Dengan metode regresi

Metode Weighted Least Squares
Skor faktor diperoleh berdasarkan metode
Weighted Least Squares dari penaksir
maksimum Likelihood

atau, jika matriks korelasi dapat difaktorkan

dengan


n j x x L x L L L f
j j j
, , 2 , 1 ), (

'

) (

'

)

'

1 1 1 1 1
. = + A = + + =

n j z L z L L L f
j
z
z z j
z
z z
z
z j
,..., 2 , 1 ,

'

'

)

'

1
1
1 1 1
= + A = + + =

z z z j j
L L x x D z + + = =


'

), (
2 / 1
dan 25), - (8 a sebagaiman
(9-50)
Metode Regresi
Skor Faktor yang didapat dengan Regresi

Atau jika matriks korelasi difaktorkan,

dengan
z
Contoh 9.12
Kita akan mengilustrasikan komputasi dari
skor faktor dengan metode kuadrat terkecil
dan metode pada data contoh 9.10. Suatu
solusi dari R dengan maksimum
likelihood,menaksir hasil rotasi loading dan
varians khusus sebagai berikut :

Dan vektor dari observasi terstandarisasi adalah
Dengan Kuadrat terkecil yang terboboti :
Matriks Faktor
Loading
Cov (c)
Dengan Regresi



Kedua metode memberikan hasil yang berbeda.


Perspektif dan Strategi Untuk Analisis
Faktor
Pengambilan keputusan yang paling penting
dalam analisis faktor adalah pemilihan m,
jumlah common faktor.
Pilihan terakhir m seringkali didasarkan pada
kombinasi dari
1. Proporsi varians sampel yang diberikan
2. Subject matter knowledge
3. Hasil yang masuk akal/logis
Analisis faktor yang paling memuaskan :
analisis faktor dimana rotasinya dicoba
dengan lebih dari satu metode dan
memberikan hasil substansi yang sama pada
struktur faktornya.

Saran dan ilustrasi untuk suatu pemilihan logis.
1. Nyatakan suatu komponen utama analisis faktor.
Tak dibutuhkan asumsi R atau S non-singular
a. Cari observasi yang menyimpang dengan
mem-plot faktor skor. Hitung Skor standar
untuk setiap observasi dan kuadrat jaraknya
b. Coba rotasi varimax
2. Nyatakan suatu max Likelihood Analisis Faktor
termasuk rotasi varimax
3. Bandingkan solusi analisis faktor tsb.
a. Apakah grup loading ada pada keadaan
yang sama?
b. Plot faktor skor yang didapatkan pada
komponen utama. Bandingkan dengan skor
dari analisis maximum likelihood

4. Ulangi langkah 1-3 pada jumlah lain common
faktor, m.
5. Untuk data yang besar, bagi dua data tersebut
dan nyatakan analisis faktor untuk tiap
bagian. Bandingkan solusi satu dengan yang
lain dan solusi dari data lengkap untuk
mengecek stabilitas solusi.
Contoh 9.14
Kami menyajikan hasil dari beberapa analisis faktor
pada pengukuran tulang dan tengkorak White
Leghorn fowl. Data utuh berisi 276 pengukuran
dimensi tulang :

kepala

Kaki

Sayap
X
1
= panjang tengkorak

X
2
= lebar tengkorak

X
5
= panjang tulang lengan

X
6
= panjang tulang hasta

X
4
= panjang tulang betis

X
3
= panjang tulang paha

Matriks korelasi sampel




dianalisis dengan menggunakan metode
komponen utama dan metode likelihood dengan
m=3, sehingga didapatkan :
(
(
(
(
(
(
(
(

=
000 , 1 973 . 0 894 . 0 878 . 0 450 . 0 603 . 0
937 . 0 000 . 1 874 . 0 877 . 0 482 . 0 621 . 0
894 . 0 874 . 0 000 . 1 926 . 0 467 . 0 602 . 0
878 . 0 877 . 0 926 . 0 000 . 1 422 . 0 569 . 0
450 . 0 482 . 0 467 . 0 422 . 0 000 . 1 505 . 0
603 . 0 621 . 0 602 . 0 569 . 0 505 . 0 000 . 1
R
Factor Analysis of Fowl Data
Principal Component

Maximum Likelihood


Variable
Estimated Factor
Loadings
Rotated Estimate Factor
Loadings

1

F
1
F
2
F
3
F
1
F
2
F
3

1. Skull length
2. Skull breadth
3. Femur length
4. Tibia length
5. Humerus length
6. Ulna length
0.741
0.604
0.929
0.943
0.948
0.945
0.350
0.720
-0.233
-0.175
-0.143
-0.189
0.573
-0.340
-0.075
-0.067
-0.045
-0.047
0.355
0.235
0.921
0.904
0.888
0.908
0.244
0.949
0.164
0.212
0.228
0.192
0.902
0.211
0.218
0.252
0.283
0.264
0.00
0.00
0.08
0.08
0.08
0.07
Cumulative proportion of total (standardized) sample
variance explained 0.743 0.873 0.950 0.576 0.763 0.950

Variable
Estimated Factor
Loadings
Rotated Estimate Factor
Loadings

1

F
1
F
2
F
3
F
1
F
2
F
3

1. Skull length
2. Skull breadth
3. Femur length
4. Tibia length
5. Humerus length
6. Ulna length
0.602
0.467
0.926
1.000
0.874
0.894
0.214
0.177
0.145
0.000
0.463
0.336
0.286
0.652
-0.057
-0.000
-0.012
-0.039
0.467
0.211
0.890
0.936
0.831
0.857
0.506
0.792
0.289
0.345
0.362
0.325
0.128
0.050
0.084
-0.073
0.396
0.272
0.51
0.33
0.12
0.00
0.02
0.09
Cumulative proportion of total (standardized) sample
variance explained 0.667 0.738 0.823 0.559 0.779 0.823

Lebih jauh lagi kita bisa melanjutkan
pengecekan faktor kurang dari atau sama
dengan 3 dengan menghitung residual matriks
yang didapat dari estimasi maksimum likelihood.




Karena entri dari matriks tersebut sangat kecil,
kita dapat melanjutkan model faktor m=3.

(
(
(
(
(
(
(
(

=
000 . 000 . 000 . 001 . 001 . 004 .
000 . 000 . 000 . 000 . 001 .
000 . 000 . 000 . 000 .
000 . 001 . 003 .
000 . 000 .
000 .
'
z
L
z
L
z
R
Plot skor faktor 1 dan 2 dengan estimasi rotasi
maksimum likelihood. Ini dapat kita gunakan
juga untuk mendeteksi pencilan(outliers).

Plot pula skor faktor dengan estimasi komponen
utama dan max likelihood untuk faktor loading.
Jika faktor loading diterima plot akan tersebar
secara merata dengan sudut 45
o
. Jika faktor
loading tak diterima, plot skor faktor akan
menyebar.
Plot Untuk Faktor 1
Plot untuk Faktor 2
Plot Untuk Faktor 3
Karena data yang kita miliki besar maka kita
harus membagi dua data dan melakukan
analisis pada dua bagian data tersebut.
Kemudian membandingkannya satu sama lain
dan membandingkannya dengan analisis
himpunan data yang utuh untuk mengecek
stabilitas solusi. Jika konsisten/hasilnya sama
maka kepercayaan terhadap solusi akan
meningkat.

Kita membagi data dengan n
1
= 137 dan n
2
= 139
, dengan matriks korelasinya adalah

1
=

1.000
0.696 1.000
0.588 0.540 1.000



0.639 0.575 0.901
0.694 0.606 0.844
0.660 0.584 0.866
1.000
0.835 1.000
0.863 0.931 1.000

2
=

1.000
0.366 1.000
0.572 0.352 1.000



0.587 0.406 0.950
0.587 0.420 0.909
0.598 0.386 0.894
1.000
0.911 1.000
0.927 0.940 1.000

Rotasi dari estimasi loading, varians tertentu,
dan proporsi dari total varians sampel yang
dijelaskan dengan solusi komponen utama
untuk m=3 adalah


Variable
First Set(n
1
=137 observation)
Rotates estimated factor loadings
Second Set(n
1
=139 observation)
Rotated estimate factor loadings
F
1
F
2
F
3

1
F
1
F
2
F
3

1

1. Skull length
2. Skull breadth
3. Femur length
4. Tibia length
5. Humerus length
6. Ulna length
0.360
0.303
0.914
0.877
0.830
0.871
0.361
0.899
0.238
0.270
0.247
0.231
0.853
0.312
0.175
0.242
0.395
0.332
0.01
0.00
0.08
0.10
0.11
0.08
0.352
0.203
0.930
0.925
0.912
0.914
0.921
0.145
0.239
0.248
0.252
0.272
0.167
0.968
0.130
0.187
0.208
0.168
0.00
0.00
0.06
0.05
0.06
0.06
Cumulative proportion of
total (standardized) sample
variance explained 0.546 0.743 0.940

0.593 0.780 0.962

Model Persamaan Struktur
Model persamaan struktur merupakan himpunan
persamaan yang digunakan padaa suatu
feenomena khusus dimana terdapat variabel
sebab akibat.
Biasanya digunakan pada ilmu sosial dan perilaku.
Software untuk menspesifikasi, menetapkan dan
mengevaluasi MPS ini diciptakan Jreskog dan
Srbom yang dikenal dengan sistem LISREL
Model LISREL
Model LISREL diberikan dengan persamaan

O
O
= =
= =
+ = =
+
A
=
+
A
=
+ I + =
o
o o
c
c c
, ,
o
c q
,
) Cov( 0, ) E(
) Cov( 0, ) E(
, ) Cov( 0, ) E(
dengan
X
Y
B
x
y
Eta, gamma, si, zeta, lamda, epsilon,lamda, si, delta
Banyaknya dan q tergantung pada
banyaknya variabel sebab dan akibat, atau
variabel yang tak dapat diobservasi langsung,
disebut juga variabel laten.
Banyaknya Y dan X tergantung banyaknya
variabel yang secara linear berelasi dengan q
dan dengan matriks koefisien A
y
dan A
x
.
Varibel tersebut dapat diukur. Persamaan Y
dan X disebut juga dengan persamaan
pengukuran.

Contoh 9.15
Diberikan diagram jalur sebagai berikut :






Akan dicari MPS dari diagram tersebut!

3

q
2

2

q
2

,
1

,
2

4

|
|
3

|
2

|
1

Solusi
Dengan m= 2 dan n=3,



Dengan cov(
1,

2
) = |
1,
cov(
2,

3
) = |
2,
cov(
1,

3
)
= |
3
dan cov(,
1,
,
2
) = 0.

(

+
(
(
(

+
(

=
(

2
1
3
2
1
4 3
2 1
2
1
2
1
0
0
0 0
0
,
,

q
q |
q
q
Struktur Covarians
Karena sebenarnya q dan tidak terobservasi,
LISREL tak dapat memverifikasi secara langsung.
Bagaimanapun, dalam analisis faktor, model dan
asumsi yang menyebabkan struktur covarians
yang pasti, dapat diperiksa.
Definisikan suatu vektor data *Y,X+, sehingga


Dengan B=0
(

=
(

E E
E E
= E =
|
.
|

\
|
) cov( ) , cov(
) , cov( ) cov(
cov
22 21
12 11
X Y X
X Y Y
X
Y
Diberikan observasi multivariat sebanyak n
[y
j
,x
j
+, j=1,2,,n
Matriks kovarians sampel adalah


Dapat dikontruksi dan dipartisi sehingga dapat
disamakan dengan E. Sehingga informasi pada S
dapat digunakan untuk mengestimasi model
parameter. Sehingga dan kemudian kita
selesaikan
(

=
22 21
12 11
S S
S S
S
S = E

Penaksiran
Sayangnya terkadang tidak dapat secara
langsung diselesaikan. Pencarian yang iteratif
diulang dengan berawal dari estimasi parameter
untuk mencari matriks yang didekati oleh S.
Pada LISREl, untuk mengukur perbedaan ini
digunakan kriteria least square dan max
likelihood untuk mengestimasi parameter dari
model.
S = E

Contoh 9.16
Kita memiliki m=1, n=1, p=2, q=2 dan B=0,
dimana

(
(
(
(

=
(

+
(

=
(

+
(

=
(

1 . 1 6 . 1 4 . 6 2 . 3
6 . 1 7 . 3 8 . 12 4 . 6
4 . 6 8 . 12 4 . 55 6 . 27
2 . 3 4 . 6 6 . 27 3 . 14
S dan
1
dan
1
2
1 2
2
1
2
1
1 2
1
o
o
q

c
c
q
X
X
Y
Y
Solusi
Misalkan var() =| dan var(,) =


Dengan persamaan sebelumnya, didapat :

Dengan menyamakan persamaan didapat :
S = E

Lakukan eliminasi mulai dari (iv) dan (v) untuk

mencari taksiran berbagai nilai. Sehingga
didapat :

Umumnya,
untuk mengestimasi parameter dibutuhkan
lebih banyak persamaan daripada parameter
tersebut. Jika t, banyak variabel yang tak
diketahui, p dan q harus memenuhi
ts(p+q)(p+q+1)/2
Walaupun ini tak menjamin semua parameter
dapat diestimasi secara tunggal.
Strategi model Fitting
Dalam model persamaan bentuk linear,
perhatian menuju pada nilai parameter dan
akibat yang menghubungkannya. Prediksi nilai
untuk variabel tidak mudah diperoleh kecuali
jika mengurangi model pada model multivariat
regresi linear.
Langkah
1. Jika mungkin perkirakan parameter dengan
beberapa kriteria (least square, maxsimum
likelihood) dan bandingkan
a. Apakah tanda dan jarak konsisten ?
b. Apakah semua perkiraan variansi positif ?
c. Apakah matriks residualnya, sama?
2. Lakukan analisis dengan S dan R, matriks korelasi
sampel. Apa efek standarisasi variabel
terobservasi pada hasil?
E

S
3. Bagi data yang berukuran besar menjadi dua
dan lakukan pengujian 1 dan 2 pada data.
Bandingkan solusi satu dengan yang lain dan
bandingkan pula dengan pengujian pada data
utuh untuk menguji stabilitas solusi.