Manova
Manova
VARIANCE (MANOVA)
Oleh Kelompok 2
1
KATA PENGANTAR
Puji syukur atas kehadirat Tuhan Yang Maha Esa yang telah memberikan rahmat,
kesempatan serta hidayah-Nya sehingga makalah ini dapat diselesaikan sesuai tepat waktu
sesuai rencana. Makalah ini ditulis dengan tujuan untuk memberikan informasi kepada
pembaca mengenai salah satu jenis statistik inferensial yang dapat digunakan sebagai statistic
inferensial. Analisis statistic yang ditulis dalam makalah ini adalah multivariate analysis of
variance (MANOVA). Makalah ini kami susun dalam rangka menyelesaikan tugas mata
kuliah metodologi penelitian.
Kami menyadari bahwa makalah ini belum sempurna maka saran dan kritik yang
membangun dari pembaca sangat diharapkan demi perbaikan makalah ini menjadi lebih baik.
Atas saran dan kritiknya kami ucapkan terima kasih.
Penulis
i
ii
DAFTAR ISI
KATA PENGANTAR................................................................................................................i
DAFTAR ISI.............................................................................................................................ii
BAB I PENDAHULUAN
A. Latar Belakang.................................................................................................................1
B. Rumusan Masalah............................................................................................................1
BAB II PEMBAHASAN
A. Teori dan Asumsi MANOVA..........................................................................................1
1. Teori.............................................................................................................................1
2. Asumsi-asumsi MANOVA..........................................................................................2
B. One-way MANOVA........................................................................................................5
1. Teori.............................................................................................................................5
2. Contoh Perhitungan Manual.........................................................................................6
3. Contoh Perhitungan dengan SPSS.............................................................................11
C. Two-way MANOVA.....................................................................................................17
1. Teori dan Contoh Two way MANOVA.....................................................................17
DAFTAR PUSTAKA..............................................................................................................23
ii
1
BAB I
PENDAHULUAN
A. Latar Belakang
Perbedaan statistik lebih dari dua kelompok dapat dilihat dengan melakukan uji
Analysis of varianve (ANOVA). Uji ANOVA seperti hanya dilakukan jika hendak
membandingkan tiga kelompok berdasarkan satu variable dependen. Sebagai contoh,
melihat perbedaan hasil belajar pada tiga kelas yang telah diajar dengan tiga metode
yang berbeda. Uji ini sulit dilakukan jika terdapat lebih dari satu variable dependen,
meskipun kitat tetap dapat melakukan ANOVA terpisah untuk setiap variable
dependen. Mengapa MANOVA digunakan sebagai pengganti beberapa ANOVA
adalah untuk meningkatkan keakuratan perhitungan. Semakin banyak tes yang kita
lakukan pada data yang sama, maka semakin kita mengembangkan tingkat kesalahan
perhitungan. Semakin banyak variabel dependen yang telah diukur, semakin banyak
ANOVA yang perlu dilakukan dan semakin besar peluang untuk membuat kesalahan
Tipe I.
Berdasarkan penjelasan ringkas di atas, diperlukan analisis MANOVA untuk
kasus tertentu. Oleh karena itu, makalah ini dibuat sebagai bahan informasi dalam
memilih dan melakukan uji statistik komparatif dengan karakteristik tertentu.
B. Rumusan Masalah
Berdasarkan latar belakang di atas, dikembangkan beberapa rumusan masalah
sebegai berikut:
1. Bagaimana teori dan asumsi dasar MANOVA?
2. Bagaiamana melakukan uji One-way MANOVA secara manual maupun
menggunakan program?
3. Bagaiamana melakukan uji Two-way MANOVA dengan menggunakan program?
1
BAB II
PEMBAHASAN
Populasi 2 : X 21 , X 22 , … , X 2 n 2
Populasi g : X g 1 , X g 2 ,… , X gn g
terdapat tiga asumsi dasar yang diperlukan oleh sekumpulan sampel acak di
atas, yaitu:
1. X 11 , X 12 , … , X 1 n , (l = 1, 2, … ,g) adalah sampel acak berukuran nl dari suatu
l
acak berukuran n1 yang diambil dari suatu populasi dengan vektor rata-rata μl dan
saling bebas. Pernyataan ini adalah jelas tanpa perlu diuji karena untuk tujuan uji
perbedaan maka sekumpulan data multivariat dari setiap populasi harus diambil
secara acak dan saling bebas satu sama lain.
2. Asumsi-asumsi MANOVA
a. Uji Homogenitas Matriks
Uji Statistika diperlukan untuk menguji homogenitas matriks varians-
kovarians. Hipotesis H 0 :∑1=∑ 2=…=∑ g=∑ 0 dan H 1 : ada paling sedikit satu
diantara sepasang ∑l yang tidak sama. Jika dari masing-masing populasi
diambil sampel acak berukuran n yang saling bebas maka penduga tak bias
untuk ∑l adalah matriks Sl sedangkan untuk ∑ 0 penduga tak biasnya adalah S,
g g
1
S= ∑ ( n −1 ) Sl dengan N=∑ nl−g
N l =1 l
(2.1)
l =1
S pooled =
1
∑ ( nl −1 )
l
{
( n1−1 ) S1 + ( n 2−1 ) S 2+ ⋯
+ ( n g−1 ) S g } (2.2)
u=¿ (2.4)
C = (1 – u)M
( )
2 g
2 p + 3 p−1 1 1
−1
C =1− ∑
6 ( p+1 ) ( g−1 ) ( nl−1 ) g
∑ ( nl−1 )
l=1
(2.5)
l =1
2
Daerah kritis tolak H0 jika nilai C-1 > χ ( 1 ( g−1) p ( p +1)) (α ) dan H0 gagal tolak jika
2
sebaliknya
3
i−1/2
e) Tentukan nilai pi= , i=1 , 2 ,… , n .
n
qi
((
q i , p ( p i )= χ 2p n−i+
1
2) )
/n .
2
g) Buat scatter-plot d (i ) dengan q i
Jika scatter-plot ini cenderung membentuk garis lurus dan lebih dari
2 2
50% nilai d i ≤ χ p ( 0,50 ) , maka H 0 diterima artinya data berdistribusi normal
multivariat. Implementasi pembuatan q-q plot dari nilai
d 2i =( X i− X )t S−1 ( X i− X ) , i=1 , 2 ,… , n dalam macro MINITAB.
Pada Analisis Variansi Univariat, keputusan dibuat berdasarkan satu
statistika uji yaitu uji F yang nilainya ditentukan oleh hasil bagi dari dua rata-
rata jumlah kuadrat, sebagai taksiran hasil bagi taksiran variansi-variansi yang
bersangkutan. Pada Analisis Variansi Multivariat ada beberapa statistik uji
yang dapat digunakan untuk membuat keputusan, yaitu:
a) Pillai’s Trace. Statistik uji ini paling cocok digunakan meskipun asumsi
homogenitas matriks varians-kovarians tidak dipenuhi, ukuran-ukuran
sampel kecil, dan jika hasil-hasil dari pengujian bertentangan satu sama lain
yaitu jika ada beberapa vektor rata-rata yang berebda sedangkan yang lain
tidak. Semakin tinggi nilai statistik Pillai’s Trace, pengaruh terhadap model
semakin besar. Statistik uji Pilllai’s Trace dirumuskan sebagai:
( ) λi
p
|B|
P=∑
−1
=tr λi ( 1+ λ i ) =tr (2−1)
i=1 1+ λi |B+W |
dimana λ 1 , λ2 , … , λ p adalah akar-akar karakteristik dari ( W )−1 ( B ).
( W ) = matriks varians-kovarians galat pada MANOVA
( B ) = matriks varians-kovarians perlakuan pada MANOVA
b) Wilk’s Lambda. Statistik uji digunakan jika terdapat lebih dari dua
kelompok variabel independen dan asumsi homogenitas matriks varians-
kovarians dipenuhi. Semakin rendah nilai statistik Wilk’s Lambda,
pengaruh terhadap model semakin besar. Nilai Wilk’s Lambda berkisar
antara 0-1. Statistik uji Wilk’s Lambda dirumuskan sebagai:
5
p
|W |
U =∏ ( 1+ λ i )−1= (2−2)
i=1 |B+W |
c) Hotelling’s Trace. Statistik uji ini cocok digunakan jika hanya terdapat dua
kelompok variabel independen. Semakin tinggi nilai statistik Hotelling’s
Trace, pengaruh terhadap model semakin besar. Nilai Hotelling’s Trace >
Pillai’s Trace. Statistik uji Hotelling’s dirumuskan sebagai:
p
T =∑ λ i=tr λ i=tr ( W ) ( B ) (2−3)
−1
i=1
d) Roy’s Largest Root. Statistik uji ini hanya digunakan jika asumsi
homogenitas varians-kovarians dipenuhi. Semakin tinggi nilai statistik
Roy’s Largest Root, pengaruh terhadap model semakin besar. Nilai Roy’s
Largest Root > Hotelling’s Trace > Pillai’s Trace. Dalam hal pelanggaran
asumsi normalitas multivariat, statistik ini kurang robust (kekar)
dibandingkan dengan statistik uji yang lainnya. Statistik uji Roy’s Largest
Root dirumuskan sebagai:
R=λmaks=maks ( λ1 , λ2 , … , λ p )
B. One-way MANOVA
1. Teori
Kadang-kadang kita memiliki lebih dari satu variabel terikat/variabel
dependen yang akan dianalisis. Prosedur multivariate memungkinkan kita
untuk menganalisis perbedaan level dari satu atau lebih (biasanya level
nominal) variabel bebas/variable independen, yang terkait dengan kombinasi
linear dari beberapa variabel terikat. Jika uji ANOVA hanya dilakukan jika
hendak membandingkan tiga kelompok atau lebih berdasarkan satu variable
dependen maka MANOVA dapat dilakukan jika terdapat lebih dari satu
variable dependen. Sebagai contoh, melihat perbedaan hasil belajar pada tiga
kelas yang telah diajar dengan tiga metode yang berbeda. Meskipun kitat tetap
dapat melakukan ANOVA secara terpisah untuk setiap variable dependen
namun untuk meningkatkan keakuratan perhitungan cara ini tidak dianjurkan.
Semakin banyak tes yang kita lakukan pada data yang sama, maka semakin
kita mengembangkan tingkat kesalahan perhitungan. Semakin banyak variabel
dependen yang telah diukur, semakin banyak ANOVA yang perlu dilakukan
dan semakin besar peluang untuk membuat kesalahan Tipe I. Oleh karena itu,
6
jika terdapat lebih dari satu variable dependen dan variabel Berikutnya kita
akan menjawab pertanyaan di bawah ini dengan analisis MANOVA
3. Dari data pada tabel diatas diperoleh matrik rata – rata perlakuan A dan B
[ ]
X
XA2 [ ]X
y A = A 1 , dan y B= B 1
XB2
4. Kemudian temukan matrixE dengan menggunakan perkalian matrix seperti
dibawah
a. Tentukan matrix C1 dan C2
[ ][ ][ ]
YA 11 YA 21 X A1 X A 2 CA 11 CA 21
C 1= … . … . − .. .. = … …
YA 1 n YA 2 n X A 1 X A 2 CA 1 n CA 2n
[ ][ ][ ]
YB 11 YB 21 XB1 XB 2 CB 11 CB21
C 2= … . …. − .. .. = … …
YB 1 n YB 2 n XB1 X B 2 CB 1n CB2 n
][ ]
CA 11 CA 21
'
C 1 C 1= [
CA 11 … CA 1 n
CA 21 … CA 2 n
x … …
CA 1 n CA2 n
7
][ ]
CB 11 CB 21
[
C '2 C 2= CB 11 … CB1 n x
CB 21 … CB2 n
… …
CB1 n CB 2 n
[ ]
n n
∑ CA 1n 2
∑ (CA 2 n)(CA 1 n)
SSCP1 = n
n=1 n=1
n
∑ (CA 1 n)(CA 2 n) ∑ CA 2n 2
n=1 n=1
[ ]
n n
[ ]
SSCP1 = a 1 b 1 , dan SSCP 2= a 2 b 2
c 1 d1 c2 d 2 [ ]
e. Diperoleh Matrix E
E=[ ac 1+a 2
1+c 2
b 1+b 2
d 1+ d 2 ]
5. Setelah matrix E ditemukan, selanjutnya mencari matrix H
a. Temukan matrix rata – rata dari dua matrix berikut
X
XA2 [ ] X
y A = A 1 , dan y B= B 1
XB2 [ ]
Rata – rata matrix yA dan yB
ÿ=
[ ( X A 1 + X B 1)/2
( X A 2 + X B 2)/2 ]
b. Kurangi yA dan yB dengan rata – rata
y A − ÿ
y B − ÿ
c. Temukan SSCP
[ ]
SSCP1 =n ( y A− ÿ )( y A− ÿ ) ' = a 1 b 1
c 1 d1
2 B [ c 2 d 2]
SSCP =n ( y − ÿ ) ( y − ÿ ) = a 2 b 2
B
'
H=
[ ac 1+a 2
1+c 2
b 1+b 2
d 1+d 2 ]
6. Mencari nilai Pillai
a. Temukan matrix invers dari E (E-1)
¿ , E=
[ CA DB ]
E−1=
1
[
D −B = a b
AD−BC −C A c d ][ ]
b. Kalikan invers E dengan H
−1
E H= [ ac bd ]
c. Temukan nilai eigen ( λ )
|E−1 H −λ I|=0
Persamaan di atas akan menghasilkan persamaan kuadrat, sehingga untuk
menemukan nilai λ digunakan persamaan berikut,
−b ± √b −4 ac
2
λ 1,2=
2a
atau
−b+ √ b2−4 ac −b−√ b2−4 ac
λ 1= dan λ2=
2a 2a
[ ]
r
λv U df e − p+r
U =∑ , dan F=
v=1 1+ λv r−U b
7. Mencari nilai Wilks Lambda ( Λ )
|E| 1− Λ df e − p+1
Λ= dan F=
| H+ E| Λ p
8. Untuk menemukan nilai Hotelling, jumlahkan nilai lambda pada langkah 5c
r
V =∑ λ v , dan F=V ¿
v=1
Contoh Penerapan
Kasus:
Seorang peneliti ingin mengetahui pengaruh model pembelajaran A dan B
terhadap penguasaan konsep (Y1) dan motivasi belajar (Y2).
Respond Model A Model B
en y1 y2 y1 y2
1 80 80 50 63
2 75 75 75 81
3 80 65 74 78
4 80 92 78 82
5 60 77 85 90
6 80 91 88 80
7 60 85 62 66
8 75 80 68 72
9 85 80 80 85
10 85 85 82 83
11 85 82 90 88
12 80 90 79 76
13 90 70 85 91
14 90 80 54 58
15 70 90 58 62
Rata- 78.3333 81.4666
Rata 3 7 73.86667 77
1. Hipotesis
Ho : μ1=μ 2
Ha: μ1 ≠ μ2
Ho : Tidak terdapat perbedaan yang signifikan penguasaan konsep dan
motivasi siswa dengan pembelajaran model A dan B
Ha : Terdapat perbedaan yang signifikan penguasaan konsep dan motivasi
siswa dengan pembelajaran model A dan B
2. Mencari Matrix E
[ ] [ ]
y A = 78.3 , dan y B = 73.9
81.5 77,0
Tentukan matrix C1 dan C2
[ ][ ][ ]
80 80 78.3 81,5 1.7 −1.5
C 1= 75 90 − 78.3 81,5 = −3.3 −6.5
… .. … . ….. … . … .. ….
70 90 78.3 81,5 −8.3 8.5
10
[ ][ ][ ]
50 63 73,9 77 −23.9 −14,0
75 81 73.9 77 1.1 4
C 2= − =
… .. … . ….. … . … .. ….
58 621 73.9 77 −15.9 −15
Kalikan C1 dengan inversnya, begitu juga dengan C2, Hasil kali matrix akan
menghasikan matrix baru berordo 2 x 2
SSCP1 =[ 1183.3 −143.3
−143.3 72.8 ]
dan SSCP 2=
2247.7 1748
1748 1566 [ ]
Diperoleh Matrix E
E=
[
3431.1 1676.9
1676.9 2411.7 ]
3. Mencari matrix H
[ ]
y A = 78.3 , dan y B = 79.3
81,5 77 [ ]
Rata – rata matrix yA dan yB
ÿ=
76.1
79.2 [ ]
Kurangi yA dan yB dengan rata – rata
[ ]
y A − ÿ= 2.2 dan y B− ÿ = −2.2
2.2 −2.2 [ ]
Temukan SSCP
['
SSCP1 =n ( y A− ÿ )( y A− ÿ ) =
74.8 74.8
74.8 74.8 ]
SSCP =n ( y − ÿ ) ( y − ÿ ) =[
74.8 ]
74.8 ' 74.8
2 B B
74.8
Jumlahkan SCPP untukmendapatkan matrix H
H=
[
149.6 149.6
149.6 149.6 ]
4. Menemukan nilai eigen λ
Temukan matrix invers dari E (E-1)
E= [
3431.1 1676.9
1676.9 2411.7 ]
−1
E =
1
[ 2411.7 −1676.9
5462865.8 −1676.9 3431.1
=
0,0004 −0,0003
−0,0003 0,0006][ ]
Kalikan invers E dengan H
−1
E H=
[
0,02 0,02
0,05 0.05 ]
Temukan nilai eigen ( λ )
|E−1 H −λ I|=0
|[ 0,02 0,02
0,05 0.05
−λ ] [ ]|
1 0
0 1
=0
11
p ≥1 g=2 F p ,∑ n − p−1
l
[ ]
r
Pillai’s λv 0,07
U =∑ = =0,065 3.17
Trace v=1 1+ λv 1 ,07
Karena nilai U < Ftabel maka terima Ho, sehingga tidak terdapat perbedaan yang
signifikan penguasaan konsep dan motivasi siswa dengan pembelajaran model A
dan B.
“untuk jumlah data sebesar 30 maka data yang termasuk data outlier
adalah data yang nilai mahalonobies nya lebih besar dari 11 (Barnet
and Lewis, 1978). Data outlier ini selanjutnya dapat dihapus(jika
ada)”.
Asumsi 2: Normalitas data
Hasil uji normalitas adalah sebagai berikut:
Tests of Normality
Kolmogorov-Smirnova Shapiro-Wilk
Penguasaan Motivasi
Konsep
N 30 30
Pearson Correlation .579** 1
N 30 30
Tabel korelasi di atas, bertujuan untuk melihat korelasi antar variable dependen.
Data di atas menunjukkan bahwa koefisien korelasi antara penguasaan konsep dan
motivasi adalah 0,579 dengan signifikansi sebesar 0,01. Hal ini menunjukkan
bahwa terdapat hubungan antara penguasaan konsep dan motivasi. Sehingga kita
perlu memperhatikan variabel ini dalam MANOVA. Jika korelasinya sebesar 0,60
atau di atasnya, kita akan mempertimbangkan apakah membuat sebuah variabel
komposit (dalam hal ini variabel yang korelasinya tinggi dijumlahkan atau dirata-
ratakan) atau mengeliminasi salah satu variabel (Morgan, 2004).
Uji MANOVA
Uji MANOVA dapat dilakukan dengan langkah-langkah sebagai berikut.
Pilih Analyze => General Linear Model => Multivariate
15
Klik Options
Centang Descriptive statistics, Estimates of Effect size, Parameter
estimates, dan Homogenity test. Ini akan membolehkan kita untuk
memeriksa asumsi lain dalam test dan melihat variabel terikat mana yang
berkontribusi lebih besar dalam membuat perbedaan antar kelompok.
Klik continue
Klik OK. Bandingkan hasil Anda dengan Output di bawah ini.
[DataSet1] F:\S2 UM MALANG\SEMESTER 3\Statistik Inferensial\
MANOVA.sav
Between-Subjects Factors
16
Value Label N
1 Model A 15
Model Pembelajaran
2 Model B 15
Descriptive Statistics
Agar hasil test memenuhi asumsi MANOVA sebaiknya jumlah pada setiap cell sama
atau relative sama.
Multivariate Testsa
Pillai's Trace .988 1147.929b 2.000 27.000 .000 .988 2295.857 1.000
Pillai's Trace .065 .933b 2.000 27.000 .406 .065 1.867 .194
Wilks' Lambda .935 .933b 2.000 27.000 .406 .065 1.867 .194
Model
Hotelling's Trace .069 .933 b
2.000 27.000 .406 .065 1.867 .194
Roy's Largest Root .069 .933b 2.000 27.000 .406 .065 1.867 .194
Tests the null hypothesis that the error variance of the dependent variable is equal
across groups.
a. Design: Intercept + Model
Nilai di atas menunjukkan bahwa baik penguasaan konsep maupun motivasi homogen.
Tests of Between-Subjects Effects
Source Dependent Variable Type III Sum of df Mean Square F Sig. Partial Eta Noncent. Observe
Corrected Penguasaan Konsep 149.633a 1 149.633 1.221 .279 .042 1.221 .187
Dependent Variable Model Pembelajaran Mean Std. Error 95% Confidence Interval
C. Two-way MANOVA
1. Teori dan Contoh Two way MANOVA
MANOVA juga berguna bila ada lebih dari satu variabel independen dan
beberapa variabel dependen terkait. Mari menjawab pertanyaan berikut.
- Apakah terdapat perbedaan pada nilai matematika siswa dan jenis kelamin
pada kombinasi linier dari dua variabel dependen (prestasi matematika dan uji
visualisasi)?
- Apakah laki-laki dan perempuan dalam nilai matematika yang lebih tinggi dan
lebih rendah berbeda pada dua variabel ini (adakah interaksi antara nilai
matematika dan gender)?
- Kombinasi linear apa dari dua variabel dependen yang membedakan kelompok
ini?
Korelasi antara kedua variabel dependen telah diketahui (pada contoh 1)
yaitu sedang (0,42), jadi matriks korelasi dihilangkan. Kemudian langsung ikuti
langkah berikut.
1. Pilih Analyze => generate Linear Model => Multivariate.
2. Klik Reset.
19
Tampilan tabel banyak yang sama dengan Output contoh 1. Untuk Statistik
Deskriptif, sekarang kita melihat mean dan standar deviasi dari variabel dependen
yang terdiri dari setiap kombinasi dua tingkat nilai matematika dan dua tingkat
gender.
20
Uji Box sekali lagi tidak signifikan (>.05), menunjukkan bahwa asumsi
homogenitas matriks kovarian terpenuhi.
Namun, jika hanya mempertimbangkan efek utama gender dan nilai matematika
(karena interaksinya tidak signifikan), maka Ns kira-kira sama untuk kelompok
(34 dan 41 untuk jenis kelamin dan 31 dan 44 untuk nilai matematika), jadi hal ini
kurang memberikan dampak.
Test of Beetwen Subjects Effects menunjukkan bahwa ada efek utama dari
kedua variabel bebas pada kedua variabel dependen, dengan ukuran efek
menengah hingga besar. Misalnya, "efek" nilai matematika pada prestasi
matematika sangat besar (eta = 0,41) dan pengaruh nilai matematika pada tes
visualisasi adalah medium (eta = 0,27).
22
23
Tabel Parameter Estimate sekarang memiliki tiga variabel tiruan: untuk perbedaan
antara siswa dengan A-B kurang dan A-B lebih banyak (MATHGR = 0), untuk pria lawan
perempuan (GEND = 0), dan juga untuk istilah interaksi (MATHGR = 0 GEND = 0).
Dengan demikian dapat dilihat bahwa prestasi matematika memberikan kontribusi lebih
daripada tes visualisasi untuk membedakan siswa dengan nilai matematika yang lebih baik
dan lebih buruk, serta berkontribusi lebih banyak untuk membedakan anak laki-laki dari pada
anak perempuan.
Hasil
Interaksi tidak signifikan, Wilk's ʌ = 0,995, F (2, 70) = .17, p = .843, multivariat ƞ 2 =
0,005. Efek utama untuk jenis kelamin adalah signifikan, Wilk's ʌ = .800, F (2,70) = 8,74, p
<.001, multivariat ƞ2 = .20. Hal ini menunjukkan bahwa komposit linear prestasi matematika
dan tes visualisasi berbeda untuk pria dan wanita. Efek utama untuk nilai matematika juga
signifikan, Wilk's ʌ = .811, F (2, 70) = 8,15, p = .001, multivariat ƞ2 = .19. Hal ini
menunjukkan bahwa komposit linier berbeda untuk tingkat nilai matematika yang berbeda.
Lanjutan ANOVA menunjukkan bahwa efek dari nilai matematika dan gender sangat penting
baik untuk pencapaian matematika maupun visualisasi. Laki-laki dinilai lebih tinggi pada
kedua hasil dan siswa dengan nilai matematika yang lebih tinggi pada kedua hasil tersebut.
24
DAFTAR PUSTAKA
Andy Field. 2009. Discovering Statistics Using SPSS. Third Edition. London: SAGE
Publications Ltd
Leech, N. G; Barrett, K. C.& Morgan, G. A. 2005. SPSS for intermediate statistics: Use and
interpretation, 2nd edition. London: Lawrence Erlbaum Associates.
Morgan, G. A. (Ed.). (2004). SPSS for introductory statistics: Use and interpretation (2nd
ed). Mahwah, NJ: Lawrence Erlbaum.