Refreshment Psychometrics

& Statistical Practice in

Psychological Research
Muhamad Arif Saefudin
Highlight
● Scale Construction
● Reliability & validity (classical test theory)
● Scoring & norms
● Statistical practice
● Discussion
Scale Construction
● Konstruksi Skala mengacu pada penciptaan ukuran empiris untuk konstruksi teoritis; langkah-langkah
ini biasanya terdiri dari beberapa item (Stangor, 1998).
● Metode konstruksi skala: (i) pendekatan rasional-teoritis, (ii) penetapan kriteria empiris, dan (iii)
metode analisis faktor dan konsistensi internal (Simms, 2008)
● Pendekatan rasional-teoritis adalah metode konstruksi skala yang paling sederhana
● Pengembang skala hanya menulis item yang tampak konsisten dengan pemahaman teoritisnya
tentang konstruk target (yaitu, item yang memiliki validitas wajah yang baik)
● Beberapa orang berpendapat bahwa skala yang dikembangkan secara rasional dapat menghasilkan
validitas yang setara dibandingkan dengan skala yang dihasilkan dengan metode yang lebih ketat
(misalnya, Burisch, 1984), namun hal ini tidak selalu terjadi, dan validitas diskriminan dari skala
tersebut seringkali buruk.
● Lebih jauh lagi, metode ini membuat asumsi-asumsi yang tidak realistis, karena anggapan tersebut
tidak sepenuhnya benar
● Hal ini dapat mengakibatkan pengukuran yang cakupan konstruksinya tidak lengkap atau tidak akurat
Scale Construction
● Metode empirical criterion-keying digunakan secara luas dalam pengembangan beberapa skala/test
seperti MMPI (Hathaway & McKinley, 1943; Butcher, Dahlstrom, Graham, Tellegen, & Kaemmer, 1989)
dan California Psychological Inventory (Gough, 1987).
● Item-item yang dipilih berdasarkan kemampuan item tersebut membedakan antar individu (daya
diskriminasi)
● Contoh, skala 2 dari MMPI dikembangkan dengan membandingkan item tanggapan dari kelompok
'normal' dengan yang depresi; item yang membedakan antar kelompok dipertimbangkan untuk
dimasukkan dalam skala, tanpa memperhatikan isi item.
● Dengan demikian, isi item menjadi kurang relevan dibandingkan metode konstruksi skala lainnya
● Metode ini dapat menunjukkan validitas konvergen yang memadai, namun masih terdapat beberapa
permasalahan, seperti koherensi internal yang buruk, validitas diskriminan yang buruk, dan kurangnya
akar teori.
Scale Construction
● Internal consistency or factor-analytic approach, tujuan utamanya adalah untuk mengidentifikasi
skala yang relatif homogen yang menunjukkan validitas diskriminan yang baik
● Melalui analisis varian faktor atau komponen, digunakan untuk mengidentifikasi dimensi yang koheren
di antara sejumlah besar item yang ditulis untuk mengambil sampel satu atau lebih kandidat konstruk
yang akan diukur.
● Kekuatan utama dari pendekatan ini adalah bahwa pendekatan ini biasanya menghasilkan
dimensi-dimensi yang homogen dan dapat dibedakan
● Hal ini mengasumsikan bahwa konstruksi yang ingin kita ukur bersifat relatif homogen, yang mungkin
tidak berlaku di semua kasus (misalnya, konstruksi yang secara inheren bersifat multidimensi, seperti
beberapa sindrom kejiwaan).
● Meskipun analisis faktor merupakan bagian penting, namun kepatuhan yang ketat terhadap
pendekatan konsistensi internal murni biasanya tidak ideal.
Scale Construction
● Para psychometrician berpendapat suatu pendekatan integratif untuk hasil yang optimal
● Cronbach dan Meehl (1955) berargumentasi bahwa menetapkan validitas pengukuran konstruksi
psikologis merupakan sebuah tantangan karena tidak ada kriteria yang jelas dan dapat diamati untuk
dijadikan sebagai standar emas bagi konstruksi yang ingin kita ukur.
● Akibatnya, proses validasi konstruk mengharuskan pengukuran konstruk tersebut tertanam dalam
jaringan teoritis, sehingga dapat memungkinkan dalam penyelidikan baik reliabilitas maupun validitas
yang sesuai dengan teori
● Namun, kebanyakan pengembang skala menganggap bahwa persoalan validitas ada pada saat
skala/tes sudah dibuat
● Oleh karena itu, konsep validitas konstruk yang diartikulasikan oleh Cronbach dan Meehl sebaiknya
dipertimbangkan pada semua tahapan proses konstruksi skala (Clark & Watson; Loevinger, 1957;
Messick, 1995; Simms & Watson, 2007).
Theory driven - Scale Construction (Loevinger, 1957)
Tahapan sederhana Konstruksi Skala
Contoh tahapan awal pengembangan skala (Azwar, 2015)
Reliability
● Asumsi klasik X = T + E
● Semakin besar porsi varians error maka semakin tidak reliabel dan sebaliknya
● Variabilitas skor individu dipengaruhi oleh (2); pertama, varians dari skor T itu sendiri dan
kedua oleh varians error
● Dapat disimpulkan bahwa reliabilitas yang tinggi memang dikarenakan adanya varians T, dan
rendahnya reliabilitas disebabkan oleh varians error pengukuran
 Validity
● Validitas alat ukur kaitannya pada apa yang menjadi tujuan ukur dan kualitas hasil ukur yang dihasilkan
oleh suatu alat ukur (Anastasi & Urbina, 1997)
● Masih ingat, bahwa, yang reliabel itu belum tentu valid, tapi bila valid maka sudah tentu itu reliabel
● Uji reliabilitas hanya menguji konsistensi bukan tentang apa yang diukur (Crocker & Algina, 1986)
● Namun sebuah tes tidak bisa disebut valid bila tidak reliabel.
● Jadi reliabilitas memang penting tapi tidak cukup
Validity
 Validity
● Tiga prosedur pengujian validitas: content validity, criterion-related validity dan construct validity
● Content validity = expert judgements - Aiken’s V (Aiken, 1985) atau Content Validity Ratio (Lawshe, 1975)
● Criterion validity = menunjukkan efektivitas suatu alat ukur terkait fungsi prediktifnya terhadap kemampuan
seseorang (Anastasi & Urbina, 1997) - validitas konkuren & prediktif
● Construct validity = memastikan bahwa ada kesesuaian antara konstruk teoritik dengan konstruk data hasil tes
● Validitas konstruk bisa dikatakan validitas yang dinamis seiring perkembangan teori sebagai atribut yang diukur
● Prosedur validitas konstruk: multitrait-multimethod, confirmatory factor analysis hingga Structural Equation
Modelling (SEM)
 Multitrait-multimethod (Campbell & Fiske, 1959)
● Prosedur pengajuan validitas
dengan mengkorelasikan alat
ukur yang mengukur trait yang
sama namun metodenya
berbeda, serta mengkorelasikan
trait yang berbeda dengan
metode yang sama.
● Dari cara ini dapat disimpulkan
ada 2 jenis: validitas konvergen
dan validitas diskriminan
 Analisis Faktor
Analisis faktor adalah prosedur untuk mengidentifikasi aitem atau variabel berdasarkan kemiripannya.
Kemiripan tersebut ditunjukkan dengan nilai korelasi yang tinggi. Item yang memiliki korelasi yang tinggi
akan membentuk satu kerumunan faktor
 CFA Konsep Dasar (Putra, 2023)
Menguji ketepatan model (goodness of fit test) faktor
yang terbentuk dari item-item alat ukur
CFA Konsep Dasar (Putra, 2023)
CFA Konsep Dasar (Putra, 2023)
CFA atau IFA?
● Kita memilih IFA ketika kategori respon setidaknya 5
atau kurang dari itu
● IFA = CFA ketika response category 6,7 poin atau lebih
● Data dikotomus atau campuran - IFA jadi fardhu ‘ain
● Melakukan analisis menggunakan IRT, Rasch dsb
● CFA akan optimal ketika distribusi respon memiliki
skewness -1 s/d +1
Pertanyaan: Likert, ordinal or interval?
CFA atau IFA? (asumsi normalitas)
● Tidak ada skewness yang melebihi -1
sampai 1
● Cukup bukti bagi peneliti untuk
menyatakan bahwa asumsi normality tidak
terlanggar
● Temuan ini mendukung penggunaan CFA
atau mendukung peneliti untuk
menyatakan Likert sebagai kontinu
Ukuran sampel

Median sampel yang digunakan untuk

studi yang menggunakan analisis SEM
(1998 - 2006) = 389 orang
Bagaimana kalau tidak fit?
● Bagaimana ketika model tidak fit?
IFA vs CFA
Skor & Penormaan
 Skor & Penormaan
● Sebelumnya, perlu diketahui bahwa ada 2 jenis skor :
skor tidak terstandar dan skor standar
● Skor tidak standar: skor yg belum memiliki acuan
interpretasi, sehingga tidak menunjukkan apakah
seseorang termasuk kategori rendah, sedan, tinggi
 Skor & Penormaan
● Sebelumnya, perlu diketahui bahwa ada 2 jenis skor :
skor tidak terstandar dan skor standar
● Skor terstandar: skor yg sudah memiliki acuan
interpretasi, sehingga dapat menunjukkan apakah
seseorang termasuk kategori rendah, sedan, tinggi
Skor & Penormaan

● Standarisasi bisa dilakukan dengan 2 cara : menentukan titik baseline dan ceiling dan yg kedua
menentukan titik tengah
● Baseline & ceiling = dua buah skor akan setara jika titik awal dan atau akhirnya adalah sama
● Titik tengah = dua bua skor setara jika titik tengahnya sama
Skor & Penormaan
 Skor & Penormaan
● Mengapa skor tengah dipakai sebagai skor standar?
● Menunjukkan nilai rata-rata, nilai pada umumnya, moderat,
wajar, medium, nilai kebanyakan orang, sedang, normal,
transisi, poros, dsb
Skor & Penormaan
Skor & Penormaan
 Skor & Penormaan
● Skor standar dasar (Z-score)
● X = skor mentah, M = acuan, SD = standar deviasi (keragaman)
● Mengapa dibagi SD? Agar distribusi Z-score lebih menetap dan
memiliki rentang yg relatif memusat (terstandar)
● Kovarian -> korelasi
Skor & Penormaan
● Syarat skor menjadi acuan :
○ Data diperoleh melalui random sampling
○ Ukuran sampel yang besar
○ Mencakup keragaman populasi (jenis kelamin, kelas, sekolah, dsb)
○ Konstruk yang mendukung norm reference
Z-score memiliki 6 area yg dapat diinterpretasikan sebagai level
kemampuan individu
 Skor & Penormaan
● Skor standar turunan
● Transformasi skor standar melalui persamaan
linier
● Dengan transformasi linier, dapat ditentukan
berapa target reratanya dan juga berapa target
SD nya
 Skor & Penormaan

Skor terskala dalam beberapa bentuk

standarisasi
Penormaan (hipotetik)
● Berdasarkan pada skala yang
disusun
● Hasil pengkategorian sesuai dengan
skor hipotetik dari skala
● Contoh: Skala Kecakepan terdiri dari
10 item, response format 1 - 4, dan
akan dibuat norma hipotetik 3
kategori (rendah, sedang, tinggi)
Penormaan (empirik)

Berdasarkan data lapangan dan kategorisasi mengikuti kurva normal

Setidaknya ada 3 tahapan dalam penormaan tes

1. Penormaan

Estimasi mean dan SD dari sampel normatif yang diambil dari suatu populasi

2. Pembuatan tabel norma

Dari hasil tahap pertama kemudian dibuat tabel norma

3. Penerapan skor norma

Standarisasi skor melalui persamaan linier

Penormaan
Verbal Numerik Figural
Contoh kasus
42 50 22
Terdapat soal TPA dengan 3 subtes
46 47 35
Masing2 subtes terdiri dari 50 butir soal
36 20 48 Sampel normatif = 517 orang
39 21 25

37 18 39

18 41 39

16 24 33

19 17 37

15 44 48
 Penormaan

● Rata-rata atau mean = 24 dan SD = 5 (dibulatkan)

● Kemudian hasil skor mentah ini dikonversikan (semisal) dalam matriks CEEB
Penormaan

● Metrik CEEB (College Entrance Examination Board) -> digunakan untuk memudahkan penafsiran
● Skor CEEB adalah skor jenis skor yang memiliki rerata 500 dan deviasi standar 100. Artinya, orang yang
memiliki skor mendekati 500 adalah orang yang memiliki tingkat kemampuan setara dengan rata-rata
individu di dalam populasi.
● Skor yang dihasilkan oleh prosedur ini sudah berskala interval sehingga dapat dikatakan bahwa
individu yang memiliki skor 500 (dalam skala CEEB) memiliki kemampuan dua kali lipat individu yang
memiliki skor 250.
● Hal ini berbeda dengan skor total yang dapat berupa merupakan data ordinal yang hanya
menunjukkan sebuah urutan.
 Penormaan

● Jika si A nilainya 24 maka dia akan mendapat nilai 500, jika di B mendapatkan < 24 maka dapat nilai < 500 dan si C
mendapatkan nilai > 24, tentu > 500
Penormaan

Orang Normal

● Skor maksimal = M + (3 x SD) = 24 + (3 x 5) = 39 (artinya menjawab benar 39 soal dari 50 soal yang
tersedia)
● Z-score = (X - M) / SD = (39 - 24) / 5 = 3
● Standarisasi Matrix CEEB = 500 + (100 x Z-score) = 500+ (100 x 3) = 800
● Skor maksimal bila benar semua = 24 + (3 x 5) = 39 (skor 800) (artinya orang normal yg paling pintar
dalam populasi tersebut bisa menjawab 39 soal)
Penormaan
Orang Spesial

● Dalam subtes verbal terdapat 50 soal, orang normal paling pintar bisa menjawab 39 soal
● Bagaimana bila ada seseorang yg mungkin bisa lebih dari itu? 50 benar semua
● Z-score = (X - M) / SD = (50 - 24) / 5 = 5.2
● Standarisasi Matrix CEEB = 500 + (100 x Z-score) = 500+ (100 x 5.2) = 1020
 Penormaan
Orang Spesial

● Kasus seperti ini bisa saja ditemukan. Contoh

kasus nilai IQ Pak Habibie, atau Mbah Einstein
● Ketika tes IQ dengan skor standarnya (M = 100, SD
15) maks orang normal mencapai skor 145 (100 +
15 x 3)
● Namun kasus Pak Habibie dan Mbah Einstein yg
konon mencapai 200, beliau beliau ini tidak
termasuk dalam populasi orang normal, tapi
populasi orang jenius.
Statistical Practice
Asumsi-asumsi Parametrik (Khadse et al., 2020)
● Asumsi normalitas (uji normalitas e.g Shapiro-Wilk, Kolmogorov-Smirnov)
● Asumsi kesamaan varians (uji homogenitas e.g Uji F (Fisher, Uji Harley, Uji Bartlett, dsb)
Korelasi - Regresi

● Korelasi bukan berarti hubungan kausalitas

● Terdapat korelasi X dan Y sebesar sekian poin, menginformasikan bahwa kekuatan hubungan antara
keduanya
● Perlu pengujian lanjutan untuk mengetahui apakah hubungan X dan Y merupakan kausalitas
Korelasi - Regresi

● Korelasi bukan berarti hubungan kausalitas

● Terdapat korelasi X dan Y sebesar sekian poin, menginformasikan bahwa kekuatan hubungan antara
keduanya
● Perlu pengujian lanjutan untuk mengetahui apakah hubungan X dan Y merupakan kausalitas
Regresi Sederhana

Persamaan
Regresi:
y’ = b(x) + a
atau
y’ = a + b(x)
Regresi Sederhana

Persamaan
Regresi:
y’ = b(x) + a
atau
y’ = a + b(x)
Regresi Sederhana

Persamaan
Regresi:
y’ = b(x) + a
atau
y’ = a + b(x)
Regresi Sederhana

Persamaan
Regresi:
y’ = b(x) + a
atau
y’ = a + b(x)
Regresi Sederhana

Dengan persamaan
regresi tersebut kita
memperoleh y’ atau
nilai y yang
diprediksi.
Namun berapakah
nilai y yang
sebenarnya?
Regresi Sederhana
Untuk mengetahui skor asli maka
dibutuhkan skor yang diprediksi
ditambah dengan error
Jadi error (e) adalah perbedaan
antara skor asli dengan skor yang
diprediksi.
Dengan itu maka perlu diketahui 3
komponen utama:
Y = Mean + Slope (effect) + error
Seberapa akurat model regresi kita?
Pertanyaan berkaitan dengan pertanyaan sejauh mana
akurasi garis regresi dalam menjelaskan data penelitian.
Dalam memahami ini perlu mengetahui beberapa istilah di
bawah ini:
- Total sum of squares (SST)
- Residual sum of squares (SSR)
- Model sum of squares (SSM)
Total Sum of Squares

Jumlah penyimpangan
dari mean yang
dikuadratkan.
Mengacu pada sejauh
mana mean merupakan
model yang bagus untuk
menjelaskan atau
memprediksi data.
Total Sum of Squares

Nilai ini mengacu pada

penyimpangan antara
garis regresi dengan data.
Menjelaskan
ketidaktepatan garis
regresi dalam
menjelaskan data.
Residual Sum of Squares

Nilai ini mengacu pada

penyimpangan antara
garis regresi dengan data.
Menjelaskan
ketidaktepatan garis
regresi dalam
menjelaskan data.
Residual Sum of Squares

Hal ini menunjukkan

peningkatan ketepatan garis
regresi dalam menjelaskan
data dibandingkan dengan
mean.
Dihitung dengan
mengurangi SST dengan
SSR.
Seberapa akurat model regresi kita?
● Untuk menilai ketepatan model (garis regresi kita) dapat
kita ketahui dengan R².
● R² merupakan jumlah varians (keberagaman) dari
outcome yang dijelaskan oleh garis regresi (SSm).
● R² ini diekspresikan dalam persentase.
● Seberapa besar persentase model dapat menjelaskan
data.
● R² = SSm / SSt
● Selain itu dapat menggunakan F test.
Seberapa akurat model regresi kita?
● F-test menjadi ukuran untuk melihat setepat apa model
regresi yang digunakan untuk memprediksi data.
● Model yang bagus memiliki F yang besar (lebih dari 1).
● Untuk mendapatkan nilai F dibutuhkan rata-rata dari sum
of squares yang dicari dengan membagi SSm dan SSr
dengan derajat kebebasan
Seberapa akurat model regresi kita?
● F-test menjadi ukuran untuk melihat setepat apa model
regresi yang digunakan untuk memprediksi data.
● Model yang bagus memiliki F yang besar (lebih dari 1).
● Untuk mendapatkan nilai F dibutuhkan rata-rata dari sum
of squares yang dicari dengan membagi SSm dan SSr
dengan derajat kebebasan
Output
Seberapa akurat model regresi kita?
Seberapa akurat model regresi kita?
Seberapa akurat model regresi kita?
Mediasi
Asumsi-asumsi

● Mediasi menguji hubungan satu arah

● X menyebabkan M
● M menyebabkan Y
● Asumsi dalam model mediasi searah
sehingga tidak menguji pengaruh M ke X
atau Y ke X
● Dalam model ini yang diuji adalah X
mempengaruhi M yang kemudian
mempengaruhi Y
Mediasi (kompleks)
Asumsi-asumsi

● Mediasi menguji hubungan satu arah

● X menyebabkan M
● M menyebabkan Y
● Asumsi dalam model mediasi searah
sehingga tidak menguji pengaruh M ke X
atau Y ke X
● Dalam model ini yang diuji adalah X
mempengaruhi M yang kemudian
mempengaruhi Y
 Mediasi (Baron & Kenny, 1986)

Sebuah variabel merupakan mediator jika

memenuhi beberapa syarat berikut

● Perubahan pada variabel independen secara

signifikan mempengaruhi variasi pada
mediator (jalur a)
● Perubahan pada mediator secara signifikan
mempengaruhi variabel dependen (jalur c)
● Dengan mengendalikan pengaruh jalur a dan
b, pengaruh antara variabel independen dan
dependen tidak lagi signifikan
● “Perfect mediation holds if the independent
variable has no effect when the mediator is
controlled” (Baron & Kenny, 1986)
● Dengan kata lain c’ tidak lagi signifikan ketika
mengontrol pengaruh mediator (b)
 Mediasi (Baron & Kenny, 1986)

Sebuah variabel merupakan mediator jika

memenuhi beberapa syarat berikut

● Perubahan pada variabel independen secara

signifikan mempengaruhi variasi pada
mediator (jalur a)
● Perubahan pada mediator secara signifikan
mempengaruhi variabel dependen (jalur c)
● Dengan mengendalikan pengaruh jalur a dan
b, pengaruh antara variabel independen dan
dependen tidak lagi signifikan
● “Perfect mediation holds if the independent
variable has no effect when the mediator is
controlled” (Baron & Kenny, 1986)
● Dengan kata lain c’ tidak lagi signifikan ketika
mengontrol pengaruh mediator (b)
 Moderasi (Baron & Kenny, 1986)
● Moderator merupakan variable baik yang
kuantitatif (misal penghasilan, usia) ataupun
yang kualitatif (misal jenis kelamin, ras, kelas
social) yang mempengaruhi arah dan atau
besarnya pengaruh variabel independen
terhadap variabel dependen (Baron & Kenny,
1986)
● Moderasi terjadi ketika besar, arah, kuatnya
pengaruh dari X ke Y tergantung oleh variable
ke 3 yang dinamakan moderator (Hayes, 2013)
● Dalam konteks ANOVA digunakan istilah
interaksi
 Moderasi (Baron & Kenny, 1986)
● Beberapa scenario moderasi (Baron & Kenny,
1986)
● Variable independen merupakan variable
dikotomi, moderator juga variable dikotomi.
● Variabel independent merupakan variable
kontinyu, dan moderator merupakan variable
dikotomi
● Moderator variable kontinyu dan variable
independen merupakandikotomi
● Moderator dan variable independent
merupakan variable kontinyu
 Moderasi - contoh kasus
● Argumen (X) akan mempengaruhi perubahan sikap (Y), hanya pada
● subjek yang memandang topiknya relevan dengan dirinya (M)
● Norma kelompok medukung olahraga (X) berhubungan dengan niat melakukan olahraga (Y), hanya
pada subjek yang memiliki identifikasi kuat kepada kelompok (M)
● Pengaruh emosi negative terhadap govaction dimoderasi oleh usia, dengan pengaruh yang lebih besar
pada kelompok usia yang lebih tinggi (H1).Pengaruh emosi negative terhadap govaction tidak
signifikan pada kelompok usia yang lebih rendah (H2)
Matur Suwun