• Dalam tahap penulisan, usaha untuk menjaga kualitas aitem dilakukan dengan mengikuti secara cermat indikator keprilakuan yg dimuat dalam blue print skala dan spesifikasinya. • Setelah masing2 aitem benar2 dicermati, maka pada tahap berikutnya perlu dilakukan pra uji- coba dgn sampel berukuran kecil (N = ±20) • Dilakukan untuk memeriksa apakah kalimat yang digunakan sdh dimengerti oleh pembaca dan dipahami sebagaimana yg dikehendaki oleh penulisnya. • Evluasi kualitatif bertujuan untuk: o Menguji apakah aitem yang ditulis sudah sesuai dengan blue print dan indikator perilaku yg hendak diungkap o Menguji apakah aitem telah ditulis sesuai dengan kaidah penulisan aitem yang benar o Melihat apakah aitem yg ditulis masih mengandung social desirability • Evaluasi kualitatif ini dikerjakan oleh suatu panel ahli, terdiri dari ahli pengukuran (psikometri) dan ahli dalam masalah atribut yg hendak diukur oleh skala yg sedang disusun. • Hasil analisis kualitatif ini akan mengklasifikasikan masing2 aitem menjadi: (a) diterima; (b) diterima dengan perbaikan; atau (c) ditolak. • Hasil evaluasi dari expert judgement tsb akan menjadi dasar yg kuat untuk menegakkan validitas isi khususnya validitas logis (logic validity). • Setelah melakukan evaluasi kualitatif, aitem2 yang berkualitas tsb akan diujicobakan secara empirik (field test) pada kelompok subjek yang sebenarnya. • Jumlah aitem untuk field test harus lebih banyak drpd aitem yang direncanakan. • Evaluasi empirik dilakukan menggunakan data hasil uji-coba aitem pada kelompok subjek yang karakteristiknya setara dengan subjek yang hendak dikenai skala. • Pada tahap ini akan dilakukan analisis daya diskriminasi aitem. • Field test harus dilakukan dalam situasi dan kondisi administrasi testing yg sebenarnya (real testing situation) shg respon atau jawaban subjek merupakan respon yg sesungguhnya pula. • Field test harus dilakukan pada kelompok subjek dalam jumlah yg besar untuk memperoleh estimasi parameter aitem yang akurat dan stabil. • Secara tradisional, statistik menganggap jumlah sampel yg lebih dari 60 orang sudah cukup banyak. • Namun secara metodologik besar kecilnya sampel yg representatif harus diuraikan pada heterogenitas populasi. • Heterogenitas populasi erat kaitannya dengan banyaknya ciri atau karakteristik populasi yang relevan untuk ikut dipertimbangkan. • Crocker dan Algina (1986) menyarankan jumlah 200 orang sbg jumlah sampel yg sudah cukup memadai. • Selain itu, dapat pula menggunakan pedoman kasar, yaitu banyaknya sampel adalah 5 sampai 10 kali lipat banyaknya aitem yg hendak dianalisa. • Daya diskriminasi aitem adalah sejauhmana aitem mampu membedakan antara individu atau kelompok individu yang memiliki dan yang tidak memiliki atribut yang diukur. • Misal pada suatu skala yg disusun untuk mengungkap kecerdasan emosi, maka aitem yg berdaya beda tinggi adalah aitem yg mampu menunjukkan mana individu atau kelompok individu yg memiliki kecerdasan emosi tinggi dan mana yg tidak. • Indeks daya diskriminasi aitem merupakan juga indikator keselarasan atau konsistensi antara fungsi aitem dengan fungsi skala keseluruhan yg dikenal dgn istilah konsistensi aitem total. • Pengujian daya diskriminasi aitem dilakukan dgn menghitung koefisien korelasi antara distribusi skor aitem dengan distrribusi skor skala itu sendiri. • Komputasi ini akan menghasilkan koefisien korelasi aitem total. • Berikut adalah contoh skor aitem dari skala yang terdiri dari 12 aitem dengan 10 responden • Pindahkan semua aitem dan total skor aitem ke sebelah kanan, lalu klik OK No aitem r-ix No aitem r-ix 1 0.476 7 0.434 2 0.747 8 0.184 3 0.824 9 0.441 4 0.469 10 0.516 5 0.447 11 0.528 6 0.236 12 0.591 • Jumlah aitem yg sedikit dikhawatirkan dpt mengakibatkan overestimasi thdp korelasi yg sebenarnya. Overestimasi tsb terjadi dikarenakan besarnya kontribusi aitem dalam ikut menentukannya skor tes. • Efek spurious overlap adalah keadaan dimana koefisien korelasi aitem cenderung lebih tinggi daripada kalau korelasi itu dihitung antara skor aitem dengan skor tes yang tidak mengandung aitem tsb • Untuk menghilangkan efek spurious overlap maka koef korelasi aitem total yang dihitung dengan korelasi product moment pearson dikoreksi dengan nilai simpangan baku corrected item total correlation coefficient. • Analyze Scale Reliability Analysis • Masukkan Total Skor Aitem ke sebelah Kanan • Pilih Statistics • Ceklis pada kotak Scale if Item Deleted • Continue OK • Hasilnya adalah sebagai berikut No aitem r-ix r-ix No aitem r-ix r-ix Sebelum Setelah Sebelum Setelah Dikoreksi Dikoreksi dikoreksi Dikoreksi 1 0.476 0.339 7 0.434 0.269
2 0.747 0.670 8 0.184 0.048
3 0.824 0.713 9 0.441 0.330
4 0.469 0.304 10 0.516 0.355
5 0.447 0.343 11 0.528 0.389
6 0.236 0.086 12 0.591 0.488
• Semakin baik daya diskriminasi aitem, maka koefisien korelasinya semakin mendekati angka 1.00 • Digunakan batasan r-ix ≥0.30 • Apabila aitem yg memilikki daya beda ≥0.30 jumlahnya melebihi aitem yg sebelumnya direncanakan, maka dapat dipilih aitem yg memiliki daya beda tertinggi • Sebaliknya apabila aitem yg memiliki daya beda ≥0.30 kurang dari yang direncanakan maka parameter daya beda dapat diturunkan misalnya ≥0.25. • Namun, jika tidak membantu juga, maka aitem harus direvisi atau diganti sama sekali, karena sangat tidak disarankan untuk menurunkan batas daya beda di bawah 0.20.