Coding, Validitas dan Reliabilitas

Observasi serta Prosedur Mengurangi

Eror dalam Observasi
Debora Patricia Pasaribu (181301097)
Putri Lestari Simanjuntak (181301221)
Poppy Awidra Sandi (181301225)
Moammar Khadafi Lubis (181301229)
Frido Prabuisna (181301245)
 OBSERVATIONAL CODING SYSTEMS

Sebelum kita menggunakan sistem pengkodean, kita harus hati-hati

mengevaluasi bidang-bidang berikut:
a. Alasannya.
b. Pengaturan di mana itu berlaku.
c. Definisi dari kategori pengkodean.
d. Deskripsi tentang bagaimana sampel diambil.
e. Aturan yang mengatur perilaku pengamat, seperti hierarki kode.
f. Reliabilitas, termasuk jenis reliabilitas, reliabilitas keseluruhan, dan
reliabilitas setiap kategori pengkodean.
g. Validitas.
h. Fitur positif dan negatif (termasuk area masalah potensial pada sistem
pengkodean)
 How to Design an Observational Coding
System

Dalam memilih atau mendesain suatu sistem pengkodean

observasional, pertimbangkan hal berikut:
• Pertanyaan apa yang ingin kita jawab dengan asesmen
observasional tersebut.
• Apakah kita tertarik untuk menyelidiki area global perilaku
atau hanya satu atau beberapa perilaku tertentu?
• Berapa banyak perilaku yang ingin kita amati?
• Apakah perilaku yang ingin kita amati didiskriminasi?
 RECORDING METHOD AND CODING
SYSTEM COMBINED

1. Narrative Recording
= Perilaku dijelaskan secara komprehensif.
2. Interval Recording
= Periode pengamatan dibagi menjadi segmen interval singkat. Pengamat
mencatat apakah suatu perilaku terjadi di setiap interval.
3. Event Recording
= Setiap kejadian perilaku tertentu diamati dan direkam.
4. Rating Recording
= Perilaku diamati dan kemudian dinilai pada berbagai skala.
 GUIDELINES FOR DESIGNING an
OBSERVATIONAL ASSESSMENT

Berikut ini pedoman yang dapat membantu kita dalam merancang penilaian
observasi perilaku:

• Desain atau pilih sistem pengkodean yang mewakili perilaku partisipan.

• Pilih metode perekaman yang paling sesuai dengan coding system.
• Jangan membebani sistem pengkodean dengan terlalu banyak kategori.
• Gunakan kategori yang mudah dibedakan.
• Pilih panjang interval yang sesuai. Gunakan panjang interval yang mungkin
untuk mengungkapkan durasi pengamatan perilaku.
• Pilih jangka waktu yang sesuai untuk observasi. Gunakan periode durasi
yang cukup untuk mengungkapkan fitur yang paling menonjol dari
perilaku yang diamati tanpa membebani kemampuan kita untuk merekam
secara akurat.
• Pilih waktu dan tempat pengamatan yang tepat. Jadwalkan periode
pengamatan sehingga bertepatan dengan waktu di mana perilaku target
paling mungkin terjadi.
• Desain atau pilih lembar rekaman yang sesuai. Beri label dengan jelas
pada kategori yang sudah dipra-kodekan dan berikan ruang yang jelas
untuk entri.
• Merancang strategi penilaian akhir yang mungkin mendeteksi target
perilaku yang diinginkan, sesuai tipe dan durasinya. Untuk memastikan
bahwa kita memenuhi tujuan ini, lakukan pengamatan umum yang luas
sebelum merumuskan strategi pengamatan spesifik.
Reliability of behavior observations : General
considerations

Sources of Unreliability

Observer drift

Observer bias

Difficulties in
coding behavior
Timing of
behavior
 PROCEDURES FOR ASSESSING
RELIABILITY

Tiga prosedur yang berguna untuk memperkirakan keandalan kode pengamatan adalah
keandalan atau kesepakatan antar pengamat, keandalan uji-ulang, dan keandalan
konsistensi internal.

Interobserver Reliability or Product-moment correlation

Interobserver Agreement coefficient
Intraclass correlation
coefficient

K A P PA

Percentage
agreement
1. Kesepakatan tentang pengamatan total
Metode untuk memperoleh perjanjian persentase ini memperhitungkan jumlah
total interval dan kejadian atau tidak terulangnya perilaku dalam setiap interval.

2. Kesepakatan tentang pengamatan kejadian

Metode untuk mendapatkan persetujuan persentase ini hanya memperhitungkan
interval-interval di mana setidaknya satu dari dua pengamat mencatat terjadinya
suatu perilaku.

3. Kesepakatan tentang observasi tanpa kejadian

Metode memperoleh persentase persetujuan ini hanya mempertimbangkan
interval di mana salah satu atau kedua pengamat mencatat tidak terulangnya
suatu perilaku
 Comment on interval recording percentage agreement estimates
Ketika pengamat skor proporsi yang sangat kecil dari interval untuk
terjadinya suatu perilaku, metode yang paling tepat mungkin yang
kedua, yang hanya memperhitungkan interval di mana terjadinya
perilaku diberi skor.

Event recording percentage agreement estimate

Dalam rekam acara perjanjian persentase antar pengguna dapat
diperkirakan dengan membagi jumlah kemunculan. Peristiwa
yang dilaporkan oleh pengamat yang mencatat frekuensi
terendah dengan jumlah kejadian yang dilaporkan oleh pengamat
lain.
 Duration Recording Percentage
Agreement Estimates

  𝒕𝒍
% 𝑨 𝑫𝑹 = 𝒙𝟏𝟎𝟎
𝒕𝒉
  = durasi rekaman percentage
Rumus percentage agreement
agreement dalam durasi = waktu yang terekam oleh
perekaman: pengamat dengan durasi waktu yang
lebih rendah
= waktu yang terekam oleh
pengamat dengan durasi waktu yang
lebih tinggi
 EMOTIONAL
Contoh Soal INTELLIGENCE

•   pengamat merekam peristiwa target dari seorang anak yang

Dua
menatap ke luar jendela. Seorang pengamat mencatat sebuah
episode tersebut pada 360 detik, dan yang lain, selama 365 detik.
Terjemahan ke dalam rumus adalah sebagai berikut:

Dengan demikian ada sebanyak 98% kesepakatan (agreement)

antara dua pengamat dalam merekam durasi perilaku anak
menatap keluar jendela.
 Ratings Recording Percentage Agreement Estimates

 
= peringkat yang merekam/mencatat
percentage agreement untuk total skala
= jumlah skala dimana kedua pengamat
Rumus percentage
menyetujui peringkat
agreement untuk Ratings = jumlah skala dimana pengamat
recording tidak setuju pada peringkat
 
 EMOTIONAL
Contoh Soal INTELLIGENCE

•  
Setelah periode pengamatan 30 menit, dua pengamat
menyelesaikan sepuluh skala penilaian 5 poin. Mereka
menyetujui peringkat untuk 8 dari 10 skala. Terjemahan ke dalam
rumus sebagai berikut:

Dengan demikian ada tingkat kesepakatan 80% antara kedua

pengamat dalam membuat peringkat mereka.
 Test-Retest Reliability

Ukuran reliabilitas yang diperoleh sekelompok

individu dengan pemberian dua kali tes yang sama
selama periode waktu tertentu.

Stabilitas atau kekonsistenan hasil pengukuran

dapat dinilai dengan mengkorelasikan hasil
pengukuran
pertama dengan hasil pengukuran kedua.
Consistency Internal

Reliabilitas konsistensi internal

memberi tahu kita seberapa
konsisten instrumen penilaian dalam
mengukur karakteristik yang sama.
 Validitas Pengamatan Perilaku

Validitas penilaian observasional ditentukan

dengan mempelajari kebermaknaan dan
relevansi langkah-langkah perilaku. Validitas
mengacu pada sejauh mana prosedur
mengukur apa yang seharusnya diukur.

Respresentativeness&
Generalizability of Reactivity
Findings
Prosedur Untuk Mengurangi Error
dalam Observasi

Mengurangi Kesalahan
dalam Reliabilitas

Membandingkan Hasil
Pengamatan dengan
Kriteria 

Reducing Reactivity 
Establishing Informal Norms

Dalam grup, kita akan mengamati perilaku

anak yang menjadi subjek pengamatan
(referred child) serta anak lainnya yang
berada dalam grup tersebut (peers).
Perilaku peers digunakan sebagai norma
untuk dibandingkan dengan referred child.
 Developing Sensitivity to Teacher‘s Needs
and Behaviors

Problem 1 Problem 2 Problem 3

Observasi dilakukan Kita tidak bisa Referred child

saat anak tidak mendapatkan gagal dalam
menunjukkan sampel berperilaku baik
masalah perilaku perilaku yang saat kita
seperti yang valid karena guru melakukan
biasanya ia memiliki masalah observasi di kelas
lakukan. pada jadwal
kerjanya
 Developing Sensitivity to Teacher‘s Needs
and Behaviors

Problem 4 Problem 5 Problem 6 Problem 7

Anak yang menjadi Perilaku Anak yang dirujuk

target pembanding bermasalah yang berdasarkan alasan
juga memiliki Norma di dalam
seharusnya yang
masalah perilaku grup tidak pantas
diamati tidak lain dan guru
atau tidak pernah atau
dideskripsikan memiliki agenda
menunjukkan tidak baik
dengan baik tersembunyi tentang
masalah perilaku hal tersebut
saat diamati
General Guidelines for Obtaining Reliable and
Valid Observations

• Observasi yang kita lakukan akan dipengaruhi

oleh perilaku anak, alasan referral, kriteria
penilaian, seberapa familiar kita dengan
observation coding system, durasi observasi,
pengalaman menghadapi anak berkebutuhan
khusus, dan faktor lainnya.
• Kita dapat memeroleh data yang valid dan
reliabel apabila memahami faktor-faktor
tersebut.
CAUTIONS ON THE USE
OF OBSERVATIONS
Ethical Considerations in Observing Behavior

Saat melakukan observasi, ada

kemungkinan bahwa perilaku subjek yang
diamati akan berubah.

Untuk mengatasi hal ini, kita perlu

z
mengetahui dan sadar akan konsekuensi
kehadiran kita di lingkungan observasi
tersebut serta memahami cara untuk
menghindari kondisi tersebut.
REPORTING BEHAVIORAL OBSERVATIONS

1. Personal data 10. Norms

2. Setting data 11. Antecedents of problem
behaviour
3. Reliability
12. Consequences
4. Validity 13. Peer group acceptance
5. Intensity 14. Adult acceptance
6. Severity 15. Additional problem
7. Duration behaviour
8. Frequency 16. Positive behaviour
17. Observation difficulties
9. Generality
18. Implications of findings
THANK
YOU