KELOMPOK 3

Nama: 1. Puja Ritonga (16 506 001)

2. Justitia Bulotio (16 506 012)

3. Olivia Lintjewas (16 506 031)

PUJA:

Chapter 3 Bab 3
Scale That Measures Learning over Time Skala Yang Mengukur Belajar dari Waktu ke
Waktu

One of the four generalizations from the Salah satu dari empat generalisasi dari
research literature presented in Chapter literatur penelitian yang disajikan dalam Bab
1 was that classroom assessments should 1 adalah bahwa penilaian kelas harus bersifat
be formative in nature, and by defini- tion formatif, dan dengan definisi penilaian
formative assessments measure growth in formatif mengukur pertumbuhan dalam
learning. How, then, does a teacher assess pembelajaran. Jadi, bagaimana seorang guru
in a way that measures growth in learning? menilai dengan cara yang mengukur
This chapter examines that issue. We begin pertumbuhan dalam pembelajaran? Bab ini
by taking a critical look at the point system, membahas masalah itu. Kami mulai dengan
which is the assess- ment system that many melihat secara kritis sistem poin, yang
teachers use. merupakan sistem penilaian yang digunakan
banyak guru.

Why the Point System Falls Short Mengapa Sistem Point Jatuh Pendek

At first, asking “How does a teacher Pada awalnya, bertanya "Bagaimana cara
assess in a way that measures growth in seorang guru menilai dengan cara yang
learning?” might seem like a non sequitur. mengukur pertumbuhan dalam
One might assume that all a teacher needs pembelajaran?" Mungkin tampak seperti
to do is administer a series of assessments tidak berurutan. Orang mungkin berasumsi
for a given measurement topic over a bahwa yang perlu dilakukan oleh seorang
grading period and examine the pattern of guru adalah memberikan serangkaian
scores over time. For example, if a teacher
wished to track student growth in learning
for a specific science mea- surement topic
over a quarter, she would construct a
number of assessments that address the
topic. In all, she might administer four
tests of the topic—a pretest at the
beginning of the quarter, two tests at the
end of the third week and the sixth week,
respectively, and an end-of-quarter post-
test. If the teacher scored all the tests using
a 100-point, or percentage, scale, tracking
student learning would be a simple matter
of examining the upward progression of
scores for each stu- dent across the four
assessments. A pattern of scores like the
following would indicate that a student
had learned quite a bit: 56, 60, 75, and
86. However, a pattern of scores like the
following would indicate that the student
did not learn a great deal: 65, 68, 70, and
71.
penilaian untuk topik pengukuran yang
diberikan selama periode penilaian dan
memeriksa pola skor dari waktu ke waktu.
Misalnya, jika seorang guru ingin melacak
pertumbuhan siswa dalam pembelajaran
untuk topik pengukuran sains tertentu lebih
dari seperempat, ia akan membangun
sejumlah penilaian yang membahas topik
tersebut. Secara keseluruhan, ia mungkin
melakukan empat tes topik — pretest pada
awal kuartal, dua tes pada akhir minggu
ketiga dan minggu keenam, masing-masing,
dan post-test akhir kuartal. Jika guru
mencetak semua tes menggunakan 100 poin,
atau persentase, skala, pelacakan
pembelajaran siswa akan menjadi masalah
sederhana untuk memeriksa perkembangan
skor ke atas untuk setiap siswa di empat
penilaian. Pola skor seperti berikut akan
menunjukkan bahwa seorang siswa telah
belajar cukup banyak: 56, 60, 75, dan 86.
Namun, pola skor seperti berikut akan
menunjukkan bahwa siswa tidak belajar
banyak: 65, 68, 70, dan 71.

As intuitively appealing as this system Secara intuitif menarik seperti sistem ini
might appear, it has one major flaw— the mungkin muncul, ia memiliki satu
scores on the various tests are typically not kelemahan utama - skor pada berbagai tes
comparable in terms of students’ biasanya tidak sebanding dalam hal
understanding and skill regarding a pemahaman dan keterampilan siswa
specific measurement topic. That is, just mengenai topik pengukuran tertentu.
because a student receives a score of 56 on Artinya, hanya karena seorang siswa
the first test and 60 on the second test menerima skor 56 pada tes pertama dan 60
doesn’t necessarily mean she has increased pada tes kedua tidak selalu berarti ia telah
her understanding and skill by 4 per-
centage points. In fact, research indicates
that the score a student receives on a test
is more dependent on who scores the test
and how they score it than it is on what
the student knows and understands. To
illustrate, consider a study that examined
an 8th grade science test (see Marzano,
2002a) with six constructed- response
items—items that required students to
explain their answers as opposed to
selecting among multiple-choice items.
Ten students took the test, and their
responses were scored independently by
five teachers, all of whom were
experienced 8th grade science teachers
familiar with the content on the test.
However, before scoring the 10 students’
responses, each teacher carefully read the
test items and assigned points to the items
based on the perceived importance of the
content addressed in each item. This, of
course, is a common practice
recommended in many texts on classroom
assess- ment (see Airasian, 1994;
Brookhart, 2004; McMillan, 2000).
meningkatkan pemahaman dan
keterampilannya dengan 4 poin persentase.
Faktanya, penelitian menunjukkan bahwa
skor yang diterima seorang siswa pada suatu
ujian lebih tergantung pada siapa yang
memberi skor pada tes itu dan bagaimana
skor mereka daripada pada apa yang
diketahui dan dipahami oleh siswa. Untuk
mengilustrasikan, pertimbangkan sebuah
penelitian yang menguji tes sains kelas 8
(lihat Marzano, 2002a) dengan enam item
respons terstruktur — item yang
mengharuskan siswa untuk menjelaskan
jawaban mereka sebagai lawan memilih di
antara item pilihan ganda.
Sepuluh siswa mengikuti tes, dan tanggapan
mereka dinilai secara independen oleh lima
guru, yang semuanya adalah guru sains kelas
8 yang akrab dengan konten pada tes.
Namun, sebelum mencetak 10 tanggapan
siswa, masing-masing guru dengan hati-hati
membaca item tes dan menunjuk poin ke
item berdasarkan pentingnya persepsi konten
yang ditujukan pada setiap item. Ini, tentu
saja, adalah praktik umum yang
direkomendasikan dalam banyak teks
tentang penilaian kelas (lihat Airasian, 1994;
Brookhart, 2004; McMillan, 2000).
 Although this practice seems perfectly
reasonable, it creates havoc in terms of
interpreting and comparing students’
scores simply because different teachers
will assign different weights to items. To
illustrate, consider Figure 3.1, which
shows the points assigned by each teacher
to each item. Immediately below each
point designation is the percentage of the
total represented by the points. For
example, Teacher 1 assigned a total of 50
points across the six items, with 10 points
going to items 1 and 3; 15 points to item
2; and 5 points each to items 4,
5, and 6. The items assigned 10 points
each account for 20 percent of the total
score, the item assigned 15 points
accounts for 30 percent of the total score,
and the items worth 5 points each account
for 10 percent of the total.
The item weights assigned by the
teachers show a definite pattern. All teach-
ers assigned items 1, 2, and 3 more points
than items 4, 5, and 6. However, the
teachers were not consistent in the number
of points they assigned. The most dis-
crepant pattern of weighting was that of
Teacher 3, who assigned 45 points to the
first item and 15 points to items 2 and 3.
As computed by Teacher 3, then, the
relative contribution of these three items to
the total score a student might receive was
Meskipun praktik ini tampaknya sangat
masuk akal, ini menciptakan kekacauan
dalam hal menafsirkan dan membandingkan
nilai siswa hanya karena guru yang berbeda
akan menetapkan bobot yang berbeda untuk
item. Untuk mengilustrasikan, perhatikan
Gambar 3.1, yang menunjukkan poin yang
diberikan oleh masing-masing guru untuk
setiap item. Tepat di bawah setiap
penunjukan poin adalah persentase dari total
yang diwakili oleh poin. Sebagai contoh,
Guru 1 menetapkan total 50 poin di enam
item, dengan 10 poin pergi ke item 1 dan 3;
15 poin ke item 2; dan 5 poin masing-masing
ke item 4,5, dan 6. Item-item tersebut
menetapkan 10 poin setiap akun untuk 20
persen dari total skor, item yang ditugaskan
15 poin menyumbang 30 persen dari total
skor, dan item-item bernilai 5 poin masing-
masing akun untuk 10 persen dari total.
Bobot item yang ditugaskan oleh guru
menunjukkan pola yang pasti. Semua guru
menugaskan item 1, 2, dan 3 poin lebih
banyak dari item 4, 5, dan 6. Namun, para
guru tidak konsisten dalam jumlah poin yang
mereka tetapkan. Pola pembobotan yang
paling mengecewakan adalah bahwa Guru 3,
yang menugaskan 45 poin ke item pertama
dan 15 poin ke item 2 dan 3. Seperti yang
dihitung oleh Guru 3, maka, kontribusi relatif
dari ketiga item ini terhadap skor total
seorang siswa mungkin menerima masing-
50 percent, 16.7 percent, and 16.7 percent,
respectively. In contrast, the rel- ative
contribution of the first three items for
Teacher 1 was 20 percent, 30 per- cent,
and 20 percent.
The differences in the points or weights
assigned to the items explain in part the
wide variation in the students’ final test
scores. To illustrate, consider Figure 3.2 (p.
32), which reports each student’s total
score as computed by each teacher. When
examining the figure, it is important to note
that the total score for each stu- dent has
been translated to a percentage, or 100-
point, scale. To dramatize the dif- ferences
in final scores for individual students from
masing 50 persen, 16,7 persen, dan 16,7
persen. Sebaliknya, kontribusi relatif dari
tiga item pertama untuk Guru 1 adalah 20
persen, 30 persen, dan 20 persen.
Perbedaan dalam poin atau bobot yang
ditugaskan untuk item menjelaskan sebagian
variasi luas dalam nilai tes akhir siswa.
Untuk mengilustrasikan, pertimbangkan
Gambar 3.2 (hal. 32), yang melaporkan skor
total setiap siswa sebagaimana dihitung oleh
masing-masing guru. Saat memeriksa
gambar, penting untuk dicatat bahwa skor
total untuk setiap siswa telah diterjemahkan
ke skala persentase, atau 100 poin. Untuk
mendramatisasi perbedaan dalam skor akhir
untuk masing-masing siswa dari guru ke
 teacher to teacher, consider the total score
for Student 2 as computed by Teacher 2
(91) versus Teacher 3 (50). This 41-point
differential is the largest between teachers
in the study, and it makes sense given the
difference in their weighting schemes.
Reexamining Figure 3.1, we see that
Student 2 received a final percentage score
of 91 from Teacher 2 because the student
obtained the following points on the six
items for a total of 82 points:
• 20 of 25 points for item 1
• 25 of 25 points for items 2 and 3
• 4 of 5 points for items 4, 5, and 6
Getting 82 out of 90 points translates to a
percentage score of 91.
Student 2 received a final percentage
score of 50 percent from Teacher 3 based
on the following point assignments:
guru, pertimbangkan skor total untuk Siswa
2 yang dihitung oleh Guru 2 (91) versus Guru
3 (50). Ini perbedaan 41 poin adalah yang
terbesar antara guru dalam penelitian ini, dan
masuk akal mengingat perbedaan dalam
skema pembobotan mereka. Mengkaji ulang
Gambar 3.1, kita melihat bahwa Siswa 2
menerima skor persentase akhir dari Guru 2
karena siswa memperoleh poin berikut pada
enam item dengan total 82 poin:
• 20 dari 25 poin untuk item 1
• 25 dari 25 poin untuk item 2 dan 3
• 4 dari 5 poin untuk item 4, 5, dan 6
Mendapatkan 82 dari 90 poin berarti
persentase skor 91.
Siswa 2 menerima skor persentase akhir 50
persen dari Guru 3 berdasarkan tugas poin
berikut:
 • 20 of 45 points for item 1
• 10 of 15 points for items 2 and 3
• 2 of 5 points for items 4 and 5
• 1 of 5 points for item 6
Getting 45 out of 90 points translates to a
percentage score of 50.
This illustration also demonstrates
another source of variation in teacher judg-
ments inherent in the point system—
differences in teachers’ perceptions of the
extent to which students’ responses meet
the ideal response. That is, when scoring a
student’s response for a given item, the
teacher has in mind the type of response
that would indicate total understanding or
• 20 dari 45 poin untuk item 1
• 10 dari 15 poin untuk item 2 dan 3
• 2 dari 5 poin untuk item 4 dan 5
• 1 dari 5 poin untuk item 6
Memperoleh 45 dari 90 poin berarti
persentase skor 50.
Ilustrasi ini juga menunjukkan sumber
variasi lain dalam penilaian guru yang
melekat dalam sistem poin — perbedaan
dalam persepsi guru tentang sejauh mana
respons siswa memenuhi respons ideal.
Yaitu, saat menilai respons siswa untuk item
yang diberikan, guru mempertimbangkan
jenis respons yang akan menunjukkan
pemahaman total atau demonstrasi
demonstration of a skill. If the student’s
response to an item matches this ideal, the
student is assigned complete credit— the
maximum number of points—for the item.
If the student’s response does not match
the ideal, then the teacher develops some
tacit system for assigning partial credit. A
response that is three-fourths of the ideal
receives 75 percent of the points for the
item, a response that is half the ideal
receives 50 percent of the points, and so on.
As explained by Jeffrey Smith, Lisa Smith,
and Richard DeLisi (2001), a teacher
might typically “start with full credit for
the correct answer, then deduct points as
students move away from that correct
answer” (p. 52).
keterampilan. Jika respons siswa terhadap
suatu item cocok dengan ideal ini, siswa
tersebut diberikan kredit lengkap — jumlah
poin maksimum — untuk item tersebut. Jika
respons siswa tidak sesuai dengan yang ideal,
maka guru mengembangkan beberapa sistem
diam-diam untuk menetapkan kredit parsial.
Respons yang tiga perempat dari ideal
menerima 75 persen poin untuk item, respons
yang setengah ideal menerima 50 persen
poin, dan seterusnya. Seperti yang dijelaskan
oleh Jeffrey Smith, Lisa Smith, dan Richard
DeLisi (2001), seorang guru biasanya “mulai
dengan pujian penuh untuk jawaban yang
benar, kemudian mengurangi poin ketika
siswa menjauh dari jawaban yang benar itu”
(hlm. 52).
 When scoring the science test used in
this study, teachers disagreed on the extent
to which students’ responses to items met
the ideal. To illustrate, let’s look more
closely at the specifics of how Teacher 2
and Teacher 3 scored each item for Student
2 (see Figure 3.3). Teacher 2 assigned
Student 2 the following percentages of total
possible credit for the six items: 80 percent
of total credit for item 1; 100 percent of
total credit for items 2 and 3; and 80
percent for items 4, 5, and 6. The student
thus received 20 of 25 points for item 1;
25 of 25 points for items 2 and
3; and 4 of 5 points each for items 4, 5, and
6. The student’s total points were 82 of 90,
or 91 percent. In contrast, Teacher 3
assigned Student 2 the following per-
centages of total credit for the six items: 44
percent of total credit for item 1; 67
percent for items 2 and 3; 40 percent for
items 4 and 5; and 20 percent for item 6.
The student thus received 20 of 45 points
for item 1; 10 of 15 points for items 2 and
3; 2 of 5 points for items 4 and 5; and 1 of
5 points for item 6. The student’s
45 total points divided by 90 translates to
50 percent. In effect, the differences in the
teachers’ perceptions about how well the
student answered the items were then
multiplied by the differential weights or
points the teachers had assigned to each
item to exacerbate the differences in total
score. Clearly, teachers may differ in many
Ketika menilai tes sains yang digunakan
dalam penelitian ini, guru tidak setuju pada
sejauh mana respons siswa terhadap item
memenuhi ideal. Untuk mengilustrasikan,
mari kita melihat lebih dekat pada spesifik
bagaimana Guru 2 dan Guru 3 mencetak
setiap item untuk Siswa 2 (lihat Gambar 3.3).
Guru 2 menugaskan Siswa 2 persentase
berikut dari total kredit yang mungkin untuk
keenam item: 80 persen dari total kredit
untuk item 1; 100 persen dari total kredit
untuk item 2 dan 3; dan 80 persen untuk item
4, 5, dan 6. Dengan demikian siswa
menerima 20 dari 25 poin untuk item 1; 25
dari 25 poin untuk item 2 dan 3; dan 4 dari 5
poin masing-masing untuk item 4, 5, dan 6.
Total poin siswa adalah 82 dari 90, atau 91
persen. Sebaliknya, Guru 3 menugaskan
Siswa 2 persentase berikut dari total kredit
untuk enam item: 44 persen dari total kredit
untuk item 1; 67 persen untuk item 2 dan 3;
40 persen untuk item 4 dan 5; dan 20 persen
untuk item 6. Dengan demikian siswa
menerima 20 dari 45 poin untuk item 1; 10
dari 15 poin untuk item 2 dan 3; 2 dari 5 poin
untuk item 4 dan 5; dan 1 dari 5 poin untuk
item 6. Siswa 45 total poin dibagi 90
diterjemahkan menjadi 50 persen.
Dampaknya, perbedaan dalam persepsi guru
tentang seberapa baik siswa menjawab item
kemudian dikalikan dengan bobot diferensial
atau poin yang ditugaskan guru untuk setiap
item untuk memperburuk perbedaan dalam
skor total. Jelas, guru mungkin berbeda
ways when they score assessments using the
point system; the scores for stu- dents
derived from the point system are not
comparable from teacher to teacher.
Origins of the Point System
Given that the point system is the method
of choice for scoring classroom assess-
ments in spite of its inherent weaknesses,
it is instructive to consider its origins.
Measurement expert Darrel Bock (1997)
traces the point system to World War I,
when the U.S. Army designed and
administered the Alpha Test to quickly and
effi- ciently identify the competencies of
hundreds of thousands of recruits. The
test’s purpose was to assess the aptitude of
the new soldiers to place them in work
roles most appropriate to their abilities.
The test required a quick and efficient
scoring system that could be applied to the
multiple-choice items that were scored as
correct or incorrect. Correct items were
assigned one point; incorrect items were
assigned no points. The summary score on
a test was easily computed by forming the
ratio of the number of correct items
divided by the total number of items and
multiplying by 100—the percentage score.
Generally speaking, the Alpha Test was
considered quite successful in that tens of
thousands of recruits were assessed and
dalam banyak hal ketika mereka menilai
penilaian menggunakan sistem poin; skor
untuk siswa yang berasal dari sistem poin
tidak sebanding dengan guru.
Asal-usul Sistem Poin
Mengingat bahwa sistem poin adalah metode
pilihan untuk menilai penilaian kelas terlepas
dari kelemahan yang melekat, itu adalah
instruktif untuk mempertimbangkan asal-
usulnya. Pakar pengukuran Darrel Bock
(1997) melacak sistem poin ke Perang Dunia
I, ketika Angkatan Darat A.S. merancang dan
mengelola Tes Alpha untuk secara cepat dan
efisien mengidentifikasi kompetensi ratusan
ribu rekrutan. Tujuan tes ini adalah untuk
menilai kecakapan para prajurit baru untuk
menempatkan mereka dalam peran pekerjaan
yang paling sesuai dengan kemampuan
mereka. Tes ini membutuhkan sistem
penilaian yang cepat dan efisien yang dapat
diterapkan pada item pilihan ganda yang
dinilai benar atau salah. Item yang benar
diberikan satu poin; item yang salah
diberikan tidak ada poin. Skor ringkasan
pada tes dengan mudah dihitung dengan
membentuk rasio jumlah item yang benar
dibagi dengan jumlah item dan mengalikan
dengan 100 — skor persentase. Secara
umum, Tes Alpha dianggap cukup berhasil
karena puluhan ribu rekrut dinilai dan dinilai
dengan cepat dan efisien. Keberhasilan Tes
scored quickly and efficiently. The success Alpha yang mudah dinilai populer item
of the easily scored Alpha Test popular- pilihan ganda dan metode persentase untuk
ized the multiple-choice item and the mendapatkan skor ringkasan.
percentage method of obtaining a
summary score.

The multiple-choice format and a
summary score based on the proportion of
correct responses received a strong
endorsement in the 1940s, when the
College Entrance Examination Board
(CEEB) commissioned psychologist Carl
Bingham to develop the Scholastic
Aptitude Test (SAT). The SAT was
intended to predict success in college.
Because of the ease of scoring multiple-
choice items, the writ- ten portion of the
examination was dropped by 1942.
Before then, the written portion of the test
was the most heavily weighted. By 1947
the multiple-choice format was a karena tidak ada bagian kecil untuk
permanent fixture due in no small part to
the development of mark- sense answer
sheets that could be scored by machine.
As Bock (1997) explains:
Because the early equipment could do no
more than count the number of pencil
marks in correct boxes of the item
alternatives, the number-correct score
became by default the source datum for
theoretical work in educational
measurement. It became the main focus of
test theory. (p. 23)
Format pilihan ganda dan skor ringkasan
berdasarkan proporsi tanggapan yang benar
mendapat dukungan kuat pada tahun 1940-
an, ketika Dewan Ujian Masuk Perguruan
Tinggi (CEEB) menugaskan psikolog Carl
Bingham untuk mengembangkan Scholastic
Aptitude Test (SAT). SAT dimaksudkan
untuk memprediksi keberhasilan di
perguruan tinggi. Karena kemudahan
mencetak item pilihan ganda, bagian tertulis
dari ujian dijatuhkan pada tahun 1942.
Sebelum itu, bagian tes tertulis adalah yang
paling berbobot. Pada tahun 1947 format
pilihan ganda adalah perlengkapan permanen
pengembangan lembar jawaban yang masuk
akal yang dapat dicetak oleh mesin. Seperti
yang dijelaskan Bock (1997):
Karena peralatan awal bisa melakukan tidak
lebih dari menghitung jumlah tanda pensil di
kotak yang benar dari alternatif item, skor
angka-benar secara default menjadi sumber
datum untuk pekerjaan teoritis dalam
pengukuran pendidikan. Itu menjadi fokus
utama teori pengujian. (hal. 23)
The perceived utility of the multiple-
choice format and the percent-correct
summary score soon spilled over into any
item that could be scored as 1 or 0 correct
or incorrect—including true/false,
matching, and fill-in-the blank. In fact,
constructs in measurement theory such as
reliability, validity, and the extent to
which items differentiate between
students who do well on a test as opposed
to students who do not do well (referred
to as item discrimination) were based ini-
tially on the assumption that items are
scored as correct or incorrect (see Gullik-
sen, 1950; Lord & Novick, 1968;
Magnusson, 1966; Nunally, 1967).
As one might expect, courses and
textbooks on the topic of test construction
adopted the notion of the
correct/incorrect heuristic for scoring
items on tests and the percentage score as
the preferred summary score. From there
it was a short step to assigning points to
items and tasks that could not be scored
correct or incorrect, such as essay items,
oral presentations, and the like. Without
realiz- ing it, the world of K–12 education
was soon entrenched in the point, or
percent- age, system.
Utilitas yang dirasakan dari format pilihan
ganda dan skor ringkasan yang benar persen
segera tumpah ke item apa pun yang bisa
dinilai sebagai 1 atau 0 Benar atau salah —
termasuk benar / salah, cocok, dan isi-
kosong. Bahkan, konstruk dalam teori
pengukuran seperti reliabilitas, validitas, dan
sejauh mana item membedakan antara siswa
yang berprestasi baik pada tes dibandingkan
dengan siswa yang tidak berprestasi (disebut
sebagai diskriminasi item) awalnya
didasarkan pada asumsi bahwa item dinilai
sebagai benar atau salah (lihat Gullik-sen,
1950; Lord & Novick, 1968; Magnusson,
1966; Nunally, 1967).
Seperti yang bisa diharapkan, kursus dan
buku teks tentang topik konstruksi tes
mengadopsi gagasan heuristik yang benar /
salah untuk mencetak item pada tes dan skor
persentase sebagai skor ringkasan yang
disukai. Dari sana itu adalah langkah singkat
untuk menetapkan poin ke item dan tugas
yang tidak dapat dinilai dengan benar atau
salah, seperti item esai, presentasi lisan, dan
sejenisnya. Tanpa disadari, dunia pendidikan
K-12 segera mengakar dalam sistem poin,
atau persentase.
A Conceptual Look at Assessment Pandangan Konseptual pada Penilaian

The discussion thus far makes it clear that Diskusi sejauh ini memperjelas bahwa sistem
the point system as currently used in the poin seperti yang saat ini digunakan di kelas
classroom is inadequate to the task of tidak memadai untuk tugas penilaian
effective formative assessment. To formatif yang efektif. Untuk memahami
understand how to improve on the point bagaimana meningkatkan sistem poin,
system, we first must consider the basic pertama-tama kita harus mempertimbangkan
nature of classroom assessment. It is also sifat dasar penilaian kelas. Juga bermanfaat
useful to more specifically define some untuk secara lebih spesifik mendefinisikan
terms that have been and will continue to beberapa istilah yang telah dan akan terus
be used throughout this book. Considering digunakan di seluruh buku ini.
the com- bined works of various classroom Mempertimbangkan karya gabungan
assessment experts (McMillan, 1997; berbagai pakar penilaian kelas (McMillan,
O’Connor, 1995; Stiggins, 1994, 1997; 1997; O'Connor, 1995; Stiggins, 1994, 1997;
Terwilliger, 1989), the following definitions Terwilliger, 1989), definisi berikut muncul:
emerge:
•Assessment—planned or serendipitous • Penilaian — kegiatan terencana atau
activities that provide information about kebetulan yang memberikan informasi
students’ understanding and skill in a tentang pemahaman dan keterampilan siswa
specific measurement topic dalam topik pengukuran tertentu
• Test—a type of assessment that takes • Tes — jenis penilaian yang terjadi pada
place at a specific time and most com- waktu tertentu dan sebagian besar
monly uses a pencil-and-paper format menggunakan format pensil-dan-kertas
• Evaluation—the process of making • Evaluasi — proses membuat penilaian
judgments about the levels of tentang tingkat siswa '
students’ pemahaman atau keterampilan berdasarkan
understanding or skill based on an penilaian
assessment • Pengukuran — menugaskan skor pada
• Measurement—assigning scores to an penilaian berdasarkan seperangkat aturan
assessment based on an explicit set of rules yang eksplisit
• Score—the number or letter
 assigned to an assessment via the process
of measurement; may be synonymous
with the term mark
These terms provide an interesting
perspective on assessment in the classroom
in that they imply an integrated set of
actions. An assessment is any planned or
serendipitous activity that provides
information about students’ understanding
and skill regarding a specific measurement
topic; a test is one of a number of forms of
assessment. Regardless of what type of
assessment is used, judgments are made
about each student’s level of understanding
and skill via the process of evaluation. These
judgments are translated into scores using
the process of measurement.
One might infer that although we
typically pay attention to the final score a
student receives on an assessment, we
should also be cognizant of the process
that was used to derive that score to ensure
that it involved effective assessment,
evaluation, and measurement. Underlying
all of these integrated processes is the
concept of true score.
• Skor — angka atau huruf yang ditetapkan
untuk penilaian melalui proses pengukuran;
mungkin identik dengan tanda istilah
Istilah-istilah ini memberikan perspektif
yang menarik tentang penilaian di kelas
karena mereka menyiratkan serangkaian
tindakan yang terintegrasi. Penilaian adalah
setiap kegiatan terencana atau kebetulan
yang memberikan informasi tentang
pemahaman dan keterampilan siswa
mengenai topik pengukuran tertentu; tes
adalah salah satu dari sejumlah bentuk
penilaian. Apa pun jenis penilaian yang
digunakan, penilaian dibuattentang tingkat
pemahaman dan keterampilan masing-
masing siswa melalui proses evaluasi.
Penilaian ini diterjemahkan ke dalam skor
menggunakan proses pengukuran.
Orang mungkin menyimpulkan bahwa
meskipun kita biasanya memperhatikan skor
akhir yang diterima seorang siswa pada
penilaian, kita juga harus menyadari proses
yang digunakan untuk memperoleh skor itu
untuk memastikan bahwa itu melibatkan
penilaian, evaluasi, dan pengukuran yang
efektif. Yang mendasari semua proses
terintegrasi ini adalah konsep skor sejati.
The Concept of True Score Konsep Skor Sejati

The concept of true score is central to Konsep skor sebenarnya adalah pusat untuk
virtually every aspect of measurement the- hampir setiap aspek teori pengukuran. Skor
ory. True score is addressed more sebenarnya dibahas lebih ketat dalam
rigorously in Technical Note 3.1. Briefly, Catatan Teknis 3.1. Secara singkat,
though, consider the following comments pertimbangkan komentar berikut tentang
of measurement theorist David teori pengukuran David Magnusson (1966):
Magnusson (1966):
The trait measured by a certain . . . test Sifat yang diukur oleh seorang tertentu. . .
can be represented by a latent continuum, Tes dapat diwakili oleh kontinum laten, skala
an ability scale on which every individual kemampuan di mana setiap individu
takes up a certain position. The position mengambil posisi tertentu. Posisi yang
an individual takes up on the ability scale diambil seseorang pada skala kemampuan
determines . . . his true score on the test, menentukan. . . skor sebenarnya pada tes,
his position on the true-score scale. (p. 63) posisinya pada skala skor-benar. (hal. 63)

In nontechnical terms, Magnusson’s Dalam istilah nonteknis, komentar

comments indicate that a student’s perfor-
mances on the items on a test are assumed
to be indications only of the student’s level
of understanding and skill on the topic
measured by the test. The student might
be quite proficient in the skills and
information that make up the topic being
measured but miss specific items because
of factors such as fatigue, mis- reading the
items, filling in the wrong response
“bubble” on an answer sheet, and so on.
Conversely, the student might be quite
inept at the skills and information that
Magnusson menunjukkan bahwa kinerja
siswa pada item pada tes diasumsikan hanya
sebagai indikasi tingkat pemahaman dan
keterampilan siswa pada topik yang diukur
dengan tes. Siswa mungkin cukup mahir
dalam keterampilan dan informasi yang
membentuk topik yang diukur tetapi
kehilangan item tertentu karena faktor-faktor
seperti kelelahan, salah membaca item,
mengisi "gelembung" jawaban yang salah
pada lembar jawaban, dan sebagainya di.
Sebaliknya, siswa mungkin kurang cakap
dalam keterampilan dan informasi yang
 make up the topic being measured but membentuk topik yang diukur tetapi
provide seemingly correct answers on memberikan jawaban yang tampaknya benar
specific items because of factors such as pada item tertentu karena faktor-faktor
guessing, cheating, luck, and so on. In seperti menebak, menipu, keberuntungan,
short, a student’s score on a particular dan sebagainya. Singkatnya, skor siswa pada
assessment is always considered to be an penilaian tertentu selalu dianggap sebagai
estimate of the student’s true score for a perkiraan skor sebenarnya siswa untuk topik
particular topic. tertentu.

Within what is referred to as classical test Dalam apa yang disebut sebagai teori tes
theory, or CTT, the relationship between the klasik, atau CTT, hubungan antara skor yang
score a student receives on a test and the diterima siswa pada tes dan skor sejati siswa
student’s true score on that test is represented pada tes tersebut diwakili oleh persamaan
by the following equation: berikut:

observed score = true score + error score skor yang diamati = skor benar + skor
kesalahan

This equation indicates that a student’s Persamaan ini menunjukkan bahwa skor

observed score on an assessment (i.e., the yang diamati siswa pada penilaian (yaitu,

final score assigned by the teacher) skor akhir yang diberikan oleh guru) terdiri

consists of two components—the student’s dari dua komponen — skor sejati siswa dan

true score and the student’s error score. The skor kesalahan siswa. Nilai sebenarnya siswa

student’s true score is that which rep- adalah nilai yang mewakili tingkat

resents the student’s true level of pemahaman atau keterampilan siswa yang

understanding or skill regarding the topic sebenarnya mengenai topik yang diukur.

being measured. The error score is the part Skor kesalahan adalah bagian dari skor yang

of an observed score that is due to factors diamati yang disebabkan oleh faktor selain

other than the student’s level of tingkat pemahaman atau keterampilan siswa.

understanding or skill. As we have seen Seperti yang telah kita lihat dalam diskusi

in the earlier discussion, scoring sebelumnya, penilaian penilaian

assessments using points is particularly menggunakan poin sangat rentan terhadap

prone to error from teachers who kesalahan dari guru yang melebih-lebihkan

overestimate or underestimate the points atau meremehkan poin yang harus

that should be assigned to items. ditugaskan ke item.

This inherent problem with the point
system did not go unnoticed by mea-
surement experts. Indeed, as early as 1904,
renowned pioneer in educational and
psychological measurement Edward
Thorndike commented on the issue in the
context of a spelling test. Thorndike (1904)
observed:
If one attempts to measure even so
simple a thing as spelling, one is
hampered by the fact that there exist no
units in which to measure. One may
arbitrarily make up a list of words and
observe ability by the number spelled
correctly. But if one exam- ines such a
list one is struck by the inequality of the
units. All results based on the equality
of any one word with another are
necessarily inaccurate. (p. 7)
Basically, Thorndike was highlighting the
fact that even with a subject area as
seemingly straightforward as spelling, it is
difficult, if not impossible, to assign
points to individual items in a valid
manner. It makes little sense to assign one
point to each item because some words are
harder to spell than others. However, there
is also no rigorous way to assign more
than one point to a single word. If spelling
Masalah yang melekat pada sistem poin ini
tidak luput dari perhatian oleh para ahli
pengukuran. Memang, pada awal 1904,
perintis terkenal dalam pengukuran
pendidikan dan psikologis Edward
Thorndike mengomentari masalah ini dalam
konteks tes ejaan. Thorndike (1904)
mengamati:
Jika seseorang mencoba mengukur sesuatu
yang sangat sederhana seperti ejaan, ia
terhambat oleh kenyataan bahwa tidak ada
satuan yang dapat mengukur. Seseorang
dapat secara sewenang-wenang membuat
daftar kata-kata dan mengamati kemampuan
dengan angka yang dieja dengan benar.
Tetapi jika seseorang memeriksa daftar
seperti itu, dia akan terkejut oleh
ketidaksetaraan unit-unit tersebut. Semua
hasil berdasarkan kesetaraan dari satu kata
dengan kata lain tentu tidak akurat. (hal. 7)
Pada dasarnya, Thorndike menyoroti fakta
bahwa bahkan dengan bidang subjek yang
sama mudahnya dengan ejaan, sulit, jika
bukan tidak mungkin, untuk menetapkan
poin ke masing-masing item secara valid.
Tidak masuk akal untuk memberikan satu
poin pada setiap item karena beberapa kata
lebih sulit dieja daripada yang lain. Namun,
tidak ada cara ketat untuk menetapkan lebih
dari satu poin untuk satu kata. Jika mengeja
the word gift correctly is worth one point,
how many points is it worth to spell the
word memento correctly?
Item Response Theory
In spite of Thorndike’s warning, the
point method remained unchallenged
and unchanged until about the mid-
1950s, when a new theoretical basis for
measure- ment referred to as item
response theory, or IRT, was articulated.
Susan Embret- son and Steven Reise
(2000) provide a detailed discussion of
the history of IRT. Briefly, though, the
initial theoretical discussion of IRT is
commonly traced to the work of Allan
Birnbaum (1957, 1958a, 1958b).
However, the first comprehen- sive
articulation of IRT is attributed to
Frederick Lord and Melvin Novick
(1968). Currently IRT is the
predominant system used to design and
score large-scale assessments such as
tests of state standards and standardized
tests.
IRT does not simply add up points to
construct a score for an individual stu-
dent on a given test. Rather, it uses an
kata hadiah dengan benar bernilai satu poin,
berapa banyak poin yang layak untuk
mengeja kata kenang-kenangan dengan
benar?
Teori Respon Item
Terlepas dari peringatan Thorndike, metode
poin tetap tidak tertandingi dan tidak berubah
sampai sekitar pertengahan 1950-an, ketika
dasar teoretis baru untuk pengukuran yang
disebut sebagai teori respons barang, atau
IRT, diartikulasikan. Susan Embretson dan
Steven Reise (2000) memberikan diskusi
rinci tentang sejarah IRT. Namun, secara
singkat, diskusi teoretis awal tentang IRT
umumnya dilacak pada karya Allan
Birnbaum (1957, 1958a, 1958b). Namun,
artikulasi komprehensif komprehensif IRT
dikaitkan dengan Frederick Lord dan Melvin
Novick (1968). Saat ini IRT adalah sistem
utama yang digunakan untuk merancang dan
menilai penilaian skala besar seperti tes
standar negara dan tes standar.
IRT tidak hanya menambahkan poin untuk
menyusun skor untuk siswa secara individu
pada tes yang diberikan. Sebaliknya, ia
approach that Embretson and Reise (2000)
liken to “clinical inference.” They state,
“In models of the clinical inference
process, a potential diagnosis or inference
is evaluated for plausibility. That is, given
the presenting behaviors (including test
behaviors), how plausible is a cer- tain
diagnosis” (p. 54). As it relates to scoring
an assessment, the IRT method may be
described as answering the following
question: Given this pattern of responses by
the student, what is the most plausible
inference as to the student’s level of under-
standing and skill on the trait measured by
the items? This approach is quite consis-
tent with the definitions provided earlier
for the terms assessment, evaluation,
measurement, and score. A paper-and-
pencil test is a form of assessment—a way
of gathering information about students’
levels of understanding and skill regard-
ing a specific topic. A clinical-type
inference must be made using the
student’s observed pattern of responses.
The student’s pattern of responses is what
Embret- son and Reise refer to as the
“presenting behavior.” Evaluation is the
process by which the clinical-type
inference is made. Simply adding up
points for correct responses and dividing
by the total number of possible points is
not evaluation, because no judgment is
involved.
menggunakan pendekatan yang disamakan
Embretson dan Reise (2000) dengan
“inferensi klinis.” Mereka menyatakan,
“Dalam model proses inferensi klinis,
diagnosis atau inferensi potensial dievaluasi
untuk masuk akal. Yaitu, mengingat perilaku
yang ada (termasuk perilaku uji), seberapa
masuk akal diagnosis tertentu ”(hlm. 54).
Karena berkaitan dengan penilaian penilaian,
metode IRT dapat digambarkan sebagai
menjawab pertanyaan berikut: Mengingat
pola respons ini oleh siswa, inferensi apa
yang paling masuk akal mengenai tingkat
pemahaman dan keterampilan siswa pada
sifat yang diukur oleh item? Pendekatan ini
cukup konsisten dengan definisi yang
diberikan sebelumnya untuk penilaian
istilah, evaluasi, pengukuran, dan skor. Tes
kertas-dan-pensil adalah bentuk penilaian —
cara mengumpulkan informasi tentang
tingkat pemahaman dan keterampilan siswa
terkait topik tertentu. Inferensi tipe klinis
harus dibuat menggunakan pola respons
siswa yang diamati. Pola respons siswa
adalah apa yang disebut Embretson and
Reise sebagai "perilaku presentasi". Evaluasi
adalah proses di mana inferensi tipe klinis
dibuat. Cukup menambahkan poin untuk
tanggapan yang benar dan membaginya
dengan jumlah total poin yang mungkin
bukan evaluasi, karena tidak ada penilaian
yang terlibat.
 The perspective provided by IRT is a
powerful one in terms of its implications
for scoring classroom assessments. First, it
adds credibility to the assertion that it is
impossible (for all practical purposes) to
devise a valid scheme that classroom
teachers could use to assign points to
items. Second, it implies a basic strategy
that classroom teachers can use to design
and score classroom assessments as reli-
ably as possible with the caveat that there
is no perfectly reliable way to score an
assessment, whether it be constructed by
a teacher, a district, a state, or a testing
company.
Understanding the Logic of IRT
If IRT models don’t add up points to
compute a student’s score on a test, what
process do they use, and how does it apply
to a teacher scoring a classroom assess-
ment? We begin with the process used by
IRT models.
IRT models operate from some basic
assumptions (see Technical Note 3.2).
First, they assume that the topic
measured by a given test is not
observable directly. IRT theorists typically
Perspektif yang diberikan oleh IRT adalah
kuat dalam hal implikasinya untuk penilaian
penilaian kelas. Pertama, ini menambah
kredibilitas pada pernyataan bahwa tidak
mungkin (untuk semua tujuan praktis) untuk
merancang skema yang valid yang dapat
digunakan guru kelas untuk menetapkan poin
ke item. Kedua, ini menyiratkan strategi
dasar yang dapat digunakan guru kelas untuk
mendesain dan menilai penilaian kelas
selengkap mungkin dengan peringatan
bahwa tidak ada cara yang dapat diandalkan
untuk menilai penilaian, apakah itu dibangun
oleh guru, kabupaten, sebuah negara, atau
perusahaan pengujian.
Memahami Logika IRT
Jika model IRT tidak menambahkan poin
untuk menghitung skor siswa pada suatu tes,
proses apa yang mereka gunakan, dan
bagaimana hal itu berlaku untuk seorang
guru yang mencetak penilaian kelas? Kami
mulai dengan proses yang digunakan oleh
model IRT.
Model IRT beroperasi dari beberapa asumsi
dasar (lihat Catatan Teknis 3.2). Pertama,
mereka menganggap bahwa topik yang
diukur dengan tes yang diberikan tidak dapat
diamati secara langsung. Ahli teori IRT
 talk about “latent” traits. Next, they
assume that the latent trait being measured
follows a normal distribution like that
depicted in Figure 3.4, which is familiar to
many educators as well as the general
public (see Technical Note 3.3 for a
discussion of the normal distribution).
Note that in this depiction, the average
score is 0 and the range of scores goes from
–3 to +3. Thus, the score one receives on a
test based on IRT is +3, +2, +1, 0, and so
on, referred to as “trait scores.” These trait
scores are then translated to some other
metric. For example, the metric might be
1,000 points. Thus, a score of +3 might
translate to a score of 1,000, a score of 2
might translate to 750, a score of 0 might
translate to 500, and so on.
To determine a person’s trait score,
IRT models use sophisticated mathemat-
ics to analyze patterns of item responses
(for a discussion, see Embretson & Reise,
2000)
JUSTITIA:
biasanya berbicara tentang sifat-sifat "laten".
Selanjutnya, mereka menganggap bahwa
sifat laten yang diukur mengikuti distribusi
normal seperti yang digambarkan pada
Gambar 3.4, yang akrab bagi banyak
pendidik serta masyarakat umum (lihat
Catatan Teknis 3.3 untuk diskusi tentang
distribusi normal). Perhatikan bahwa dalam
penggambaran ini, skor rata-rata adalah 0
dan kisaran skor berubah dari –3 ke +3.
Dengan demikian, skor yang diterima
seseorang pada tes berdasarkan IRT adalah
+3, +2, +1, 0, dan seterusnya, disebut sebagai
"skor sifat." Skor sifat ini kemudian
diterjemahkan ke beberapa metrik lainnya.
Misalnya, metriknya mungkin 1.000 poin.
Dengan demikian, skor +3 dapat
diterjemahkan menjadi skor 1.000, skor 2
dapat diterjemahkan menjadi 750, skor 0
mungkin diterjemahkan menjadi 500, dan
seterusnya.
Untuk menentukan skor sifat seseorang,
model IRT menggunakan matematika
canggih untuk menganalisis pola respons
item (untuk diskusi, lihat Embretson & Reise
2000).
2000). For example, assume that a nine-
item test has been designed using IRT
theory. (In practice, many more items are
used in IRT test development.) Also
assume that when the test was being
developed, it was determined mathemati-
cally that items 1, 2, and 3 represented very
easy information about the trait being
measured; items 4, 5, and 6 represented
information of moderate difficulty; and
items 7, 8, and 9 represented relatively
difficult information.
With this information as a backdrop,
various patterns of responses on the nine
test items can be assigned trait scores. For
example, consider Figure 3.5, which
depicts the pattern of responses for three
students across the nine test items. In the
figure, a 1 indicates that the student
answered the item correctly, whereas a 0
indi- cates that the student did not answer
the item correctly. Notice that all three stu-
dents answered six items correctly.
However, using the information about
diffi- culty level of each item, an IRT model
will compute the probability of each
2000). Sebagai contoh, asumsikan bahwa tes
sembilan item telah dirancang menggunakan
teori IRT. (Dalam praktiknya, lebih banyak
item digunakan dalam pengembangan tes
IRT.) Juga berasumsi bahwa ketika tes
sedang dikembangkan, ditentukan secara
matematis bahwa item 1, 2, dan 3 mewakili
informasi yang sangat mudah tentang sifat
yang diukur; item 4, 5, dan 6
merepresentasikan informasi kesulitan
sedang; dan item 7, 8, dan 9 mewakili
informasi yang relatif sulit.
kemudian akan menetapkan skor sifat yang
paling mungkin, mengingat pola yang
diamati. Untuk Siswa A, model IRT telah
menghitung probabilitas pola respons ini
untuk skor sifat -3.0, -2.5, -2.0, -1.5, dan
seterusnya. Matematika dari model IRT
menentukan bahwa skor sifat +0.5 memiliki
probabilitas tertinggi, mengingat pola
tanggapan. Logika analitik dan matematika
yang sama memberikan skor sifat masing-
masing +1.0 dan +1.5 untuk Siswa B dan C.
pattern as it relates to each possible trait
score depicted in Figure 3.5. It will then
assign the trait score that is most probable,
given the observed pattern. For Student A,
the IRT model has computed the
probability of this pattern of responses for
a trait score of –3.0, –2.5, –2.0, –1.5, and
so on. The mathematics of the IRT model
determined that the trait score of +0.5 has
the highest probability, given the pat- tern
of responses. The same analytic logic and
mathematics assigned trait scores of +1.0
and +1.5 to Students B and C, respectively.

Although this example is contrived
and a gross oversimplification of the IRT
process, it illustrates the underlying
logic of IRT test development—that of
assigning a trait score that has the highest
probability or is the most reasonable,
given what is known about the difficulty
of each item and a student’s pattern of
responses on those items. To use the logic
of IRT to score classroom assessments, two
kemudian akan menetapkan skor sifat yang
paling mungkin, mengingat pola yang
diamati. Untuk Siswa A, model IRT telah
menghitung probabilitas pola respons ini
untuk skor sifat -3.0, -2.5, -2.0, -1.5, dan
seterusnya. Matematika dari model IRT
menentukan bahwa skor sifat +0.5 memiliki
probabilitas tertinggi, mengingat pola
tanggapan. Logika analitik dan matematika
yang sama memberikan skor sifat masing-
masing +1.0 dan +1.5 untuk Siswa B dan C.
elements must be in place:
• A scale that represents performance
along a continuum for a given trait
• A process to translate patterns of
responses on assessments into scores on
the scale
A Scale That Represents
Performance Along a Continuum
IRT models assume that performance on a
given latent trait follows a normal dis-
tribution like that shown in Figure 3.4,
and the models use complex mathemat-
ics to translate a student’s pattern of
responses to a trait score on that
distribution. Obviously classroom teachers
don’t have the luxury of complex
mathematical cal- culations when scoring
an assessment. Consequently, they need a
scale that is
Skala Yang Merupakan Kinerja Sepanjang
Kontinum
Model IRT mengasumsikan bahwa kinerja
pada sifat laten yang diberikan mengikuti
distribusi normal seperti yang ditunjukkan
pada Gambar 3.4, dan model menggunakan
matematika rumit untuk menerjemahkan
pola respons siswa ke skor sifat pada skor
sifat pada distribusi tersebut. Jelas guru kelas
tidak memiliki kemewahan perhitungan
matematika yang rumit ketika mencetak
penilaian. Akibatnya, mereka membutuhkan
skala itu
 based not on the normal distribution but
on a logical progression of understand- ing
and skill for a specific measurement
topic. Figure 3.6 represents one such
scale.
To illustrate the scale shown in Figure 3.6,
consider the science measurement topic of
heredity. The lowest score value on the scale
is a 0.0, representing no knowledge of the
topic; even with help the student
demonstrates no understand- ing or skill
relative to the topic of heredity. A score of
1.0 indicates that with help the student
shows partial knowledge of the simpler
details and processes as well as the more
complex ideas and processes. The notion of
providing help to stu- dents on an
assessment is an important feature of the
scale that is addressed in depth later in this
chapter. To be assigned a score of 2.0, the
student independently demonstrates
tidak didasarkan pada distribusi normal
tetapi pada perkembangan logis dari
pemahaman dan keterampilan untuk topik
pengukuran tertentu. Gambar 3.6 mewakili
satu skala seperti itu.
Untuk mengilustrasikan skala yang
ditunjukkan pada Gambar 3.6,
pertimbangkan topik pengukuran sains
hereditas. Nilai skor terendah pada skala
adalah 0,0, tidak mewakili pengetahuan
topik; bahkan dengan bantuan siswa tidak
menunjukkan pemahaman atau keterampilan
yang berhubungan dengan topik keturunan.
Skor 1,0 mengindikasikan bahwa dengan
bantuan siswa menunjukkan pengetahuan
parsial tentang perincian dan proses yang
lebih sederhana serta gagasan dan proses
yang lebih kompleks. Gagasan memberikan
bantuan kepada siswa pada penilaian adalah
fitur penting dari skala yang dibahas secara
mendalam dalam bab ini. Untuk diberi skor
understanding of and skill at the simpler
details and processes but not the more
complex ideas and processes. A score of 3.0
indicates that the stu- dent demonstrates
understanding of and skill at all the
content—simple and com- plex—that was
taught in class. However, a score of 4.0
indicates that the student
demonstrates inferences and applications
that go beyond what was taught in class.
This, too, is an important feature of the
scale that is addressed in depth in Chap-
ter 4. Here the scale is introduced as a
logical alternative to an IRT continuum
based on the normal distribution shown in
Figure 3.4.
Interestingly, when the scale in Figure
3.6 is used to score students’ assess- ments,
the distribution of scores strongly resembles
a normal distribution. To illus- trate,
consider Figure 3.7, which shows the
distribution of 100 student assess- ments
2,0, siswa secara mandiri menunjukkan
pemahaman dan keterampilan pada detail
dan proses yang lebih sederhana tetapi tidak
pada ide dan proses yang lebih kompleks.
Skor 3,0 mengindikasikan bahwa siswa
menunjukkan pemahaman dan keterampilan
pada semua konten — sederhana dan
kompleks — yang diajarkan di kelas.
Namun, skor 4,0 menunjukkan bahwa siswa
menunjukkan inferensi dan aplikasi yang
melampaui apa yang diajarkan di kelas. Ini
juga merupakan fitur penting dari skala yang
dibahas secara mendalam pada Bab 4. Di sini
skala diperkenalkan sebagai alternatif logis
untuk kontinum IRT berdasarkan distribusi
normal yang ditunjukkan pada Gambar 3.4.
Menariknya, ketika skala pada Gambar 3.6
digunakan untuk menilai penilaian siswa,
distribusi skor sangat menyerupai distribusi
normal. Untuk menggambarkan, perhatikan
Gambar 3.7, yang menunjukkan distribusi
100 penilaian siswa yang menggunakan skala
pada Gambar 3.6. Kesamaan dengan
 scored using the scale in Figure 3.6. The
similarity to a normal distribution is a partial
indication that the scale is sensitive to the
true variation in students’ scores for a given
topic. That is, if the true scores for a group
of students are dis- tributed normally, a
scale that results in a distribution that
resembles the normal distribution is
probably sensitive to the students’ true
scores (see Technical Note3.3 for a
discussion).
Translating Patterns of
Responses on
Assessments into Scores
on the Scale
The second item necessary to use the logic
of IRT to score classroom assessments is a
process for translating patterns of
responses on an assessment into scores on
the scale. Perhaps the best way to
understand the process is to introduce it in
the context of a typical classroom
assessment, such as the one shown here
You are thinking of renting a car and have
looked at the rates for four companies.
Each company has a set daily rate and a
certain amount of free mileage. However,
once you’ve used up your free miles with
each company, they charge per mile in
addition to the daily rate.
Section 1 :
1. Which company has the highest
daily rate?
2. Which company has the most free
mileage?
3. If each company had the same
distribusi normal adalah indikasi parsial
bahwa skala sensitif terhadap variasi sejati
dalam nilai siswa untuk topik yang diberikan.
Yaitu, jika skor sebenarnya untuk sekelompok
siswa didistribusikan secara normal, skala
yang menghasilkan distribusi yang
menyerupai distribusi normal mungkin peka
terhadap skor sejati siswa (lihat Catatan
Teknis
3.3 untuk diskusi).
Menerjemahkan Pola Tanggapan pada
Penilaian ke dalam Skor pada Skala
Item kedua yang diperlukan untuk
menggunakan logika IRT untuk menilai
penilaian kelas adalah proses
menerjemahkan pola tanggapan pada
penilaian menjadi skor pada skala. Mungkin
cara terbaik untuk memahami prosesnya
adalah dengan memperkenalkannya dalam
konteks penilaian kelas yang umum, seperti
yang ditunjukkan di sini
Anda berpikir untuk menyewa mobil dan
telah melihat tarif untuk empat perusahaan.
Setiap perusahaan memiliki tarif harian yang
ditetapkan dan sejumlah jarak tempuh gratis
tertentu. Namun, begitu Anda menggunakan
miles gratis Anda dengan masing-masing
perusahaan, mereka menagih per mil di
samping tarif harian.
Bagian 1 :
1. Perusahaan mana yang memiliki tarif
harian tertinggi?
2. Perusahaan mana yang memiliki jarak
tempuh paling gratis?
 daily rate and the same amount of
free mileage, which would be the
cheapest?
4. If each company had the same
amount of free mileage and the
same cost per mile, which company
would be the most expensive?
5. Once you’ve used up your free
mileage, which company would
cost the least amount of money to
travel 100 miles in a single day?
Section II
6. If you travel 100 miles per day, which
company is the least expensive for
5 days: Answer
10 days: Answer
20 days: Answer
15 days: Answer
Create a table or a graph that shows
how expensive each company is for each
of the four options above (5 days, 10
days, 15 days, 20 days), and explain how
you calculated your answers.
Section III
7. Each of the four companies could be
considered the “best deal” under cer- tain
conditions. For each company, describe the
situation under which it would be the best
selection. In your answer and explanation,
use the daily rate, free mileage, and the rate
per mile after free mileage.
The first thing to notice about the test
is that it involves different types of items.
Items 1 through 5 are fairly simple; they
require students to read the table and
make a few simple calculations. I refer to
such items as Type I items—those that
deal with basic details and processes that
are relatively easy for students. Item 6 is
much more complex than items 1 through
5; students must make mul- tiple
3. Jika setiap perusahaan memiliki tarif
harian yang sama dan jumlah mileage gratis
yang sama, mana yang termurah?
4. Jika setiap perusahaan memiliki jumlah
jarak tempuh gratis yang sama dan biaya
yang sama per mil, perusahaan mana yang
paling mahal?
5. Setelah Anda menggunakan jarak tempuh
gratis Anda, perusahaan mana yang akan
menghabiskan biaya paling sedikit untuk
menempuh jarak 100 mil dalam satu hari?
Bagian II
6. Jika Anda bepergian 100 mil per hari,
perusahaan mana yang paling murah
5 hari: Jawab
10 hari: Jawab
20 hari: Jawab
15 hari: Jawab
Buat tabel atau grafik yang menunjukkan
seberapa mahal masing-masing perusahaan
untuk masing-masing dari empat opsi di atas
(5 hari, 10 hari, 15 hari, 20 hari), dan jelaskan
bagaimana Anda menghitung jawaban Anda.
Bagian III
7. Masing-masing dari empat perusahaan
dapat dianggap sebagai "kesepakatan
terbaik" dalam kondisi tertentu. Untuk setiap
perusahaan, jelaskan situasi di mana itu akan
menjadi pilihan terbaik. Dalam jawaban dan
penjelasan Anda, gunakan tarif harian, jarak
tempuh gratis, dan tarif per mil setelah jarak
tempuh gratis.
Hal pertama yang perlu diperhatikan tentang
tes ini adalah bahwa tes ini melibatkan
berbagai jenis item. Item 1 hingga 5 cukup
sederhana; mereka mengharuskan siswa
membaca tabel dan membuat beberapa
perhitungan sederhana. Saya merujuk pada
item seperti item Tipe I — item yang
berhubungan dengan detail dasar dan proses
yang relatif mudah bagi siswa. Item 6 jauh
lebih kompleks daripada item 1 hingga 5;
siswa harus membuat beberapa kalkulasi dan
calculations and compare the results of
those calculations. I refer to items like this
as Type II items—those that address
complex ideas and processes that are more
difficult for students. Typically these items
require students to generate something
that is not obvious. In this case, students
must compute the total cost for each
company for differing amounts of rental
time and then compare total costs for each
company. Finally, item 7 asks students to
make unique inferences or applications of
content typically not addressed in class. I
refer to items like this as Type III items.
membandingkan hasil kalkulasi tersebut.
Saya menyebut item-item seperti ini sebagai
item Tipe II — item yang membahas ide dan
proses kompleks yang lebih sulit bagi siswa.
Biasanya barang-barang ini mengharuskan
siswa untuk menghasilkan sesuatu yang tidak
jelas. Dalam hal ini, siswa harus menghitung
total biaya untuk setiap perusahaan untuk
jumlah waktu sewa yang berbeda dan
kemudian membandingkan total biaya untuk
setiap perusahaan. Akhirnya, item 7 meminta
siswa untuk membuat inferensi atau aplikasi
konten yang unik yang biasanya tidak
dibahas di kelas. Saya menyebut item seperti
ini sebagai item Tipe III.

The inclusion of Type I, II, and III
items on this assessment is not coinciden-
tal. An examination of the scale in Figure
3.6 demonstrates that Type I items are
required to determine if students have
attained a score of 2.0, indicating that they
are competent on the simpler details and
processes. Type II items are required to
determine if students have attained a score
of 3.0, indicating that they are com- petent
on the more complex ideas and processes.
Type III items are necessary to determine
if students have attained a score of 4.0,
indicating that they can go beyond what
was presented in class.
Dimasukkannya item Tipe I, II, dan III pada
penilaian ini tidak bersamaan. Pemeriksaan
skala pada Gambar 3.6 menunjukkan bahwa
item Tipe I diperlukan untuk menentukan
apakah siswa telah mencapai skor 2,0,
menunjukkan bahwa mereka kompeten pada
detail dan proses yang lebih sederhana. Item
Tipe II diperlukan untuk menentukan apakah
siswa telah mencapai skor 3,0, yang
menunjukkan bahwa mereka sesuai dengan
ide dan proses yang lebih kompleks. Item
Tipe III diperlukan untuk menentukan
apakah siswa telah mencapai skor 4.0,
menunjukkan bahwa mereka dapat
melampaui apa yang disajikan di kelas.

In summary, to design a classroom In summary, to design a classroom

assessment that can be scored using the
scale in Figure 3.6, three types of items
must be included:
• Type I items that address basic
details and processes that are relatively
easy for students
• Type II items that address more
complex ideas and processes and are more
difficult for students
• Type III items that go beyond what • Type III items that go beyond what was
was taught in class
assessment that can be scored using the
scale in Figure 3.6, three types of items
must be included:
• Type I items that address basic
details and processes that are relatively
easy for students
• Type II items that address more
complex ideas and processes and are more
difficult for students
taught in class

In Chapter 4 we will consider in depth Dalam Bab 4 kita akan membahas secara
mendalam bagaimana merancang ketiga
 how to design these three types of items.
However, I have found that teachers
understand the three item types intu-
itively and are quite adept at constructing
them even without a great deal of train- ing
regarding their characteristics.
Using the Simplified Scale
Given that an assessment contains the three
types of items just discussed, it is rel- atively
easy for a teacher to translate patterns of
responses into scale scores for a
measurement topic. When teachers are using
this system for the first time, I com- monly
recommend they start with a simplified
version of the scale, as shown in Figure 3.8.
Figure 3.8 is referred to as the “simplified
scale” because it contains five whole-point
values only—4.0, 3.0, 2.0, 1.0, and 0.0.
Although this scale is less precise than the
scale with half-point scores (3.5, 2.5, 1.5, and
0.5), it serves as a good introduction to the
process of translating item response patterns
into scale scores. Additionally, in some
situations half-point scores are difficult to
dis- cern or simply don’t make much sense.
jenis item ini. Namun, saya telah
menemukan bahwa para guru memahami
ketiga jenis item secara intuitif dan cukup
mahir membangunnya bahkan tanpa banyak
pelatihan mengenai karakteristik mereka.
Menggunakan Skala Sederhana
Mengingat bahwa penilaian mengandung tiga
jenis item yang baru saja dibahas, relatif
mudah bagi seorang guru untuk
menerjemahkan pola respons ke dalam skor
skala untuk topik pengukuran. Ketika guru
menggunakan sistem ini untuk pertama
kalinya, saya biasanya menyarankan mereka
mulai dengan versi skala yang
disederhanakan, seperti yang ditunjukkan
pada Gambar 3.8. Gambar 3.8 disebut sebagai
"skala yang disederhanakan" karena hanya
berisi lima nilai titik utuh — 4.0, 3.0, 2.0, 1.0,
dan 0.0. Meskipun skala ini kurang tepat
daripada skala dengan skor setengah poin
(3,5, 2,5, 1,5, dan 0,5), ini berfungsi sebagai
pengantar yang baik untuk proses
menerjemahkan pola respons item ke dalam
skor skala. Selain itu, dalam beberapa situasi
skor setengah poin sulit untuk dibedakan atau
tidak masuk akal.
 To illustrate how to use the simplified
scale, assume a student answered all the
Type I items correctly (items 1 through 5),
as well as the Type II item (item
6), but she missed the Type III item (item
7). The student would be assigned a score
of 3.0 because her pattern of responses
Untuk mengilustrasikan cara menggunakan
skala yang disederhanakan, anggaplah
seorang siswa menjawab semua item Tipe I
dengan benar (item 1 hingga 5), serta item
Tipe II (item
6), tetapi dia melewatkan item Tipe III (item
7). Siswa akan diberi skor 3,0 karena pola
on the items indicates that she
understands the simpler details as well as
the more complex ideas but does not
make inferences and applications beyond
what was taught.
Figure 3.9 provides teachers with a quick
reference to scoring assessments using the
simplified scale. In the figure, the symbol
+ indicates that the student responded
correctly to a particular item type (Type I,
II, III); the symbol 0 indicates that the
student responded incorrectly or provided
no response; and the words some
understanding with help indicate that the
teacher provided the student with
guidance and clues and the student
exhibited some knowledge of the content
addressed in the items. Thus, Figure 3.9
indicates that students who answer all
items correctly receive a score of 4.0 on the
assessment. Students who answer all Type
I and Type II items correctly but do not
answer Type III items correctly receive a
score of 3.0. Students who answer Type I
items correctly but do not answer Type II
and Type III items correctly receive a score
of 2.0. If students answer no items
correctly while working independently, but
with help receive partial credit on Type I
and Type II items, then they receive a score
of 1.0. Finally, students who answer no
items correctly while working
independently and still cannot do so with
help receive a score of 0.0
The representation in Figure 3.9
highlights again the important distinction
between a score of 0.0 and 1.0. To discern
whether a student should receive a score
of 1.0 or 0.0, a teacher must interact with
the student, because for both score values
the student provides no correct responses
to any of the items on the assessment. At
first glance the assessments for the student
who deserves a 1.0 and the student who
responsnya pada item menunjukkan bahwa
dia memahami detail yang lebih sederhana
serta ide-ide yang lebih kompleks tetapi tidak
membuat kesimpulan dan aplikasi di luar apa
yang diajarkan.
Gambar 3.9 memberi guru referensi cepat
untuk penilaian penilaian menggunakan
skala yang disederhanakan. Pada gambar,
simbol + menunjukkan bahwa siswa
merespons dengan benar untuk jenis item
tertentu (Tipe I, II, III); simbol 0
menunjukkan bahwa siswa merespons secara
tidak benar atau tidak memberikan respons;
dan kata-kata beberapa pemahaman dengan
bantuan menunjukkan bahwa guru memberi
siswa dengan petunjuk dan petunjuk dan
siswa menunjukkan beberapa pengetahuan
tentang konten yang dibahas dalam item.
Dengan demikian, Gambar 3.9 menunjukkan
bahwa siswa yang menjawab semua item
dengan benar menerima skor 4.0 pada
penilaian. Siswa yang menjawab semua item
Tipe I dan Tipe II dengan benar tetapi tidak
menjawab item Tipe III dengan benar
menerima skor 3,0. Siswa yang menjawab
item Tipe I dengan benar tetapi tidak
menjawab item Tipe II dan Tipe III dengan
benar menerima skor 2,0. Jika siswa tidak
menjawab item dengan benar saat bekerja
secara mandiri, tetapi dengan bantuan
menerima kredit parsial pada item Tipe I dan
Tipe II, maka mereka menerima skor 1,0.
Akhirnya, siswa yang menjawab tidak ada
item dengan benar saat bekerja secara
mandiri dan masih tidak dapat melakukannya
dengan bantuan menerima skor 0,0
Representasi pada Gambar 3.9 menyoroti
lagi perbedaan penting antara skor 0,0 dan
1,0. Untuk mengetahui apakah seorang siswa
harus menerima skor 1,0 atau 0,0, seorang
guru harus berinteraksi dengan siswa, karena
untuk kedua nilai skor siswa tidak
memberikan respons yang benar terhadap
salah satu item pada penilaian. Sekilas
penilaian untuk siswa yang layak 1,0 dan
siswa yang layak 0,0 terlihat sama.
Tampaknya tidak ada yang benar. Namun,
deserves a 0.0 look the same. Nothing
appears correct. However, if a student can
answer some items correctly when
provided with help or guid- ance by the
teacher, the student receives a score of
1.0. If the student cannot answer any
items correctly even with help, the student
receives a score of 0.0.
At times when I have presented the
idea of meeting with individual students
regarding their responses on a test, some
teachers have rightfully questioned how
they can be expected to do so when they
have 150 students or more. The simple
answer is that they must interact only with
those students who answer no items
correctly or those who do not even attempt
to answer any items. As shown in Fig- ure
3.7 (the distribution representing the
scores of 100 students on a test), few
students typically receive scores of 0.0 and
1.0. In general, then, a teacher must meet
with a small group of students—only
those who provide no response or answer
all items incorrectly.
As mentioned previously, I have
found that once teachers become familiar
with the simplified scale depicted in
Figure 3.8, they can score classroom
assess- ments quickly and accurately. To
do so, a teacher reads each student’s
responses to each item, marking the
responses as correct or incorrect using a
simple system like a plus sign (+) for
correctly answered items and a zero (0)
for incorrectly answered items and items
for which a student has provided no
response. Going back to our sample test,
the teacher marks each item with a + or a
0. Assume that a student has a + for items
1 through 5 and a 0 for items 6 and 7.
Keeping in mind that items 1 through 5
are Type I, item 6 is Type II, and item 7 is
jika seorang siswa dapat menjawab beberapa
item dengan benar ketika diberikan bantuan
atau bimbingan oleh guru, siswa tersebut
menerima skor 1,0. Jika siswa tidak dapat
menjawab item apa pun dengan benar
bahkan dengan bantuan, siswa menerima
skor 0,0.
Pada saat saya mempresentasikan ide untuk
bertemu dengan masing-masing siswa
mengenai tanggapan mereka terhadap suatu
ujian, beberapa guru secara tepat
mempertanyakan bagaimana mereka dapat
diharapkan untuk melakukannya ketika
mereka memiliki 150 siswa atau lebih.
Jawaban sederhananya adalah mereka harus
berinteraksi hanya dengan siswa yang tidak
menjawab item dengan benar atau mereka
yang bahkan tidak mencoba menjawab item
apa pun. Seperti yang ditunjukkan pada
Gambar 3.7 (distribusi yang mewakili skor
100 siswa pada tes), beberapa siswa biasanya
menerima skor 0,0 dan 1,0. Maka, secara
umum, seorang guru harus bertemu dengan
sekelompok kecil siswa — hanya mereka
yang tidak memberikan respons atau
menjawab semua item dengan salah.
Seperti yang disebutkan sebelumnya, saya
telah menemukan bahwa sekali guru menjadi
terbiasa dengan skala yang disederhanakan
yang digambarkan pada Gambar 3.8, mereka
dapat menilai penilaian kelas dengan cepat
dan akurat. Untuk melakukannya, seorang
guru membaca tanggapan setiap siswa untuk
setiap item, menandai tanggapan sebagai
benar atau salah menggunakan sistem
sederhana seperti tanda tambah (+) untuk
item yang dijawab dengan benar dan nol (0)
untuk item dan item yang dijawab dengan
salah seorang siswa tidak memberikan
tanggapan. Kembali ke tes sampel kami, guru
menandai setiap item dengan tanda + atau 0.
Asumsikan bahwa seorang siswa memiliki
tanda + untuk item 1 hingga 5 dan 0 untuk
item 6 dan 7. Ingatlah bahwa item 1 hingga 5
adalah Tipe. I, item 6 adalah Tipe II, dan item
7 adalah Tipe III, guru kemudian
 Type III, the teacher then interprets the
pattern of responses using the quick
reference guide shown in Figure 3.9.
Additionally, some teachers have found the
flowchart shown in Figure 3.10 to be quite
helpful. It shows the decisions a teacher
might make when scoring an assessment.
After coding the items on a test as correct
or incorrect, the teacher begins by
(metaphorically) asking if there are any
major errors or omissions in the Type II
items. If the answer is yes, the teacher asks
if there are any major errors or omissions in
the Type I items. If the answer is no, then
the student’s score is at least a 2.0, and so
on. Although the scheme is implied in the
scale
menafsirkan pola respons menggunakan
panduan referensi cepat yang ditunjukkan
pada Gambar 3.9.
Selain itu, beberapa guru telah menemukan
diagram alur yang ditunjukkan pada Gambar
3.10 cukup membantu. Ini menunjukkan
keputusan yang mungkin diambil oleh
seorang guru saat membuat penilaian.
Setelah mengkodekan item pada tes sebagai
benar atau salah, guru memulai dengan
(secara metaforis) menanyakan apakah ada
kesalahan atau kelalaian besar dalam item
Tipe II. Jika jawabannya ya, guru bertanya
apakah ada kesalahan atau kelalaian besar
dalam item Tipe I. Jika jawabannya tidak,
maka nilai siswa setidaknya adalah 2,0, dan
seterusnya. Meskipun skema tersirat dalam
skala
 itself, I have found that the flowchart
demonstrates the underlying “logic” of this
scoring system. Recall from Figure 1.2 in
Chapter 1 that scoring classroom assess-
ments using a set of rules is associated with
a 32-percentile-point gain in student
achievement (Fuchs & Fuchs, 1986).
The flowchart in Figure 3.10 depicts a
rather tight system of rules.
OLIVIA:
itu sendiri, saya telah menemukan bahwa
diagram alur menunjukkan "logika" yang
mendasari sistem penilaian ini. Ingatlah dari
Gambar 1.2 dalam Bab 1 bahwa penilaian
penilaian kelas menggunakan seperangkat
aturan dikaitkan dengan kenaikan 32 poin
persentase dalam prestasi siswa (Fuchs &
Fuchs, 1986). Diagram alir pada Gambar
3.10 menggambarkan sistem aturan yang
agak ketat.
Using the Complete Scale
The simplified scale is a good place to start when first
trying the system described in this chapter. However,
measurement theory tells us that the more values a
scale has, the more precise the measurement. Relative
to IRT models, Embretson and Reise (2000) explain:
“Decreasing interval size increases precision in
estimating level” (p. 56). To illustrate, assume that a
teacher used a scale with only two values—
pass/fail—to score a test. Also assume that to pass the
test a student had to answer 60 percent of the items
correctly. In this scenario the student who answered
all items correctly would receive the same score (pass)
as the student who answered 60 percent of the items
correctly. Similarly, the student who answered no
items correctly would receive the same score (fail) as
the student who answered 59 percent of the items
correctly. The pass/fail scores on this test would not
provide the teacher or the students with a great deal of
information about student performance. By inference,
then, we can conclude that the complete scale with
half-point scores will provide more precise
measurement than the simplified version with whole-
point values only.
Figure 3.11 shows the complete scale again, this time
in a format more useful for scoring assessments. The
half-point scores are set off to the right to signify that
they describe response patterns between the whole-
point scores and, therefore, allow for more precision
when scoring an assessment. Specifically, the half-
point scores allow for partial credit to be assigned to
items.
To illustrate, consider the scores of 3.0, 2.5, and 2.0.
A score of 3.0 indicates that the student has answered
all Type I items correctly (those involving simpler
details and processes), as well as all Type II items
(those involving more complex ideas and processes).
FIGURE 3.11
Complete Scoring Scale
Menggunakan Skala Lengkap
Skala yang disederhanakan adalah tempat yang baik
untuk memulai ketika pertama kali mencoba sistem
yang dijelaskan dalam bab ini. Namun, teori
pengukuran memberi tahu kita bahwa semakin banyak
nilai yang dimiliki skala, semakin tepat pula
pengukurannya. Sehubungan dengan model IRT,
Embretson dan Reise (2000) menjelaskan:
"Penurunan ukuran interval meningkatkan presisi
dalam memperkirakan tingkat" (hal. 56). Untuk
mengilustrasikan, asumsikan bahwa seorang guru
menggunakan skala dengan hanya dua nilai — lulus /
gagal — untuk menilai tes. Juga asumsikan bahwa
untuk lulus tes seorang siswa harus menjawab 60
persen dari item dengan benar. Dalam skenario ini,
siswa yang menjawab semua item dengan benar akan
menerima skor (lulus) yang sama dengan siswa yang
menjawab 60 persen dari item dengan benar. Dalam
skenario ini, siswa yang menjawab semua item dengan
benar akan menerima skor (lulus) yang sama dengan
siswa yang menjawab 60 persen dari item dengan
benar. Demikian pula, siswa yang menjawab tidak ada
item dengan benar akan menerima skor yang sama
(gagal) dengan siswa yang menjawab 59 persen dari
item dengan benar. Demikian pula, siswa yang
menjawab tidak ada item dengan benar akan
menerima skor yang sama (gagal) dengan siswa yang
menjawab 59 persen dari item dengan benar. Nilai
lulus / gagal pada tes ini tidak akan memberi guru atau
siswa banyak informasi tentang kinerja siswa. Dengan
kesimpulan, maka, kita dapat menyimpulkan bahwa
skala lengkap dengan skor setengah poin akan
memberikan pengukuran yang lebih tepat daripada
versi yang disederhanakan dengan nilai-nilai seluruh
titik saja.
Gambar 3.11 menunjukkan skala lengkap lagi, kali
ini dalam format yang lebih berguna untuk penilaian
penilaian. Skor setengah poin berangkat ke kanan
untuk menandakan bahwa mereka menggambarkan
pola respons antara skor seluruh titik dan, oleh karena
itu, memungkinkan untuk lebih presisi ketika
mencetak penilaian. Secara khusus, skor setengah
poin memungkinkan untuk kredit parsial ditugaskan
ke item.
Untuk mengilustrasikannya, pertimbangkan skor 3.0,
2.5, dan 2.0. Skor 3.0 mengindikasikan bahwa siswa
telah menjawab semua item Tipe I dengan benar
(yang melibatkan detail dan proses yang lebih
sederhana), serta semua item Tipe II (yang
melibatkan ide dan proses yang lebih kompleks).
 Topic Score
on Scale Description of Place on Scale
4.0 In addition to Score 3.0 performance, in-depth inferences and applications that go
beyond what was taught
3.5 In addition to Score 3.0 performance, partial success at inferences and applications that go
beyond what was taught

3.0 No major errors or omissions regarding any of the information and/or processes
(simple or complex) that were explicitly taught
2.5 No major errors or omissions regarding the simpler details and
process and partial knowledge of the more complex ideas and processes

2.0 No major errors or omissions regarding the simpler details and processes but major
errors or omissions regarding the more com- plex ideas and processes
1.5 Partial knowledge of the simpler details and processes but major errors or omissions regarding
the more complex ideas and procedures

1.0 With help, a partial understanding of some of the simpler details and processes and
some of the more complex ideas and processes
0.5 With help, a partial understanding of some of the simpler details and processes but not the
more complex ideas and processes

0.0 Even with help, no understanding or skill demonstrated

Source: From Marzano (2004c). Copyright © 2004 by Marzano & Associates. All rights reserved. Adapted by permission.

apply to scoring a student’s ability to use a specific
type of tool in a mechanics class or to perform a
specific skill in a physical education class
The complete scale, then, is a logical extension of the
simplified scale. Teachers can use the two scales
interchangeably. When the type of assessment allows
for determining partial credit, the complete scale is
preferable. When the type of assessment does not
allow for determining partial credit, the simplified
scale is used.
Figure 3.12 depicts the relationship between the two
scales in terms of scoring. As before, the symbol +
indicates that the student responded correctly to a
particular item type (I, II, III); the symbol 0 indicates
that the student responded incorrectly or provided no
response; the term part indicates that the student
responded correctly to some of the items or answered
some parts of the items correctly. (Appendix A
contains another comparison of the complete scale
and the simplified scale, although that in Figure 3.12
suffices for most people.)
berlaku untuk menilai kemampuan siswa untuk
menggunakan jenis alat tertentu di kelas mekanik atau
untuk melakukan keterampilan tertentu di kelas
pendidikan jasmani
Skala yang lengkap, kemudian, merupakan perluasan
logis dari skala yang disederhanakan. Guru dapat
menggunakan dua skala tersebut secara bergantian.
Ketika jenis penilaian memungkinkan untuk
menentukan kredit parsial, skala lengkap lebih
disukai. Ketika jenis penilaian tidak memungkinkan
untuk menentukan kredit parsial, skala yang
disederhanakan digunakan.
Gambar 3.12 menggambarkan hubungan antara kedua
skala dalam hal penilaian. Seperti sebelumnya, simbol
+ menunjukkan bahwa siswa merespons dengan benar
untuk jenis item tertentu (I, II, III); simbol 0
menunjukkan bahwa siswa merespons secara tidak
benar atau tidak memberikan respons; bagian istilah
menunjukkan bahwa siswa merespons dengan benar
beberapa item atau menjawab beberapa bagian dengan
benar. (Lampiran A berisi perbandingan lain dari
skala lengkap dan skala yang disederhanakan,
meskipun pada Gambar 3.12 cukup untuk kebanyakan
orang.)

FIGURE 3.12
Relationship Between Simplified and Complete Scoring Scales
Student Pattern of Responses
Type I Items part part 0 with
+ + + + + part with with help
help help
Type II Items part 0 with 0 with
+ + + part 0 0 with help help
help
Type III Items 0 with 0 with 0 with
+ part 0 0 0 0 help help help

Score on
Complete (9-
Point) Scale 4.0 3.5 3.0 2.5 2.0 1.5 1.0 0.5 0.0

Score on
Simplified (5-
Point) Scale 4.0 3.0 2.0 1.0 0.0
Note: + indicates a correct response. 0 indicates incorrect or no response.
Source: From Marzano (2004c). Copyright © 2004 by Marzano & Associates. All rights reserved. Adapted by permission.

As before, to score a classroom assessment using the
complete scale, a teacher examines a student’s
responses and marks them as correct (+), incorrect/ no
response (0), or partially correct (part). Going back to
the sample test, the teacher would mark each item
using the symbols +, 0, or part. Assume that a student
has + for all Type I items and a combination of +, 0,
and part for the Type II items. The student would
receive a score of 2.5. As another example, assume
that a student answers no items correctly. However,
when the teacher provides the student with some
clues, the student demonstrates partial credit for the
Type I items but not the Type II items. She receives a
score of 0.5. As before, some teachers have found the
flowchart in Figure 3.13 to be helpful in
demonstrating the logic of scoring assessments using
the complete scale. To use the flowchart, the teacher
again begins by asking the question, are there any
major errors or omissions on the Type II items? If the
answer is yes, the teacher asks the question, are there
any major errors or omissions regarding the Type I
items? If the answer is no, the teacher asks the
question, does the student have partial credit
Seperti sebelumnya, untuk menilai penilaian kelas
menggunakan skala lengkap, seorang guru memeriksa
tanggapan siswa dan menandainya sebagai benar (+),
respons salah / tidak ada (0), atau sebagian benar
(bagian). Kembali ke tes sampel, guru akan menandai
setiap item menggunakan simbol +, 0, atau bagian.
Asumsikan bahwa siswa memiliki + untuk semua item
Tipe I dan kombinasi +, 0, dan bagian untuk item Tipe
II. Siswa akan menerima skor 2,5. Sebagai contoh
lain, asumsikan bahwa seorang siswa tidak menjawab
item dengan benar. Namun, ketika guru memberikan
beberapa petunjuk kepada siswa, siswa menunjukkan
kredit parsial untuk item Tipe I tetapi tidak untuk item
Tipe II. Dia menerima skor 0,5. Seperti sebelumnya,
beberapa guru telah menemukan diagram alur pada
Gambar 3.13 untuk membantu dalam menunjukkan
logika penilaian penilaian menggunakan skala
lengkap. Untuk menggunakan diagram alur, guru
sekali lagi memulai dengan mengajukan pertanyaan,
apakah ada kesalahan atau kelalaian besar pada item
Tipe II? Jika jawabannya ya, guru mengajukan
pertanyaan, apakah ada kesalahan atau kelalaian besar
terkait item Tipe I? Jika jawabannya tidak, guru
mengajukan pertanyaan, apakah siswa memiliki
kredit parsial
on the Type II items? If the answer is yes, the student’s
score is 2.5. If the answer is no, the student’s score is
2.0, and so on.
What to Do If Student Responses Don’t Follow a
Logical Pattern
One issue that might occasionally arise is that a
student’s response patterns don’t follow the expected
patterns for the simplified scale or the complete scale.
That is, a student exhibits an illogical response
pattern, such as answering all Type II items correctly
but missing some of the Type I items; or answering
the Type III items correctly but missing some of the
Type II items, and so on. The first thing to note is that
this phenomenon occurs even with standardized tests
that have been designed rigorously using IRT models
(see Embretson & Reise, 2000). Within IRT parlance,
illogical response patterns are referred to as “aberrant
patterns.” The second thing to note is that an illogical
response pattern might occur for a number of reasons,
including the following:
• The items in the test were flawed in some way.
• Students put effort into answering some items but
not others.
• The teacher’s evaluations of the student’s responses
are inaccurate.
A teacher can do a number of things in such situations,
including dropping some items because they are
deemed to be invalid, rethinking the classification of
specific items, and meeting individually with students
who demonstrate illogical response patterns. This
issue is covered in more depth in Chapter 4. However,
here I simply note that the ultimate goal when scoring
any assessment is to estimate each student’s true score
on the topic being assessed as accurately as possible
using the complete scale or the simplified scale.
Realizing that no assessment can ever provide
perfectly accurate data about a student, it behooves the
teacher to go beyond the observed response patterns
by collecting more information.
pada item Tipe II? Jika jawabannya ya, skor siswa
adalah 2,5. Jika jawabannya tidak, skor siswa adalah
2,0, dan seterusnya
Apa yang Harus Dilakukan Jika Tanggapan Siswa
Jangan Ikuti Pola Logika
Satu masalah yang kadang-kadang muncul adalah
bahwa pola respons siswa tidak mengikuti pola yang
diharapkan untuk skala yang disederhanakan atau
skala yang lengkap. Artinya, seorang siswa
menunjukkan pola respons yang tidak masuk akal,
seperti menjawab semua item Tipe II dengan benar
tetapi melewatkan beberapa item Tipe I; atau
menjawab item Tipe III dengan benar tetapi
melewatkan beberapa item Tipe II, dan seterusnya.
Hal pertama yang perlu diperhatikan adalah bahwa
fenomena ini terjadi bahkan dengan tes standar yang
telah dirancang secara ketat menggunakan model IRT
(lihat Embretson & Reise, 2000). Dalam bahasa IRT,
pola respons tidak logis disebut sebagai "pola
menyimpang." Hal kedua yang perlu diperhatikan
adalah bahwa pola respons tidak logis dapat terjadi
karena sejumlah alasan, termasuk yang berikut:
• Item dalam tes cacat dalam beberapa cara.
• Siswa berupaya menjawab beberapa hal tetapi tidak
yang lain.
• Evaluasi guru terhadap respons siswa tidak akurat.
Seorang guru dapat melakukan sejumlah hal dalam
situasi seperti itu, termasuk menjatuhkan beberapa
item karena dianggap tidak valid, memikirkan
kembali klasifikasi item tertentu, dan bertemu secara
individu dengan siswa yang menunjukkan pola
respons yang tidak logis. Masalah ini dibahas lebih
dalam pada Bab 4
Namun, di sini saya hanya mencatat bahwa tujuan
akhir ketika mencetak penilaian adalah untuk
memperkirakan skor sebenarnya setiap siswa pada
topik yang dinilai seakurat mungkin menggunakan
skala lengkap atau skala sederhana. Menyadari bahwa
tidak ada penilaian yang dapat memberikan data yang
benar-benar akurat tentang seorang siswa, guru harus
melampaui pola respons yang diamati dengan
mengumpulkan lebih banyak informasi..
This notion that one must go beyond a simple tallying
of correct and incorrect answers to interpret a test
score is the subject of much discussion among
measurement experts. In fact, in his 2005 presidential
address to the National Council on Measurement. in
Education, David Frisbie (2005) explained that for
decades educators have mistakenly thought of
reliability as being a characteristic of a specific test.
He explained that reliability is more properly thought
of as the manner in which scores are interpreted. (See
Technical Note 3.4 for a more detailed discussion of
Frisbie’s comments.) At face value an implication of
Frisbie’s comments is that numerical scores on tests
are never reliable in themselves. When the scores
don’t make sense, educators must look beyond them
to obtain the most accurate estimate of students’ true
scores.
The Accuracy of This Method of Scoring
Classroom Assessment
A logical and important question regarding the
method of scoring assessments described in this
chapter is, how accurate is it? As mentioned in the
previous section, Technical Note 3.4 addresses the
concept of reliability in more depth. Briefly, though,
reliability can be thought of as how precisely students’
scores on assessments estimate their true scores.
Typically, some type of reliability coefficient is
computed for a test; these reliability coefficients range
from 0 to 1.0, with 1.0 indicating a perfect reliability.
To examine the reliability of the system described
in this chapter, five teachers scored the same 10
students’ science tests discussed at the beginning of
this chapter. These five teachers were as familiar with
the test content as were those teachers who scored the
test using the point system. However, this second set
of five teachers used an early version of the simplified
scale shown in Figure 3.8. In effect, then, five teachers
scored the test by assigning points, and five teachers
scored the test using the simplified scale. (See
Marzano, 2002a, for details.) A reliability coefficient
(technically referred to as a generalizability
coefficient) was computed for the point system and
the system using the simplified scale. The reliability
coefficient using the point system was. .294, whereas
the reliability coefficient using the simplified scale
was .719. Additionally, it was found that if two
teachers independently scored a student’s test using
the simplified scale, the combined score for those two
independent ratings had an estimated reliability
(generalizability) of .822. If four teachers
independently scored a student’s assessment, the
combined score for those four independent ratings had
a reliability of .901. Similar findings have been
reported by Michael Flicek (2005a, 2005b).
These findings are quite promising because they
indicate that under the right conditions, teacher-made
assessments can have reliabilities that are in line with
those reported for standardized tests. To illustrate,
Jason Osborne (2003) found that the average
reliability reported in psychology journals is .83. Lou
and colleagues (1996) reported a typical reliability on
Gagasan bahwa seseorang harus melampaui
penghitungan sederhana dari jawaban yang benar dan
salah untuk menafsirkan skor tes adalah subjek dari
banyak diskusi di antara para ahli pengukuran.
Bahkan, dalam pidatonya di tahun 2005 kepada
Dewan Nasional untuk Pengukuran. dalam
Pendidikan, David Frisbie (2005) menjelaskan bahwa
selama berpuluh-puluh tahun, para pendidik telah
secara keliru menganggap keandalan sebagai
karakteristik dari tes tertentu. Dia menjelaskan bahwa
keandalan lebih dianggap sebagai cara di mana skor
ditafsirkan. (Lihat Catatan Teknis 3.4 untuk diskusi
yang lebih rinci tentang komentar Frisbie.) Pada nilai
nominal, implikasi dari komentar Frisbie adalah
bahwa skor numerik pada tes tidak pernah dapat
diandalkan dalam diri mereka sendiri. Ketika skor
tidak masuk akal, pendidik harus melihat lebih jauh
dari mereka untuk mendapatkan estimasi skor
sebenarnya dari siswa yang paling akurat.
Akurasi Metode Penilaian Penilaian Kelas ini
Pertanyaan logis dan penting mengenai metode
penilaian penilaian yang dijelaskan dalam bab ini
adalah, seberapa akuratkah itu? Seperti disebutkan di
bagian sebelumnya, Catatan Teknis 3.4 membahas
konsep keandalan secara lebih mendalam. Namun,
secara singkat, reliabilitas dapat dianggap sebagai
seberapa tepatnya skor siswa dalam penilaian
memperkirakan skor mereka yang sebenarnya.
Biasanya, beberapa jenis koefisien reliabilitas
dihitung untuk pengujian; koefisien reliabilitas ini
berkisar dari 0 hingga 1.0, dengan 1.0
mengindikasikan keandalan yang sempurna.
Untuk memeriksa keandalan sistem yang dijelaskan
dalam bab ini, lima guru mencetak 10 tes sains yang
sama dengan siswa yang dibahas pada awal bab ini.
Kelima guru ini terbiasa dengan konten tes seperti
halnya guru-guru yang menilai tes menggunakan
sistem poin.
Namun, set kedua lima guru ini menggunakan versi
awal dari skala yang disederhanakan yang
ditunjukkan pada Gambar 3.8. Akibatnya, kemudian,
lima guru mencetak tes dengan menetapkan poin, dan
lima guru mencetak tes menggunakan skala yang
disederhanakan. (Lihat Marzano, 2002a, untuk
detailnya.) Koefisien reliabilitas (secara teknis disebut
sebagai koefisien generalisasi) dihitung untuk sistem
poin dan sistem menggunakan skala yang
disederhanakan. Koefisien reliabilitas menggunakan
sistem poin adalah.
.294, sedangkan koefisien reliabilitas menggunakan
skala yang disederhanakan adalah .719. Selain itu,
ditemukan bahwa jika dua guru secara mandiri
mencetak tes siswa menggunakan skala yang
disederhanakan, skor gabungan untuk kedua peringkat
independen tersebut memiliki estimasi keandalan
(kemampuan generalisasi) 0,822. Jika empat guru
secara mandiri mencetak penilaian siswa, skor
gabungan untuk empat peringkat independen tersebut
standardized achievement tests of .85 and a reliability
of .75 for unstandardized tests of academic
achievement.
Since the initial studies conducted using the simplified
scale, other studies have demonstrated that the
complete scale produces even better results (Marzano,
2006). Additionally, these studies indicate that the
complete scale is most useful and accurate when it is
rewritten to identify the specific aspects of
measurement topics that signify scores of 2.0, 3.0, and
4.0. To illustrate, consider Figure 3.14. The scale in
the figure is for the measurement topic of reading for
memiliki reliabilitas 0,901. Temuan serupa telah
dilaporkan oleh Michael Flicek (2005a, 2005b)
Temuan ini cukup menjanjikan karena
menunjukkan bahwa di bawah kondisi yang tepat,
penilaian buatan guru dapat memiliki reliabilitas yang
sesuai dengan yang dilaporkan untuk tes standar.
Sebagai ilustrasi, Jason Osborne (2003) menemukan
bahwa reliabilitas rata-rata yang dilaporkan dalam
jurnal psikologi adalah 0,83. Lou dan koleganya
(1996) melaporkan reliabilitas tipikal pada tes
pencapaian standar 0,85 dan reliabilitas 0,75 untuk tes
prestasi akademik yang tidak standar
Sejak studi awal dilakukan dengan menggunakan
skala yang disederhanakan, penelitian lain telah
menunjukkan bahwa skala lengkap menghasilkan
hasil yang lebih baik (Marzano, 2006). Selain itu,
penelitian ini menunjukkan bahwa skala lengkap
paling bermanfaat dan akurat ketika ditulis ulang
untuk mengidentifikasi aspek spesifik dari topik
pengukuran yang menandakan skor 2,0, 3.0, dan 4.0.
Untuk menggambarkan, pertimbangkan Gambar 3.14.
Skala pada gambar adalah untuk topik pengukuran
membaca.
main idea at the 5th grade level. Note that specific
elements have been provided for the score values 4.0,
3.0, and 2.0. It is important to note that the example in
Figure 3.14 is just that—an example. Many schemes
might be used to define and articulate the specific
elements of score values 4.0, 3.0, and 2.0 (for a
discussion, see Marzano & Haystead, in press). In this
example, a score of 3.0 indicates that a student can
identify specific types of organizational patterns
whether they are explicitly stated in the text or
implied. The score value of 2.0 indicates that the
student can identify the same type of patterns if they
are explicitly stated in the text but makes major errors
or omissions when those patterns are implied. A score
value of 4.0 indicates that in addition to identifying
explicit and implied patterns the student can explain
and defend inferences about those patterns.
I believe that the format shown in Figure 3.14 is the
optimal way to construct measurement topics. To this
end, Appendix B presents the language arts
measurement topic shown in the figure for various
grade levels as a general example for districts and
schools to follow. For a complete listing of
measurement topics for language arts, mathematics,
science, and social studies, see Making Standards
Useful to Classroom Teachers (Marzano & Haystead,
in press). I believe that one of the most powerful
actions a district or school can take is to articulate each
measurement topic at each grade level in the format
shown in Figure 3.14. Such action not only requires
the district or school to rigorously define expected
levels of performance for each measurement topic, but
it also provides teachers with explicit guidance for
scoring assessments.
The Issue of Performance Standards
To be used effectively to track students’ progress on
measurement topics, the scale presented in this
chapter must conform to current conventions of
standardsbased reporting. One of those conventions is
to identify performance standards for student
achievement. Unfortunately, the concept of a
performance standard is frequently
misunderstood.The term was popularized in the 1993
report to the National Education Goals Panel (1993)
by the Goal 3 and 4 Standards Review Planning
Group. Commonly referred to as the Malcom Report
in deference to Shirley M. Malcom, chair of the
planning group, the report defined performance
standards as “how good is good enough” (pp. ii–iii).
Since the publication of that report, a convention that
has caught on across the United States is to define
student performance in terms of four categories:
advanced, proficient, basic, and below basic. This
scheme has it roots in the work of the National
Assessment of Educational Progress. As James
Popham (2003) notes:
Increasingly, U.S. educators are building
performance standards along the lines of the
descriptive categories used in the National
Assessment of Educational Progress (NAEP), a test
administered periodically under the auspices of the
federal government. NAEP results permit students’
ide utama di tingkat kelas 5. Perhatikan bahwa elemen
spesifik telah disediakan untuk nilai skor 4.0, 3.0, dan
2.0. Penting untuk dicatat bahwa contoh pada Gambar
3.14 hanya itu — sebuah contoh. Banyak skema dapat
digunakan untuk mendefinisikan dan
mengartikulasikan elemen spesifik dari nilai skor 4.0,
3.0, dan 2.0 (untuk diskusi, lihat Marzano & Haystead,
dalam siaran pers). Dalam contoh ini, skor 3.0
mengindikasikan bahwa seorang siswa dapat
mengidentifikasi tipe spesifik dari pola organisasi
apakah mereka secara eksplisit dinyatakan dalam teks
atau tersirat. Nilai skor 2,0 menunjukkan bahwa siswa
dapat mengidentifikasi jenis pola yang sama jika
mereka secara eksplisit dinyatakan dalam teks tetapi
membuat kesalahan atau kelalaian besar ketika pola
tersebut tersirat. Nilai skor 4.0 menunjukkan bahwa
selain mengidentifikasi pola-pola eksplisit dan tersirat
siswa dapat menjelaskan dan mempertahankan
kesimpulan tentang pola-pola itu.
Saya percaya bahwa format yang ditunjukkan pada
Gambar 3.14 adalah cara optimal untuk membangun
topik pengukuran. Untuk tujuan ini, Lampiran B
menyajikan topik pengukuran seni bahasa yang
ditunjukkan pada gambar untuk berbagai tingkatan
kelas sebagai contoh umum untuk diikuti oleh
kabupaten dan sekolah. Untuk daftar lengkap topik
pengukuran untuk seni bahasa, matematika, sains, dan
studi sosial, lihat Membuat Standar Berguna untuk
Guru Kelas (Marzano & Haystead, dalam siaran pers).
Saya percaya bahwa salah satu tindakan paling kuat
yang dapat dilakukan oleh kabupaten atau sekolah
adalah mengartikulasikan setiap topik pengukuran
pada setiap tingkat kelas dalam format yang
ditunjukkan pada Gambar 3.14. Tindakan seperti itu
tidak hanya mengharuskan kabupaten atau sekolah
untuk secara ketat mendefinisikan tingkat kinerja
yang diharapkan untuk setiap topik pengukuran, tetapi
juga memberikan guru dengan panduan eksplisit
untuk penilaian penilaian.
Masalah Standar Kinerja
Agar dapat digunakan secara efektif untuk melacak
kemajuan siswa pada topik pengukuran, skala yang
disajikan dalam bab ini harus sesuai dengan konvensi
terkini dari pelaporan berbasis standar. Salah satu
konvensi tersebut adalah untuk mengidentifikasi
standar kinerja untuk pencapaian siswa. Sayangnya,
konsep standar kinerja sering disalahpahamiIstilah ini
dipopulerkan dalam laporan tahun 1993 kepada Panel
Tujuan Pendidikan Nasional (1993) oleh Kelompok
Perencanaan Peninjauan Sasaran 3 dan 4. Biasa
disebut sebagai Laporan Malcom untuk menghormati
Shirley M. Malcom, ketua kelompok perencanaan,
laporan tersebut mendefinisikan standar kinerja
sebagai "seberapa baik cukup baik" (hal. Ii – iii). Sejak
publikasi laporan itu, sebuah konvensi yang telah
menyebar di seluruh Amerika Serikat adalah untuk
mendefinisikan kinerja siswa dalam empat kategori:
maju, mahir, dasar, dan di bawah dasar. Skema ini
berakar pada karya Penilaian Kemajuan Pendidikan
Nasional.
performances in participating states to be compared .
. . [S]ince 1990, NAEP results have been described in
four performance categories: advanced, proficient,
basic, and below basic. Most of the 50 states now use
those four categories or labels quite similar to them.
For example, if students were taking a statewide
examination consisting of 65 multiple-choice items,
the performance standards for the test could be set by
deciding how many of the 65 items must be answered
correctly for a student to be classified as advanced,
how many items for proficient and so on. (p. 39
The complete scale presented in this chapter can easily
be adapted to conform to this convention. To
illustrate, consider Figure 3.15. The logic of the
categorization scheme used in the figure is
straightforward. Advanced performance means that a
student can go beyond what was presented in class,
indicated by the score values of 4.0 and 3.5. Proficient
performance means that a student exhibits no errors
relative to the simple and complex ideas and
processes, or the student exhibits no errors regarding
the simpler details and processes and partial
knowledge of more complex ideas and processes,
indicated by the score values of 3.0 and 2.5, and so on.
Although the logic of Figure 3.15 is
straightforward, it is useful to keep in mind that the
“cut point” for each performance level is quite
arbitrary. Again, Popham (2003) notes:
My point is that performance standards are
malleable, and you never know what something like
“basic” means until you read the fine-print
description of that level of performance. For example,
the No Child Left Behind Act calls for states to
establish at least three levels of academic
achievement standards (advanced, proficient, and
basic) and to demonstrate, over time, state-decreed
increases in the proportion of students deemed
“proficient” or above. . . . However, each state is
allowed to define “proficient” in its own way. And
because there are significant negative sanctions for
schools that fail to get enough students to score at the
proficient levels on NCLB tests, in some states there
have been remarkably lenient levels of “proficiency”
established. (p. 40)
One useful interpretation of Popham’s message is
that districts and schools should set performance
standards that reflect expectations about students that
the district or school deem reasonable and valuable.
For example, a district or a school might decide that
the below basic category should end at the score value
of 1.5 as opposed to the value of 1.0, or that it should
end at 0.5 instead of 1.0.
Semakin banyak, pendidik A.S. sedang membangun
standar kinerja di sepanjang garis kategori deskriptif
yang digunakan dalam Penilaian Nasional Kemajuan
Pendidikan (NAEP), tes yang dilakukan secara
berkala di bawah naungan pemerintah federal. Hasil
NAEP memungkinkan penampilan siswa di negara-
negara yang berpartisipasi untuk dibandingkan. . . [S]
setelah tahun 1990, hasil NAEP telah dijelaskan
dalam empat kategori kinerja: maju, mahir, dasar,
dan di bawah dasar. Sebagian besar dari 50 negara
sekarang menggunakan empat kategori atau label
yang sangat mirip dengan mereka. Misalnya, jika
siswa mengikuti ujian di seluruh negara bagian yang
terdiri dari 65 item pilihan ganda, standar kinerja
untuk tes dapat ditetapkan dengan memutuskan
berapa banyak dari 65 item yang harus dijawab
dengan benar agar siswa dapat diklasifikasikan
sebagai mahir, berapa item untuk mahir dan
sebagainya. (hlm. 39
Skala lengkap yang disajikan dalam bab ini dapat
dengan mudah disesuaikan agar sesuai dengan
konvensi ini. Untuk menggambarkan, pertimbangkan
Gambar 3.15. Logika skema kategorisasi yang
digunakan dalam gambar ini sangat mudah. Kinerja
lanjutan berarti bahwa siswa dapat melampaui apa
yang disajikan di kelas, ditunjukkan oleh nilai skor 4.0
dan 3.5. Kinerja mahir berarti bahwa siswa tidak
menunjukkan kesalahan relatif terhadap ide dan
proses yang sederhana dan kompleks, atau siswa tidak
menunjukkan kesalahan mengenai perincian dan
proses yang lebih sederhana dan pengetahuan parsial
dari ide dan proses yang lebih kompleks, yang
ditunjukkan oleh nilai skor 3.0 dan 2.5 , dan
seterusnya.
Meskipun logika Gambar 3.15 mudah, perlu diingat
bahwa "titik potong" untuk setiap tingkat kinerja
cukup sewenang-wenang. Lagi, Popham (2003)
mencatat:
Maksud saya adalah bahwa standar kinerja mudah
ditempa, dan Anda tidak pernah tahu apa arti sesuatu
"dasar" sampai Anda membaca deskripsi cetakan
tingkat kinerja itu. Misalnya, Undang-Undang No
Child Left Behind Act meminta negara untuk
menetapkan setidaknya tiga tingkat standar prestasi
akademik (maju, mahir, dan dasar) dan untuk
menunjukkan, seiring waktu, peningkatan yang
ditetapkan oleh negara dalam proporsi siswa yang
dianggap "cakap" atau diatas. . . . Namun, setiap
negara diizinkan untuk mendefinisikan "mahir"
dengan caranya sendiri. Dan karena ada sanksi
negatif yang signifikan untuk sekolah yang gagal
mendapatkan siswa yang cukup untuk mencetak skor
pada tingkat mahir pada tes NCLB, di beberapa
negara telah ada tingkat "kemahiran" yang sangat
lunak yang ditetapkan. (hal. 40)
Salah satu interpretasi yang bermanfaat dari pesan
Popham adalah bahwa distrik dan sekolah harus
menetapkan standar kinerja yang mencerminkan
ekspektasi tentang siswa bahwa distrik atau sekolah
menganggapnya masuk akal dan berharga. Misalnya,
sebuah kabupaten atau sekolah mungkin memutuskan
bahwa kategori dasar di bawah ini harus berakhir pada
nilai skor 1,5 dibandingkan dengan nilai 1,0, atau
bahwa itu harus berakhir pada 0,5 bukannya 1,0
Summary and Conclusions Ringkasan dan Kesimpulan
An argument can be made against using the
point method for scoring assessments. An Argumen dapat dibuat menentang
alternative approach is grounded in the logic of penggunaan metode poin untuk penilaian
item response theory. Using this approach, penilaian. Pendekatan alternatif didasarkan
teachers translate student response patterns pada logika teori respons item. Dengan
into scores on a scale that represents menggunakan pendekatan ini, guru
progression of understanding and skill for a menerjemahkan pola respons siswa ke dalam
given measurement topic. A simplified version skor pada skala yang mewakili
of the scale uses whole-point scores only. A perkembangan pemahaman dan
complete version of the scale allows for half- keterampilan untuk topik pengukuran yang
point scores and consequently more precise diberikan. Versi skala yang disederhanakan
measurement. hanya menggunakan skor seluruh-titik. Versi
lengkap skala memungkinkan untuk skor
setengah poin dan akibatnya pengukuran
lebih tepat.