PISA UNTUK PENILAIAN PENGEMBANGAN DAN ANALYTICAL KERANGKA

Versi Draft, 3 Mei 2017

1
 KATA PENGANTAR

Program OECD for International Student Assessment (PISA), dibuat pada tahun 1997, merupakan komitmen
pemerintah OECD dan negara-negara mitra untuk memantau hasil dari sistem pendidikan, dalam hal prestasi siswa,
dalam umum, kerangka kerja yang disepakati secara internasional. PISA adalah upaya kolaborasi, menyatukan keahlian
ilmiah dari peserta negara / ekonomi dan dikemudikan bersama oleh pemerintah mereka atas dasar kepentingan
kebijakan bersama. Para ahli dari negara peserta juga melayani pada kelompok yang dibebankan dengan
menghubungkan tujuan-tujuan kebijakan PISA dengan keahlian substantif dan teknis terbaik yang tersedia di bidang
penilaian internasional sebanding bekerja. Melalui keterlibatan dalam kelompok ahli ini,

Partisipasi dalam PISA oleh negara-negara non-OECD tumbuh dan dikombinasikan dengan permintaan dari negara-negara tersebut untuk
inovasi yang akan memaksimalkan keuntungan mereka dari partisipasi dalam penilaian. PISA Pembangunan (PISA-D) adalah sebuah inisiatif yang
telah dikembangkan untuk menanggapi permintaan ini dan dalam konteks Pendidikan Goal Pembangunan Berkelanjutan yang diadopsi oleh
masyarakat internasional pada tahun 2015 dan yang menekankan akses universal untuk membaca dan menghitung. Proyek percontohan ini
bertujuan untuk membuat PISA lebih mudah diakses dan relevan untuk negara-negara berpenghasilan menengah dan rendah. Hal ini dilakukan
dengan mengembangkan dan uji coba ditingkatkan instrumen survei PISA yang lebih relevan untuk konteks ditemukan di negara-negara
berpenghasilan menengah dan rendah tetapi yang menghasilkan skor yang pada timbangan yang sama seperti penilaian PISA utama. Inisiatif ini
juga mencakup pengembangan pendekatan dan metodologi untuk termasuk out-of-sekolah anak-anak di survei. Semua instrumen dan pendekatan
diujicobakan di PISA-D akan diarusutamakan dalam PISA dari 2021 edisi penilaian seterusnya.

Publikasi ini menyajikan prinsip-prinsip di balik penilaian PISA-D untuk kedua schoolbased dan out-of-sekolah
instrumen. tugas sampel juga disertakan. Ini merakit versi dari kerangka kerja penilaian PISA untuk membaca, literasi
matematika dan ilmiah yang didasarkan pada kerangka kerja PISA 2012 dan PISA 2015 tetapi meluas kerangka kerja ini
untuk memungkinkan pengukuran yang lebih relevan dalam berbagai negara berpenghasilan menengah dan rendah.
Membuat pengukuran lebih relevan dengan negara-negara ini membutuhkan lebih detail dalam deskripsi kompetensi
siswa yang paling rentan, mereka dengan tingkat terendah dari kinerja, yang pada gilirannya memerlukan termasuk item
yang akan memungkinkan pengamatan kompetensi ini secara lebih rinci. Namun relevansi PISA-D,

Seperti siklus sebelumnya PISA, kerangka kognitif PISA-D telah ditinjau dan diperbarui oleh jaringan pakar internasional yang
memiliki pengalaman dengan PISA, domain yang relevan dan konteks yang ditemukan di negara-negara berpenghasilan menengah
dan rendah. Sekelompok ahli konten Pearson memimpin dengan kursi, bersama dengan tiga ahli yang disarankan oleh
negara-negara peserta, Ulasan versi yang ada dari PISA 2012 dan 2015 kerangka penilaian dan Bab siap 2, 3 dan 4 dari publikasi
ini. Kerangka membaca dipimpin oleh Jean-François Rouet, kerangka matematika dengan Zbigniew Marciniak dan kerangka ilmu
pengetahuan dengan Jonathan Osborne. Selain itu, perwakilan dari negara-negara peserta telah memberikan saran dan bimbingan
dalam pengembangan dan perluasan kerangka PISA-D.

Dokumen ini juga termasuk kerangka untuk kuesioner PISA-D, Bab 5, yang dibangun kembali untuk PISA-D.
Kerangka kuesioner ini dikembangkan oleh J. Douglas Willms dari The Learning Bar Inc dari Kanada, dengan kontribusi
dari Lucia Tramonte dan Robert Laurie. Itu

2
kuesioner kelompok ahli termasuk Servaas Van der Berg (Afrika Selatan, Ketua), Andres Peri (Uruguay), Fons van de Vijver
(Belanda), dan Wilima Wadhwa (India). ahli lain yang berkontribusi terhadap pengembangan kerangka kuesioner termasuk
Danielle Durepos dan Alma Lopez-Garcia.

Publikasi ini disusun oleh Sekretariat OECD, terutama oleh Michael Ward, Catalina Covacevich dan Kelly Makowiecki.
Daftar lengkap semua berkontribusi ahli dan staf pendukung termasuk pada Lampiran A. Laporan ini diterbitkan di bawah
tanggung jawab Sekretaris Jenderal OECD.

3
 DAFTAR ISI

PISA UNTUK PENGEMBANGAN PENILAIAN DAN ANALYTICAL KERANGKA ............................... 1

KATA PENGANTAR ................................................. .................................................. ................................................ 2

BAB 1. APA PISA DAN PISA UNTUK PENGEMBANGAN? .................................................. ..... 8

Pengalaman negara-negara berpenghasilan menengah di PISA ......................................... ......................................... 9

PISA untuk Pembangunan ............................................... .................................................. .............................. 10
Apa yang membuat PISA-D yang berbeda untuk PISA .......................................... .................................................. ......... 12
The PISA-D tes: Sekolah-based dan out-of-sekolah penilaian .................................. ............................ 14
Sebuah gambaran dari apa yang dinilai dalam setiap domain ......................................... .......................................... 15
Evolusi kinerja siswa pelaporan dalam PISA dan PISA-D ...................................... ............ 16
The PISA-D konteks kuesioner ............................................ .................................................. ............. 17
Kerangka kontekstual untuk PISA-D ........................................... .................................................. ..... 18
Kuesioner berbasis sekolah ............................................. .................................................. ............. 19
Out-of-sekolah kuesioner ........................................... .................................................. .............. 19
Sebuah proyek kolaboratif ............................................... .................................................. .............................. 20
Pelaksanaan PISA-D ............................................. .................................................. ......................... 21
Memperkuat kapasitas ................................................ .................................................. .......................... 22
PISA-D dan United Nation Tujuan Pembangunan Berkelanjutan ........................................ ...................... 22

REFERENSI ................................................. .................................................. ........................................... 23

BAB 2. PISA UNTUK PENGEMBANGAN MEMBACA KERANGKA .......................................... ........ 25

Apa yang baru di PISA-D? Ekstensi untuk membaca kerangka melek PISA ......................................... 26
Mendefinisikan literasi membaca ............................................... .................................................. .......................... 27
Pengorganisasian domain membaca ............................................. .................................................. ............... 31
Proses ................................................. .................................................. ............................................. 31
Situasi ................................................. .................................................. .............................................. 36
Teks ................................................. .................................................. .................................................. ... 37
Strategi untuk memperpanjang kerangka untuk memberikan cakupan yang lebih baik dari tingkat keaksaraan dasar ........................... 40
Menilai literasi membaca ............................................... .................................................. ......................... 40
Faktor yang mempengaruhi Item kesulitan .............................................. .................................................. ............. 40
format respon ................................................ .................................................. ................................. 41
Coding dan mencetak ............................................... .................................................. ................................ 42
kemahiran Pelaporan dalam membaca di PISA-D .......................................... ................................................ 42
Pengujian literasi membaca di antara out-of-sekolah penduduk ....................................... ......................... 44
Contoh item untuk menangani kerangka membaca PISA-D diperpanjang ...................................... .. 44

CATATAN ................................................. .................................................. .................................................. ..... 49

REFERENSI ................................................. .................................................. ........................................... 50

BAB 3. PISA UNTUK PENGEMBANGAN MATEMATIKA KERANGKA ....................................... 53

Apa yang baru di PISA-D? Ekstensi untuk kerangka literasi matematika PISA ................................ 54
Mendefinisikan literasi matematika ............................................... .................................................. ................. 55
Pengorganisasian domain matematika ............................................. .................................................. ...... 56
proses matematika dan kemampuan matematika yang mendasari ........................................... ...... 58
pengetahuan konten matematika ............................................... .................................................. .......... 64
Menilai melek matematika ............................................... .................................................. ............... 70

4
 format respon ................................................ .................................................. ................................. 70
Item scoring ................................................ .................................................. .......................................... 71
Pelaporan kemahiran dalam matematika .............................................. .................................................. ... 71
Pengujian melek matematika di antara out-of-sekolah penduduk ....................................... ............... 73
Contoh item untuk mengatasi diperpanjang PISA-D matematika kerangka ................................ 74

CATATAN ................................................. .................................................. .................................................. ..... 78

REFERENSI ................................................. .................................................. ........................................... 79

BAB 4. PISA UNTUK PENGEMBANGAN ILMU KERANGKA .......................................... ......... 81

Apa yang baru di PISA-D? Ekstensi untuk kerangka literasi sains PISA ....................................... 82
Mendefinisikan literasi sains ............................................... .................................................. ........................ 83
Kompetensi yang dibutuhkan untuk literasi sains ............................................ ...................................... 86
Evolusi definisi literasi sains di PISA ........................................ ........................ 88
Pengorganisasian domain ilmu ............................................. .................................................. ............... 89
Konteks item penilaian .............................................. .................................................. ................. 89
kompetensi ilmiah ................................................ .................................................. ........................ 90
Pengetahuan ilmiah ................................................ .................................................. ............................ 97
pengetahuan prosedural ................................................ .................................................. .......................... 99
pengetahuan epistemik ................................................ .................................................. ........................... 99
Menilai literasi sains ............................................... .................................................. .................... 101
permintaan kognitif ................................................ .................................................. .............................. 101
karakteristik tes ................................................ .................................................. ............................. 104
Pelaporan kemahiran dalam ilmu di PISA-D .......................................... .............................................. 106
Pengujian literasi sains di luar sekolah penduduk ....................................... ............................ 108
Contoh item untuk menangani kerangka ilmu PISA-D diperpanjang ...................................... 108

CATATAN ................................................. .................................................. .................................................. ... 113

REFERENSI ................................................. .................................................. ......................................... 114

BAB 5. PISA UNTUK PENGEMBANGAN KONTEKSTUAL KUESIONER KERANGKA .... 118

Mendefinisikan inti dari penilaian kontekstual dalam PISA-D ........................................ ................................... 120
Kemakmuran pendidikan ................................................ .................................................. ....................... 120
Menilai out-of-sekolah penduduk .......................................... .................................................. ... 123
Memilih dan mengatur isi inti ............................................ ................................................ 125
konten inti untuk menilai Pendidikan Kesejahteraan ............................................ ...................................... 127
Menilai Kesejahteraan Hasil ............................................... .................................................. .......... 127
Menilai Yayasan Sukses ............................................. .................................................. .... 131
Mahasiswa tingkat faktor demografis untuk menilai kesetaraan dan keadilan ........................................ .......... 134
faktor konteks ................................................ .................................................. ................................... 136

CATATAN ................................................. .................................................. .................................................. ... 137

REFERENSI ................................................. .................................................. ......................................... 138

LAMPIRAN A. PISA UNTUK AHLI PEMBANGUNAN DAN DUKUNGAN STAF ...................................... 144

LAMPIRAN B. ELEMEN KUNCI DARI SETIAP DARI ENAM TAHAP PENGEMBANGAN ....................... 145

LAMPIRAN C. BIOLOGI embedding, PENGEMBANGAN KUMULATIF DAN KELEMBAGAAN SELEKSI

....................................... .................................................. .................................................. .... 147

LAMPIRAN D. PENDIDIKAN KESEJAHTERAAN PATHWAY ........................................... ................... 148

5
tabel

tabel 1.1 Modul dinilai dalam kuesioner PISA-D .......................................... ......................... 18

tabel 2.1 Distribusi skor poin dalam membaca, oleh proses, untuk PISA 2012 (perkiraan distribusi) dan PISA-D (diinginkan
distribusi) ......................... .................................................. .............. 35
tabel 2.2 Distribusi skor poin dalam membaca, oleh situasi, untuk PISA 2012 (perkiraan
distribusi) dan PISA-D (distribusi yang diinginkan) ........................................ ................................................. 37
tabel 2.3 Distribusi skor poin dalam membaca, oleh format teks, untuk PISA 2012 (perkiraan distribusi) dan PISA-D (distribusi
yang diinginkan) ........................ .................................................. ............... 38
tabel 2.4 Distribusi skor poin dalam membaca, dengan coding persyaratan untuk setiap proses membaca, di PISA 2012 (perkiraan
distribusi) dan PISA-D (distribusi yang diinginkan) .................... ............................ 42
tabel 3.1 distribusi yang diinginkan item matematika berdasarkan kategori proses .......................................... .. 61
tabel 3.2 distribusi yang diinginkan item matematika berdasarkan kategori konten ....................................... 67
tabel 3.3 distribusi yang diinginkan item matematika berdasarkan kategori konteks ....................................... 70
tabel 4.1 Diinginkan distribusi barang-barang, dengan kompetensi ........................................... ............................ 97
tabel 4.2 Diinginkan distribusi barang-barang, dengan konten ........................................... ................................... 98
tabel 4.3 distribusi diinginkan item, berdasarkan jenis pengetahuan ......................................... .................. 101
tabel 4.4 distribusi yang diinginkan item untuk pengetahuan ............................................ ........................... 101
tabel 4.5 Distribusi item dengan kedalaman pengetahuan ........................................... ........................... 104

angka-angka

Gambar 2.1 Proses yang ditargetkan dalam membaca pengembangan tes literasi untuk PISA dan PISA-D ................ 33
Gambar 2.2 deskripsi Ringkasan selama tujuh tingkat kemahiran dalam membaca cetak dalam PISA-D .... 43
Gambar 3.1 Sebuah model literasi matematika dalam praktek ........................................... ......................... 57
Gambar 3.2 Hubungan antara proses matematika (atas baris horisontal) dan fundamental
kemampuan matematika (kolom paling kiri vertikal) ......................................... ...................................... 63
Gambar 3.3 deskripsi skala kemampuan untuk matematika (2003-2009) ........................................ .... 72
Gambar 4.1 Aspek kerangka penilaian literasi sains untuk PISA 2015 .......................... 89
Gambar 4.2 Inter-hubungan antara empat aspek ........................................... ................................. 89
Gambar 4.3 Konteks dalam PISA 2015 penilaian literasi sains .......................................... ....... 90
Gambar 4.4a PISA 2015 dan PISA-D kompetensi ilmiah: Jelaskan fenomena ilmiah ....... 91
Gambar 4.4b PISA 2015 dan PISA-D kompetensi ilmiah: Evaluasi dan desain penyelidikan ilmiah 93 Gambar 4.4c
PISA 2015 dan PISA-D kompetensi ilmiah: Menafsirkan data dan bukti scientifically95
Gambar 4.5 Pengetahuan tentang isi ilmu ............................................ ..................................... 98
Gambar 4.6 PISA 2015 dan PISA-D pengetahuan prosedural .......................................... ...................... 99
Gambar 4.7 PISA 2015 dan PISA-D pengetahuan epistemik .......................................... ...................... 100
Gambar 4.8 PISA 2015 dan PISA-D Kerangka Permintaan Kognitif ........................................ ... 103
Gambar 4.9 Sebuah alat untuk membangun dan menganalisis unit penilaian dan item .................................. 105
Gambar 4.10 deskripsi ringkasan dari delapan tingkat kemahiran ilmu pengetahuan dalam PISA-D ................... 107
Gambar 5.1 Sebuah model untuk menilai kesetaraan dan keadilan ........................................... ........................... 123
Gambar 5.2 Pertanyaan dalam kuesioner PISA-D ........................................... .............................. 126
Gambar D.1 Empat cara yang sukses terakumulasi ............................................. ................................... 148

kotak

kotak 1.1 Out-of-sekolah komponen ........................................... .................................................. ... 11

kotak 1.2 Fitur utama dari PISA-D ............................................ .................................................. ........... 13
kotak 1.3 Berbasis kertas atau berbasis komputer, apakah itu membuat perbedaan? ................................................. 14
kotak 1.4 Definisi dari domain .............................................. .................................................. .... 15
kotak 2.1 2012 definisi literasi membaca ............................................ ..................................... 28

6
kotak 2.2 keterampilan membaca dasar diperlukan untuk PISA untuk Pembangunan .......................................... 28
kotak 2.3 Mode pengiriman .................................................. .................................................. ................... 44
kotak 3.1 Itu PISA 2015 definisi literasi matematika ............................................. ................. 56
kotak 3.2 Mode pengiriman ................................................ .................................................. ..................... 73
kotak 4.1 pengetahuan ilmiah: PISA 2015 terminologi ............................................ ......................... 85
kotak 4.2 2015 definisi literasi sains ............................................ ................................... 86
kotak 5.1 Definisi akses ke sekolah ............................................. ............................................ 123
kotak 5.2 Kesejahteraan di PISA 2015 dan PISA-D ........................................ ........................................ 129

7
BAB 1. APA PISA DAN PISA UNTUK PENGEMBANGAN?

8
 “Yang penting bagi warga negara untuk mengetahui dan dapat melakukan?” Menanggapi pertanyaan itu dan untuk kebutuhan
lintas-nasional bukti yang sebanding pada kinerja siswa, Organisasi untuk Kerjasama Ekonomi dan Pembangunan (OECD)
meluncurkan Program Mahasiswa Internasional assessment (PISA) pada tahun 1997. PISA menilai sejauh mana siswa 15 tahun,
dekat akhir wajib belajar mereka, telah memperoleh pengetahuan dan keterampilan yang penting untuk partisipasi penuh dalam
masyarakat modern kunci.

Penilaian tiga tahunan berfokus pada mata pelajaran sekolah inti membaca, matematika dan ilmu pengetahuan. kemahiran siswa dalam domain
inovatif juga dinilai. Penilaian tidak hanya memastikan apakah siswa dapat mereproduksi pengetahuan; itu juga meneliti seberapa baik siswa dapat
ekstrapolasi dari apa yang telah mereka pelajari dan dapat menerapkan pengetahuan bahwa dalam pengaturan asing, baik dalam dan luar sekolah.
Pendekatan ini mencerminkan fakta bahwa ekonomi modern penghargaan individu tidak untuk apa yang mereka tahu, tapi untuk apa yang bisa
mereka lakukan dengan apa yang mereka ketahui.

Melalui kuesioner yang disebarkan kepada siswa, orang tua, kepala sekolah dan guru, PISA juga mengumpulkan informasi
tentang latar belakang rumah siswa, pendekatan mereka untuk belajar dan lingkungan belajar mereka.

Dalam setiap putaran PISA, salah satu domain inti diuji secara detail, sehingga analisis mendalam prestasi di
masing-masing wilayah inti tiga disajikan setiap sembilan tahun dan analisis tren ditawarkan setiap tiga tahun. Dikombinasikan
dengan informasi yang dikumpulkan melalui berbagai kuesioner, penilaian PISA menyediakan tiga jenis utama dari hasil:

• indikator dasar yang memberikan profil dasar dari pengetahuan dan keterampilan siswa.

• Indikator berasal dari kuesioner yang menunjukkan bagaimana keterampilan seperti berhubungan dengan berbagai variabel
demografi, sosial, ekonomi dan pendidikan.

• Indikator pada tren yang menunjukkan perubahan tingkat hasil dan distribusi, dan hubungan antara siswa tingkat,
tingkat sekolah dan variabel latar belakang sistem-tingkat dan hasil.

PISA adalah program berkelanjutan yang, dalam jangka panjang, akan mengarah pada pengembangan dari badan informasi untuk
memantau tren dalam pengetahuan dan keterampilan siswa di berbagai negara serta dalam subkelompok demografi yang berbeda dari
masing-masing negara. Para pembuat kebijakan di seluruh dunia menggunakan temuan PISA untuk mengukur pengetahuan dan keterampilan
siswa di negara mereka sendiri / ekonomi dibandingkan dengan mereka yang berpartisipasi lainnya negara / ekonomi, membangun tolok ukur untuk
perbaikan dalam pendidikan yang disediakan dan / atau hasil belajar, dan memahami kekuatan dan kelemahan relatif dari sistem pendidikan mereka
sendiri.

Pengalaman negara-negara berpenghasilan menengah di PISA

Siswa yang mewakili lebih dari 80 negara dan ekonomi yang bersama-sama membentuk lebih dari 80% dari ekonomi dunia telah
berpartisipasi dalam PISA sejak diluncurkan, termasuk 44 negara berpendapatan menengah, 27 di antaranya telah penerima bantuan asing.
Karena semakin banyak peserta bergabung telah menjadi jelas bahwa desain dan implementasi model untuk PISA perlu berevolusi untuk
berhasil memenuhi satu set yang lebih besar dan lebih beragam negara, termasuk meningkatnya jumlah negara berpenghasilan menengah dan
rendah yang ingin berpartisipasi dalam penilaian (Lockheed, 2015). Secara khusus, PISA perlu lebih memperhatikan perbedaan yang jelas
antara negara-negara berpenghasilan menengah tinggi dan kualitas pendidikan dan ekuitas dan berkorelasi mereka.

9
 analisis OECD dari pengalaman negara-negara berpenghasilan menengah di PISA telah mengungkapkan berikut tiga hasil
utama yang memiliki implikasi untuk pengembangan lebih lanjut dari penilaian dan kerangka nya:

• Pertama, kinerja keseluruhan siswa 15 tahun di semua negara-negara berpenghasilan menengah yang berpartisipasi dalam
PISA, kecuali Viet Nam, lebih rendah dibandingkan siswa di negara-negara OECD, dan bervariasi. Kinerja juga terkonsentrasi
di tingkat yang lebih rendah dari skala kemampuan PISA.

• Kedua, beberapa input pendidikan sebagai saat diukur dengan PISA tidak terkait dengan perbedaan dalam kinerja di
sekolah-sekolah di sebagian besar negara-negara berpenghasilan menengah yang berpartisipasi dalam PISA. Selain itu, ukuran
status ekonomi, sosial dan budaya saat ini digunakan oleh PISA tidak cukup menangkap tingkat pendidikan yang lebih rendah,
pendapatan dan faktor risiko orangtua kemiskinan yang lebih sering terjadi di negara-negara berpenghasilan rendah. Selain itu,
juga telah menjadi jelas bahwa data yang diambil pada konteks yang mengelilingi siswa bisa dibuat lebih relevan, terutama dalam
hal kebijakan, untuk menengah dan berpenghasilan rendah negara.

• Ketiga, out-of-sekolah tingkat untuk anak-anak sekolah menengah yang tinggi di banyak negara menengah dan berpenghasilan
rendah dan, di samping itu, banyak 15-year-olds dalam konteks ini juga terdaftar di kelas bawah mereka yang memenuhi syarat
untuk PISA (yaitu bawah kelas 6). Kombinasi dari dua mekanisme pengucilan ini menghasilkan indeks cakupan penduduk 15 tahun
serendah 50% di beberapa negara peserta PISA dan membatasi komparabilitas hasil negara berpenghasilan menengah dengan
negara-negara lain. Hal ini juga terjadi bahwa PISA menjalankan risiko memperkuat kebijakan eksklusi di negara-negara
berpenghasilan menengah kecuali penilaian mengambil langkah konkret untuk menggabungkan semua 15-year-olds dalam
populasi suatu negara dalam survei.

PISA untuk Pembangunan

Bangunan pada pengalaman negara-negara berpenghasilan menengah di PISA dan dalam upaya untuk merespon tiga
hasil disorot di atas, OECD meluncurkan PISA Pembangunan (PISA-D) inisiatif di
2014. Ini adalah proyek percontohan satu-off rentang enam tahun yang bertujuan untuk membuat penilaian yang lebih mudah diakses dan relevan
dengan jangkauan yang lebih luas dari negara. Proyek ini juga merupakan kontribusi terhadap pemantauan target pendidikan internasional yang
berkaitan dengan Pendidikan Berkelanjutan Development Goal (SDG) yang diadopsi oleh Majelis Umum PBB pada tahun 2015 sebagai bagian dari Agenda
untuk Pembangunan Berkelanjutan. Proyek ini juga telah diinformasikan oleh analisis pelajaran dan pengalaman dari penilaian skala besar regional
dan internasional lainnya dalam pendidikan di negara-negara berpenghasilan rendah menengah dan (Cresswell, Schwantner dan Waters, 2015).
Untuk mencapai tujuan-tujuannya, proyek menetapkan untuk:

• meningkatkan resolusi tes PISA di ujung bawah dari distribusi kinerja siswa

• menangkap lebih luas konteks sosial dan ekonomi

• menggabungkan penilaian out-of-sekolah 14-16-year-olds.

Proyek PISA-D yang sangat kolaboratif sedang dilakukan oleh OECD, sembilan negara peserta, kontraktor
internasional, mitra pembangunan dan mitra teknis.

Delapan negara yang berpartisipasi dalam pelaksanaan berbasis sekolah dari PISA-D: Bhutan, Kamboja, Ekuador, Guatemala,
Honduras, Paraguay, Senegal dan Zambia. Salah satu alasan utama untuk partisipasi mereka adalah keinginan pembuat kebijakan untuk
memahami mengapa siswa di negara mereka mencapai tingkat tertentu

10
kinerja. Hasil penilaian akan memberikan para pembuat kebijakan tersebut dengan data dan bukti yang dapat digunakan untuk menentukan apa yang bisa mereka
lakukan untuk memperbaiki sistem pendidikan mereka dan, pada akhirnya, memastikan bahwa siswa mereka memperoleh keterampilan yang dibutuhkan untuk
berhasil dalam dunia besok dan sebagaimana diatur dalam Pendidikan SDG Kerangka.

Selain komponen berbasis sekolah dari PISA-D, out-of-sekolah komponen sedang dikemudikan oleh enam negara - Guatemala, Honduras, Senegal,
Paraguay, Panama dan Zambia - dan berfokus pada pengetahuan, keterampilan dan faktor kontekstual 14-16 tahun out-of-sekolah pemuda. Dalam PISA-D definisi
out-of-sekolah pemuda menggabungkan semua 14-16-year-olds yang tidak tercermin dalam survei berbasis sekolah, termasuk out-of-sekolah dan mereka yang
berada di sekolah tetapi terdaftar di nilai 6 atau di bawah. Komponen ini outof-sekolah mengadopsi kerangka yang sama digunakan untuk komponen berbasis
sekolah dari PISA-D, sebagai deskripsi kompetensi, terutama pada tingkat lebih rendah dari kinerja, juga akan berlaku untuk populasi out-ofschool. Melalui
out-of-sekolah penilaian, PISA-D kehendak, untuk pertama kalinya, dapat melaporkan apa-15-year-olds dalam populasi tahu dan dapat melakukan. Analisis data ini
harus menghasilkan wawasan yang berharga bagi pemerintah di negara-negara berpenghasilan menengah dan rendah khususnya tentang efektivitas sistem
pendidikan mereka, dan tentang keberhasilan kebijakan yang bertujuan untuk menjamin kualitas pendidikan inklusif dan adil dan kesempatan belajar bagi semua.
Hal ini juga akan berfungsi untuk memperkuat kebijakan ini inklusi dan berkontribusi terhadap pemantauan dan pencapaian SDG Pendidikan dengan penekanan
pada meninggalkan tidak ada di belakang. dan tentang keberhasilan kebijakan yang bertujuan untuk menjamin kualitas pendidikan dan pembelajaran yang inklusif
dan berkeadilan kesempatan bagi semua. Hal ini juga akan berfungsi untuk memperkuat kebijakan ini inklusi dan berkontribusi terhadap pemantauan dan
pencapaian SDG Pendidikan dengan penekanan pada meninggalkan tidak ada di belakang. dan tentang keberhasilan kebijakan yang bertujuan untuk menjamin
kualitas pendidikan dan pembelajaran yang inklusif dan berkeadilan kesempatan bagi semua. Hal ini juga akan berfungsi untuk memperkuat kebijakan ini inklusi
dan berkontribusi terhadap pemantauan dan pencapaian SDG Pendidikan dengan penekanan pada meninggalkan tidak ada di belakang.

Kotak 1.1 out-of-sekolah komponen

Di banyak negara-negara berpenghasilan rendah menengah dan, proporsi relatif besar dari 15-year-olds tidak terdaftar di sekolah atau
terdaftar di sekolah di kelas di bawah target nilai PISA ini (kelas 7 dan di atas) dan oleh karena itu dikeluarkan dari sampel PISA. Di negara-negara
PISA-D yang berpartisipasi, antara 10 dan 50% dari remaja berada dalam situasi ini. The PISA-D out-of-sekolah komponen membangun metode dan
pendekatan untuk memasukkan out-of-sekolah remaja berusia 14 sampai 16 dan juga siswa 14-16 tahun yang berada di kelas 6 atau di bawah dalam
penilaian. Rentang sampel diperluas dari 15-year-olds ke 14- dan 16-year-olds mengikuti rekomendasi dari Carr-Hill (2015), yang menyoroti
tantangan menemukan sebuah kelompok usia tunggal tahun dalam survei rumah tangga di menengah dan negara-negara berpenghasilan rendah.

Instrumen PISA-D, sekali dikemudikan dan diselesaikan, akan tersedia untuk digunakan dalam siklus PISA masa depan (dari PISA 2021 dan
seterusnya) dan akan memungkinkan negara-negara berpenghasilan rendah menengah dan untuk berpartisipasi dalam PISA lebih berarti. instrumen
ditingkatkan juga akan mendukung langkah-langkah global membaca dan keterampilan matematika sebagai bagian dari agenda Pendidikan SDG, potensi
penguatan PISA untuk memberikan metrik global untuk mengukur kemajuan menuju target dan indikator Pendidikan SDG.

Kerangka PISA-D mempertahankan konsep kompetensi yang diadopsi oleh PISA Dewan Pimpinan sebagai bagian dari strategi
jangka panjang untuk PISA tahun 2013, yang berusaha untuk melampaui reproduksi pengetahuan subjek-materi dan berfokus pada
kapasitas siswa untuk ekstrapolasi dari apa yang mereka ketahui dan menerapkan pengetahuan mereka. Selanjutnya, kerangka PISA-D
mempertahankan parameter desain yang sama yang telah membimbing semua penilaian dari PISA 2000.

Publikasi ini menyajikan teori yang mendasari penilaian PISA-D, yang telah dikembangkan dalam konteks PISA. Ini mencakup
kerangka kerja untuk menilai tiga mata pelajaran inti - membaca, matematika dan ilmu pengetahuan (Bab 2, 3 dan 4, masing-masing),
yang membangun kerangka kerja PISA 2012 dan 2015. Bab-bab menguraikan proses kognitif atau kompetensi yang terlibat dalam
tugas-tugas masing-masing domain pengujian, dan bidang pengetahuan dan konteks atau situasi di mana proses-proses kognitif
diterapkan. Mereka juga membahas bagaimana setiap domain dinilai. Bab 5 menjelaskan teori yang mendasari kuesioner konteks

11
dibagikan kepada siswa, kepala sekolah dan guru, dan juga orang-orang yang dijawab oleh pemuda out-of-sekolah, orang tua mereka (atau orang
yang paling memiliki pengetahuan tentang pemuda), dan pewawancara.

Apa yang membuat PISA-D yang berbeda untuk PISA

Sementara PISA-D yang dilaksanakan dalam kerangka PISA keseluruhan dan sesuai dengan standar teknis PISA dan praktek yang
biasa, itu termasuk fitur-fitur baru dan perangkat tambahan untuk membuat penilaian lebih mudah diakses dan relevan untuk menengah dan
negara-negara berpenghasilan rendah. Fitur-fitur ini dan perangkat tambahan termasuk:

• Sebuah perlakuan yang sama dari tiga domain utama diuji: membaca, matematika dan ilmu pengetahuan - tidak seperti PISA di mana dalam
setiap siklus salah satu domain diberikan fokus khusus.

• instrumen tes Target yang mencakup lebih luas kinerja pada tingkat yang lebih rendah dari kemampuan sambil
tetap memberikan skor yang menutupi seluruh kerangka PISA dan sebanding dengan hasil PISA utama - tidak
seperti PISA di mana tes tidak ditargetkan pada tingkat tertentu kinerja .

• instrumen tes dimodifikasi dan kuesioner yang memiliki beban membaca berkurang pengakuan dari tingkat yang lebih rendah dari membaca
kapasitas melek huruf di negara-negara berpenghasilan menengah dan rendah.

• kuesioner kontekstual yang memiliki item inti mereka dari PISA untuk memfasilitasi perbandingan internasional, tetapi juga termasuk
beberapa yang berbeda PISA-D item yang lebih relevan dengan menengah dan negara-negara berpenghasilan rendah. Barang-barang
baru juga menanggapi prioritas kebijakan negara-negara yang berpartisipasi dalam PISA-D.

• Penilaian terhadap out-of-sekolah populasi: PISA menilai 15-year-olds yang berada di sekolah di kelas 7 atau di atas.
PISA-D menilai populasi yang sama ini, tetapi juga memiliki modul out-of-sekolah yang bertujuan untuk 14-16-tahun-olds
yang tidak bersekolah, atau di sekolah tetapi di kelas 6 atau di bawah. Dimasukkannya out-of-sekolah pemuda dalam survei
membuat PISA-D unik dalam lanskap penilaian skala besar internasional. Proyek ini mengeksplorasi metodologi dan alat
pengumpulan data mengenai out-of-sekolah pemuda, i) dalam hal keterampilan mereka, kompetensi dan atribut
non-kognitif, dan ii) dalam hal mendapatkan data ditindaklanjuti lebih baik pada karakteristik anak ini, alasan karena mereka
tidak berada di sekolah dan pada besaran dan bentuk pengucilan dan kesenjangan.

Fitur lain yang unik untuk PISA-D adalah pembelajaran dan pengembangan kapasitas peluang yang dibangun ke dalam setiap fase
pelaksanaan proyek. Dalam mempersiapkan untuk melaksanakan penilaian, negara-negara PISA-D menjalani kapasitas analisis berdasarkan
standar teknis PISA ini kebutuhan dan menyusun rencana pengembangan kapasitas yang juga relevan untuk memperkuat sistem penilaian
nasional mereka. Negara-negara PISA-D juga dibantu oleh OECD dalam penyusunan rencana pelaksanaan proyek yang memandu
pelaksanaannya survei dan memastikan manusia yang diperlukan dan sumber daya keuangan berada di tempat. Sementara negara-negara
PISA tidak diuntungkan dari dukungan serupa, proyek PISA-D berfungsi sebagai dasar untuk mengembangkan model dukungan dalam survei
PISA inti yang dapat ditawarkan lebih luas untuk semua negara yang berpartisipasi dari 2021 siklus seterusnya.

Tidak seperti PISA, hasil PISA-D akan diterbitkan dalam laporan nasional yang dihasilkan oleh negara-negara bekerja sama
dengan OECD. Sebagai bagian dari proses produksi laporan OECD dan kontraktornya akan memberikan masukan ke negara-negara
untuk memperkuat kapasitas mereka untuk analisis data, interpretasi PISA hasil, penulisan laporan dan produksi produk komunikasi
yang disesuaikan untuk mendukung diseminasi hasil PISA dan pesan kebijakan . Laporan-laporan nasional dan produk komunikasi
lainnya akan

12
Hasil hadir dalam konteks skala dan PISA internasional termasuk analisis yang relevan dan informasi berdasarkan prioritas kebijakan
masing-masing negara. Laporan akan merupakan ringkasan hasil kunci dan analisis yang dirancang untuk merangsang perdebatan
konstruktif pada bangunan perbaikan atas dan memperkaya data yang sudah ada dan bukti dari sumber-sumber nasional, regional atau
internasional. Laporan nasional akan menjadi puncak dari strategi keterlibatan dan komunikasi yang sedang dilaksanakan oleh
masing-masing negara, fitur lain yang baru diperkenalkan oleh PISA-D. Strategi ini melibatkan pemangku kepentingan di masing-masing
negara dalam survei dan pembahasan hasil dan implikasi bagi kebijakan. Pemangku kepentingan termasuk murid, orang tua, guru, serikat
guru, kepala sekolah, akademisi, masyarakat sipil, media dan pemerintah pusat dan daerah.

Kotak 1.2 Fitur utama dari PISA-D

konten

Survei berbasis sekolah menilai membaca, matematika dan ilmu pengetahuan, sedangkan survei out-of-sekolah termasuk membaca dan matematika.
PISA-D menilai tidak hanya apakah siswa dapat mereproduksi pengetahuan, tetapi juga apakah mereka dapat ekstrapolasi dari apa yang telah mereka pelajari
dan menerapkan pengetahuan mereka dalam situasi yang baru. Ini menekankan penguasaan proses, pemahaman konsep, dan kemampuan untuk berfungsi
dalam berbagai jenis situasi.

Murid-murid

Sekitar 37 100 siswa akan menyelesaikan penilaian berbasis sekolah, mewakili sekitar 1 siswa 200 000 15 tahun (di kelas 7 atau di atas) di
sekolah-sekolah dari tujuh negara peserta. Selain itu, sekitar 16 200 siswa dari lima negara akan berpartisipasi dalam penilaian out-ofschool,
mewakili sekitar 1 700 000 out-ofschool muda antara usia 14 dan 16 dan siswa berusia 14 sampai 16 di kelas 6 atau di bawah.

penilaian

Penilaian berbasis sekolah adalah tes berbasis kertas, total dua jam berlangsung untuk setiap siswa. item tes adalah campuran dari pertanyaan pilihan ganda
dan pertanyaan yang membutuhkan siswa untuk membangun respon mereka sendiri. Item diatur dalam kelompok-kelompok, setiap kelompok berdasarkan pada
bagian yang menetapkan situasi kehidupan nyata. Penilaian berbasis sekolah mengacu pada sekitar 195 item tes, dengan siswa yang berbeda mengambil kombinasi
yang berbeda dari item tes.

Siswa juga menjawab kuesioner latar belakang, yang memakan waktu 35 menit untuk menyelesaikan. Kuesioner mencari informasi tentang
siswa itu sendiri, kesejahteraan mereka, pencapaian, dan keterlibatan, rumah mereka, keluarga mereka, dan sekolah mereka dan pengalaman
belajar. kepala sekolah mengisi kuesioner sekolah yang menggambarkan sekolah, siswa dan guru, dan lingkungan belajar. Guru juga menyelesaikan
kuesioner tentang diri mereka sendiri, sumber daya sekolah, praktek mengajar mereka dan siswa mereka.

Out-of-sekolah penilaian dilakukan pada komputer tablet. Tes ini memakan waktu 50 menit dan item tes adalah campuran dari pertanyaan pilihan ganda dan
pertanyaan yang membutuhkan responden untuk membangun respon mereka sendiri. Item diatur dalam kelompok-kelompok, setiap kelompok berdasarkan pada bagian
yang menetapkan situasi kehidupan nyata. Pemuda berpartisipasi dalam out-of-sekolah penilaian akan menjawab sekitar 38 item tes, dengan responden yang berbeda
mengambil kombinasi yang berbeda dari item tes.

Out-of-sekolah responden juga menjawab kuesioner latar belakang, yang memakan waktu sekitar 30 menit untuk menyelesaikan. Kuesioner
mencari informasi tentang pemuda itu sendiri, kesejahteraan mereka, pencapaian dan sikap terhadap belajar, rumah mereka dan sekolah mereka dan
pengalaman belajar. Orang tua (atau orang yang paling berpengetahuan) juga menjawab kuesioner tentang latar belakang dan masa kanak-kanak
pemuda pengalaman. Sebuah kuesioner observasi rumah tangga diselesaikan oleh pewawancara dan informasi tentang lokasi rumah tangga
dikumpulkan oleh Pusat Nasional PISAD.

13
The PISA-D tes: Sekolah-based dan out-of-sekolah penilaian

Instrumen berbasis sekolah PISA-D adalah penilaian berbasis kertas dirancang sebagai uji dua jam. desain tes ini mencakup empat
kelompok dari masing-masing domain ilmu pengetahuan, membaca dan matematika untuk mengukur tren. Ada 12 buku uji yang berbeda,
masing-masing berisi PISA 2015 tren item dari dua dari tiga inti domain PISA. Setiap buku dialokasikan untuk siswa terdiri dari empat cluster 30
menit dari bahan uji. Secara total, siswa menghabiskan 120 menit pada masing-masing dari tiga mata pelajaran, membaca, matematika dan ilmu
pengetahuan.

Setiap buku tes selesai oleh jumlah yang memadai siswa untuk perkiraan yang tepat harus dibuat dari tingkat prestasi pada semua item
dengan siswa di masing-masing negara dan dalam subkelompok yang relevan dalam suatu negara (seperti anak laki-laki dan perempuan, dan
mahasiswa dari berbagai sosial dan ekonomi konteks). Perbandingan dengan PISA 2015, penilaian berbasis komputer, terjamin melalui item
tren. Selain itu, setiap siswa menjawab kuesioner latar belakang 35 menit, yang mengumpulkan informasi kontekstual yang dianalisis dengan
hasil tes untuk memberikan gambaran yang lebih luas dari kinerja siswa.

The PISA-D instrumen out-of-sekolah adalah penilaian berbasis tablet yang dirancang sebagai tes 50 menit. Program survei
rumah tangga berbasis komputer Pengkajian Internasional Adult Kompetensi (PIACC) digunakan sebagai model untuk memilih
modus pengiriman, dan tablet yang dipilih lebih dari laptop pada rekening biaya, efisiensi dan ramah pengguna. Tes ini akan
mencakup modul inti 10 menit membaca dan matematika dasar keterampilan untuk memastikan bahwa responden memiliki tingkat
yang sesuai keterampilan untuk melanjutkan ke penilaian penuh. Sebuah jumlah minimum yang ditetapkan item menjawab dengan
benar akan menentukan set item yang akan disajikan kepada responden di tahap kedua dari penilaian kognitif. Tahap kedua
dirancang untuk mengambil tidak lebih dari 40 menit untuk menyelesaikan. Responden yang lulus modul inti akan secara acak
ditugaskan untuk salah satu dari 30 bentuk mengukur membaca dan literasi matematika. Responden yang gagal modul inti akan
diarahkan ke penilaian 10 menit dari komponen membaca diikuti oleh “Form 0”, penilaian 30 menit dari dasar membaca dan tugas
literasi matematika. Selain itu, peserta menjawab 30 menit kuesioner.

Kotak 1.3 Paper-based atau berbasis komputer, apakah itu membuat perbedaan?

Ada banyak penelitian tentang kinerja tes kertas dan berbasis komputer, tapi temuan dicampur. Beberapa penelitian awal menunjukkan bahwa
kecepatan membaca lebih lambat dalam lingkungan berbasis komputer (Dillon, 1994) dan kurang akurat (Muter et al., 1982), meskipun studi ini
dilakukan pada tugas proofreading, tidak dalam situasi penilaian. Richardson et al. (2002) melaporkan bahwa siswa menemukan pemecahan
masalah tugas berbasis komputer menarik dan memotivasi, sering meskipun pahaman jenis masalah dan sifat menantang item. Mereka
kadang-kadang terganggu oleh grafis yang menarik, dan kadang-kadang digunakan heuristik yang buruk ketika mencoba tugas.

Ada tubuh besar literatur yang lebih baru pada kesetaraan kertas dan berbasis komputer tes (misalnya Macedo-Rouet et al, 2009;. Paek, 2005);
namun ini masih mengungkapkan temuan yang saling bertentangan. Dalam salah satu perbandingan terbesar dari berbasis kertas dan pengujian berbasis
komputer, Sandene et al. (2008) menemukan bahwa skor rata-rata kelas delapan siswa adalah empat poin lebih tinggi pada tes matematika berbasis
komputer dari pada tes berbasis kertas setara. Bennett et al. (2008) menyimpulkan dari penelitian bahwa keakraban komputer mempengaruhi kinerja pada
tes matematika berbasis komputer, sementara yang lain telah menemukan bahwa berbagai fungsi yang tersedia melalui tes berbasis komputer dapat
mempengaruhi kinerja. Misalnya, Mason, Patry dan Berstein (2001) menemukan bahwa kinerja siswa terkena dampak negatif dalam tes berbasis komputer
dibandingkan dengan tes berbasis kertas ketika tidak ada kesempatan pada versi komputer untuk meninjau dan memeriksa respon. Bennett (2003)
menemukan bahwa ukuran layar skor terpengaruh pada tes lisan-penalaran, mungkin karena layar komputer lebih kecil memerlukan bergulir.

Sebaliknya, meta-analisis studi melihat matematika K-12 siswa dan membaca prestasi (Wang et al., 2007) menunjukkan bahwa, secara
keseluruhan, modus administrasi tidak berpengaruh signifikan secara statistik pada nilai. Sebuah studi modus-efek dilakukan sebagai bagian dari
Program OECD Pengkajian Internasional Dewasa Kompetensi
(PIAAC) uji coba lapangan. Dalam penelitian ini, orang dewasa secara acak ditugaskan untuk baik berbasis komputer atau berbasis kertas

14
penilaian keterampilan membaca dan menghitung. Sebagian besar item yang digunakan dalam modus pengiriman kertas diadaptasi untuk
pengiriman komputer dan digunakan dalam penelitian ini. Analisis data ini mengungkapkan bahwa hampir semua parameter item yang stabil di dua
mode, sehingga menunjukkan bahwa respon dapat diukur sepanjang membaca dan berhitung sama sisik (OECD, 2014). Mengingat bukti ini, itu
hipotesis bahwa PISA 2009 item membaca bisa dialihkan ke layar untuk PISA 2015 tanpa mempengaruhi data tren. Bukti ini juga dasar untuk
hypothesising yang PISA-D membaca dan matematika item bisa dialihkan ke tablet tanpa mempengaruhi data tren.

Sebuah gambaran dari apa yang dinilai dalam setiap domain

Kotak 1.4 menyajikan definisi dari tiga domain dinilai dalam PISA-D, yang merupakan definisi yang sama digunakan untuk PISA 2015. Definisi semua
menekankan pengetahuan dan keterampilan yang memungkinkan seseorang untuk berpartisipasi penuh dalam masyarakat fungsional. partisipasi tersebut
membutuhkan lebih dari sekedar mampu melaksanakan tugas-tugas yang dikenakan eksternal, misalnya, majikan; itu juga berarti mampu berpartisipasi dalam
pengambilan keputusan. Tugas yang lebih kompleks dalam PISA-D memerlukan siswa untuk merenungkan dan mengevaluasi materi, bukan hanya untuk
menjawab pertanyaan yang memiliki satu jawaban yang benar.

Kotak 1.4 Definisi dari domain

Membaca keaksaraan: kapasitas individu untuk memahami, menggunakan, merenungkan dan terlibat dengan teks tertulis, dalam rangka mencapai tujuan seseorang, untuk mengembangkan
pengetahuan dan potensi seseorang, dan untuk berpartisipasi dalam masyarakat.

keaksaraan matematika: kapasitas individu untuk merumuskan, mempekerjakan, dan menafsirkan matematika dalam berbagai konteks. Ini mencakup penalaran
matematis dan menggunakan matematika konsep, prosedur, fakta-fakta dan alat-alat untuk menggambarkan, menjelaskan dan memprediksi fenomena. Ini
membantu individu untuk mengakui peran bahwa matematika bermain di dunia dan untuk membuat penilaian baik didirikan dan keputusan yang dibutuhkan oleh
konstruktif, terlibat dan warga reflektif.

literasi sains: Kemampuan untuk terlibat dengan isu-isu terkait ilmu pengetahuan, dan dengan ide-ide ilmu pengetahuan, sebagai warga reflektif. Seseorang
melek ilmiah bersedia untuk terlibat dalam wacana beralasan tentang ilmu pengetahuan dan teknologi yang memerlukan kompetensi untuk menjelaskan
fenomena ilmiah, mengevaluasi dan desain penyelidikan ilmiah, dan menafsirkan data dan bukti ilmiah.

Membaca keaksaraan ( Bab 2) didefinisikan sebagai kemampuan individu untuk memahami, menggunakan, merenungkan dan terlibat dengan teks tertulis
untuk mencapai tujuan mereka, mengembangkan pengetahuan dan potensi mereka, dan berpartisipasi dalam masyarakat.

PISA-D menilai kinerja siswa dalam membaca pertanyaan yang terkait dengan tiga karakteristik tugas utama:

• Proses, yang mengacu pada pendekatan kognitif yang menentukan bagaimana pembaca terlibat dengan teks

• Teks, yang mengacu pada berbagai materi yang dibaca

• Situasi, yang mengacu pada berbagai konteks yang luas atau tujuan yang membaca berlangsung.

keaksaraan matematika ( Bab 3) didefinisikan sebagai kemampuan individu untuk merumuskan, mempekerjakan, dan menafsirkan
matematika dalam berbagai konteks. Ini mencakup penalaran matematis dan menggunakan matematika konsep, prosedur, fakta-fakta dan
alat-alat untuk menggambarkan, menjelaskan dan memprediksi fenomena. Ini membantu individu untuk mengakui peran bahwa matematika
bermain di dunia dan untuk membuat penilaian baik didirikan dan keputusan yang dibutuhkan oleh konstruktif, terlibat dan warga reflektif.

PISA-D menilai kinerja siswa dalam matematika melalui pertanyaan-pertanyaan yang berkaitan dengan tiga aspek yang saling terkait:

15
 • Proses matematika yang menggambarkan apa yang orang lakukan untuk menghubungkan konteks masalah dengan matematika dan
dengan demikian memecahkan masalah, dan kemampuan yang mendasari proses-proses tersebut

• Isi matematika yang ditargetkan untuk digunakan dalam item penilaian

• Konteks di mana item penilaian berada.

literasi sains ( Bab 4) termasuk dalam penilaian berbasis sekolah saja dan didefinisikan sebagai kemampuan untuk terlibat dengan
isu-isu terkait ilmu pengetahuan, dan dengan ide-ide ilmu pengetahuan, sebagai warga reflektif. Seseorang melek ilmiah bersedia untuk
terlibat dalam wacana beralasan tentang ilmu pengetahuan dan teknologi, yang membutuhkan kompetensi untuk menjelaskan fenomena
ilmiah, mengevaluasi dan desain penyelidikan ilmiah, dan menafsirkan data dan bukti ilmiah.

PISA menilai kinerja siswa dalam ilmu pengetahuan melalui pertanyaan yang berkaitan dengan:

• Konteks: Masalah pribadi, lokal / nasional dan global, baik saat ini dan sejarah, yang menuntut beberapa pemahaman ilmu
pengetahuan dan teknologi

• Pengetahuan: Pemahaman tentang fakta-fakta utama, konsep dan teori penjelasan yang membentuk dasar pengetahuan
ilmiah. Pengetahuan tersebut meliputi pengetahuan tentang alam dan teknologi artefak (pengetahuan konten), pengetahuan
tentang bagaimana ide-ide tersebut diproduksi (pengetahuan prosedural), dan pemahaman tentang alasan yang mendasari
untuk prosedur ini dan pembenaran untuk mereka gunakan (pengetahuan epistemic).

• Kompetensi: Kemampuan untuk menjelaskan fenomena ilmiah, mengevaluasi dan merancang ilmiah.

Evolusi kinerja siswa pelaporan dalam PISA dan PISA-D

Hasil dari PISA dilaporkan menggunakan skala. Awalnya, OECD skor rata-rata untuk ketiga subjek adalah 500
dengan standar deviasi dari 100, yang berarti bahwa dua-pertiga dari siswa di negara-negara OECD mencetak antara 400
dan 600 poin. Skor ini mewakili derajat kemahiran dalam domain tertentu. Dalam siklus berikutnya dari PISA, OECD rata
skor berfluktuasi sedikit sekitar aslinya. Evolusi pelaporan kinerja siswa dalam PISA dan PISA-D dalam tiga domain
diringkas dalam bagian di bawah.

keaksaraan membaca

melek membaca adalah domain utama pada tahun 2000, dan timbangan membaca dibagi menjadi lima tingkat pengetahuan dan
keterampilan. Keuntungan utama dari pendekatan ini adalah bahwa hal itu berguna untuk menggambarkan apa yang nomor besar siswa dapat
melakukan tugas-tugas pada tingkat kesulitan yang berbeda. Hasil juga disajikan melalui tiga “aspek” subskala membaca: mengakses dan
mengambil informasi; mengintegrasikan dan menginterpretasikan teks-teks; dan mencerminkan dan mengevaluasi teks. Sebuah skala kemahiran
juga tersedia untuk matematika dan ilmu pengetahuan, meskipun tanpa tingkat dijelaskan.

PISA 2003 dibangun di atas pendekatan ini dengan menetapkan enam tingkat kemahiran untuk skala matematika. Ada empat “konten”
subskala dalam matematika: ruang dan bentuk, perubahan dan hubungan, kuantitas, dan ketidakpastian.

Demikian pula, pelaporan ilmu di PISA 2006 ditentukan enam tingkat kemahiran. Tiga “kompetensi” subskala dalam ilmu
yang berkaitan dengan mengidentifikasi isu-isu ilmiah, menjelaskan fenomena

16
ilmiah dan menggunakan bukti ilmiah. kinerja negara itu dibandingkan dengan dasar pengetahuan tentang ilmu dan
pengetahuan ilmu. Tiga bidang utama pengetahuan ilmu yang sistem fisik, sistem kehidupan, dan bumi dan ruang sistem.

PISA 2009 menandai pertama kalinya bahwa literasi membaca itu kembali dinilai sebagai domain utama. Hasil Trend
dilaporkan untuk semua tiga domain. PISA 2009 menambahkan Level 6 dengan skala membaca untuk menggambarkan tingkat
yang sangat tinggi kemahiran membaca. Tingkat bawah kemampuan, Level 1, itu dilabel ulang sebagai Tingkat 1a. tingkat lain,
Tingkat 1b, diperkenalkan untuk menggambarkan kinerja siswa yang akan sebelumnya telah dinilai sebagai “di bawah Level 1”, tapi
yang menunjukkan kemampuan dalam kaitannya dengan item baru yang lebih mudah daripada yang termasuk dalam penilaian
PISA sebelumnya. Perubahan ini memungkinkan negara untuk tahu lebih banyak tentang apa jenis mahasiswa tugas dengan
sangat tinggi dan sangat rendah kemampuan membaca mampu menyelesaikan. Untuk lebih memperluas kerangka kerja untuk
ujung bawah dari skala membaca kemahiran,

keaksaraan matematika

Matematika itu kembali dinilai sebagai domain utama dalam PISA 2012. Selain “isi” subskala (dengan “ketidakpastian”
skala re-dinamakan sebagai “ketidakpastian dan data” untuk meningkatkan kejelasan), tiga subskala baru dikembangkan
untuk menilai tiga proses di mana siswa, sebagai pemecah masalah yang aktif, terlibat. Ketiga “proses” subskala adalah:
merumuskan situasi matematis; mempekerjakan konsep-konsep matematika, fakta, prosedur dan penalaran; dan
menafsirkan, menerapkan dan mengevaluasi hasil matematika (dikenal sebagai merumuskan, “mempekerjakan” dan
“menafsirkan”). Untuk lebih memperluas kerangka kerja untuk ujung bawah skala kemahiran literasi matematika, PISA-D
mengganti nama Level 1 sebagai 1a, dan menciptakan dua tingkat kemahiran baru pada akhir rendah skala: Tingkat 1b dan
1c untuk lebih mengukur proses dasar,

literasi sains

Science, yang merupakan subjek utama penilaian dalam PISA 2006, lagi-lagi domain utama di PISA
2015. Penilaian tersebut mengukur kemampuan siswa untuk: menjelaskan fenomena ilmiah; mengevaluasi dan merancang penyelidikan ilmiah;
dan menafsirkan data dan bukti ilmiah. Skala ilmu juga diperpanjang dengan penambahan Tingkat 1b untuk lebih menggambarkan kemampuan
siswa pada tingkat terendah dari kemampuan yang menunjukkan literasi sains minimal dan yang akan sebelumnya tidak dimasukkan dalam
skala pelaporan. Untuk lebih memperluas kerangka kerja untuk ujung bawah skala kemahiran literasi sains PISA-D menambahkan Tingkat 1c
untuk mengumpulkan informasi tentang keterampilan dasar di tingkat kinerja terendah, seperti mampu mengingat pengetahuan ilmiah yang
tepat tapi tidak menerapkan pengetahuan tersebut, atau untuk membuat prediksi sederhana tetapi tidak membenarkan itu.

The PISA-D kuesioner konteks

Fokus dari kuesioner kontekstual PISA adalah pada pemahaman bagaimana ukuran kinerja siswa pada usia 15 terkait dengan
berbagai aspek sekolah dan praktek kelas serta faktor-faktor terkait lainnya, seperti konteks ekonomi, sosial dan budaya. The PISA-D
kuesioner meliputi aspek-aspek tersebut dan juga mencakup satu set yang lebih luas dari kesejahteraan hasil dan lebih luas faktor risiko
dan protektif, dengan mempertimbangkan perbedaan dalam pengalaman hidup dari anak-anak di negara berkembang, baik dari
orang-orang yang berada di sekolah dan dari mereka yang tidak.

17
Kerangka kontekstual untuk PISA-D

Kerangka PISA-D kuesioner menggunakan model Pendidikan Kesejahteraan (Willms 2015) sebagai kerangka menyeluruh,
sementara juga mempertimbangkan tujuan dari PISA-D, pelajaran dari masa lalu siklus PISA dan studi internasional lainnya,
rekomendasi dari literatur penelitian dan prioritas dari negara-negara peserta. kemakmuran pendidikan, seperti yang diterapkan
dalam PISA-D, adalah pendekatan hidup-kursus yang mencakup inti set metrik untuk sukses di enam tahap kunci pembangunan,
yang mencakup periode dari konsepsi untuk remaja. Ini mengidentifikasi satu set kunci dari hasil, yang disebut “Kesejahteraan
Hasil” selama enam tahap pengembangan dari konsepsi sampai usia 18, dan satu set faktor keluarga, institusi dan masyarakat,
yang disebut “Yayasan untuk Sukses”, yang mendorong hasil ini. PISA-D berfokus pada tahap kelima dari kerangka Pendidikan
Kesejahteraan,

Kerangka kerja ini sangat menekankan pada kesetaraan dan keadilan, dengan kesetaraan mengacu pada perbedaan di antara
sub-populasi dalam distribusi hasil pendidikan mereka dan ekuitas mengacu pada perbedaan di antara sub-populasi di akses mereka ke
sumber daya dan proses pendidikan yang mempengaruhi hasil pendidikan. Kerangka kontekstual PISA-D juga berfokus pada
pengukuran status ekonomi sosial dan kemiskinan, dengan tujuan eksplorasi ukuran internasional kemiskinan bagi kaum muda di
negara-negara berpenghasilan menengah dan rendah sementara juga memperluas ukuran indeks PISA ekonomi, status sosial dan
budaya (ESCs).

Kerangka untuk kuesioner PISA-D berfokus pada 14 modul konten. Modul ini mengukur empat Kemakmuran Hasil,
lima Yayasan untuk Sukses, dan lima faktor latar belakang demografis yang relevan dengan menilai kesetaraan dan
keadilan yang tercantum di bawah ini. Selain itu, kuesioner meliputi beberapa langkah latar belakang guru, sekolah dan
tingkat sistem yang menyediakan konteks untuk Hasil Kemakmuran. Bab 5 menyajikan kerangka kuesioner PISA-D secara
rinci.

Tabel 1.1 Modul dinilai dalam kuesioner PISA-D

1. Kesejahteraan Hasil 1,1 kinerja Akademik (diukur melalui tes PISA-D)

1.2 Tingkat pendidikan
1.3 Kesehatan dan kesejahteraan

1,4 keterlibatan Mahasiswa

2. Yayasan Sukses 2.1 lingkungan Inklusif

2.2 instruksi Kualitas
waktu 2,3 ​Belajar
2.4 sumber Material
2,5 Keluarga dan dukungan masyarakat

3. Faktor demografi untuk menilai kesetaraan 3.1 Jenis Kelamin

dan keadilan 3.2 Cacat

3.3 Status Immigrant

3.4 Status sosial ekonomi dan kemiskinan

3,5 Bahasa yang digunakan di rumah dan bahasa pengantar

PISA-D meningkatkan kuesioner kontekstual faktor ukuran yang lebih baik yang lebih kuat terkait dengan kinerja siswa di
negara-negara berpenghasilan rendah menengah dan tetap menjaga perbandingan dengan PISA pada seperangkat indikator inti.
Sebagai contoh, kuesioner mengumpulkan data yang lebih rinci tentang siswa bahasa pengantar di sekolah, bahasa di rumah dan status
sosial ekonomi mereka, yang diukur dengan harta rumah dan orang tua pendidikan, keterampilan keaksaraan dan partisipasi dalam
angkatan kerja. Kuesioner juga mengidentifikasi indikator tambahan dari keberhasilan pendidikan di luar kinerja pada tes PISA. Ini

18
Indikator yang diukur melalui pertanyaan tentang pencapaian pendidikan, kesehatan dan kesejahteraan, dan keterlibatan siswa dalam
belajar.

Hal ini juga penting untuk dicatat bahwa informasi kontekstual yang dikumpulkan melalui siswa, sekolah dan guru
kuesioner terdiri hanya sebagian dari informasi yang tersedia untuk PISA-D. Data sistem-tingkat yang menggambarkan struktur
umum sistem pendidikan akan digunakan dalam analisis dan negara laporan PISA-D. Data tingkat sistem ini mencakup
informasi tentang struktur program nasional, penilaian nasional dan ujian, waktu instruksi, pelatihan guru dan gaji, keuangan
pendidikan (termasuk pendaftaran), rekening nasional dan data populasi. data yang tersedia pada semua indikator ini telah
ditinjau untuk negara-negara PISA-D, mengidentifikasi status pengumpulan data sistem-tingkat dan ketersediaan dari segi
kualitas dan kelengkapan (UNESCO Institute of Statistics, 2016).

Kuesioner berbasis sekolah

Kuesioner berbasis sekolah bagi siswa, guru dan kepala sekolah telah dikembangkan sesuai dengan kerangka
kontekstual. kuesioner ini memakan waktu sekitar 35 menit bagi siswa untuk menyelesaikan dan sekitar 25 menit untuk
guru dan kepala sekolah. Tanggapan terhadap kuesioner dianalisis dengan hasil penilaian untuk memberikan sekaligus
gambaran yang lebih luas dan lebih bernuansa siswa, sekolah dan kinerja sistem. kuesioner ini mencari informasi tentang:

• Mahasiswa dan latar belakang keluarga mereka, termasuk modal ekonomi, sosial dan budaya mereka, dan bahasa mereka
berbicara di rumah versus bahasa pengantar

• Aspek kehidupan siswa, seperti tingkat pencapaian pendidikan, kesehatan dan kesejahteraan mereka, dan keterlibatan
mereka dengan sekolah

• Aspek pembelajaran, termasuk kualitas pengajaran, lingkungan inklusif, waktu belajar, sekolah sumber daya material dan
dukungan keluarga dan masyarakat

• Konteks belajar, termasuk guru, sekolah dan tingkat sistem informasi

Out-of-sekolah kuesioner

Out-of-sekolah kuesioner komponen untuk pemuda, orang tua dan pewawancara telah dikembangkan sesuai dengan kerangka
kontekstual. kuesioner ini masing-masing mengambil antara 15 dan 30 menit untuk pemuda, orang yang paling berpengetahuan pemuda
tersebut (orang tua, wali atau lainnya) dan pewawancara masing-masing untuk menyelesaikan. kuesioner ini mencari informasi tentang:

• Pemuda dan latar belakang keluarga mereka, termasuk modal ekonomi, sosial dan budaya mereka, dan bahasa mereka berbicara
di rumah versus bahasa pengantar ketika mereka menghadiri sekolah

• Aspek kehidupan pemuda, seperti tingkat pencapaian pendidikan, sikap mereka terhadap belajar, status pekerjaan mereka,
kebiasaan dan kehidupan mereka di luar sekolah, dan kesehatan mereka dan kesejahteraan

• Aspek pembelajaran, termasuk lingkungan inklusif, dukungan keluarga, persepsi mereka tentang inklusifitas lingkungan
sekolah mereka ketika mereka menghadiri sekolah, alasan mereka berada di luar sekolah dan hambatan mencegah mereka
dari kembali ke sekolah, dan dukungan keluarga dan lingkungan

19
 • Aspek tahun-tahun awal pemuda, pengalaman pendidikan mereka dan harapan pendidikan orang tua / pemberi perawatan
untuk pemuda

• Aspek rumah tangga pemuda, termasuk lokasi dan karakteristik sekitarnya

Sebuah proyek kolaboratif

PISA-D merupakan upaya yang sangat kolaboratif dilakukan oleh OECD Sekretariat, kontraktor dan sembilan negara peserta
dengan dukungan dari beberapa mitra pembangunan dan mitra institusional.

Direktorat OECD Pendidikan dan Keterampilan dan Pengembangan Kerjasama Direktorat berbagi tanggung jawab
untuk keseluruhan manajemen PISA-D, pemantauan pelaksanaannya pada hari-hari dasar dan membangun konsensus
antara negara-negara. OECD berfungsi sebagai Sekretariat dan lawan antara PISA-D International Advisory Group (IAG),
Dewan Pimpinan PISA (PGB), Teknis Advisory Group (TAG) dan kontraktor PISA-D. OECD juga bertanggung jawab untuk
membangun kapasitas negara-negara peserta, produksi indikator, analisis hasil,

IAG, yang spesifik untuk PISA-D, bertemu setiap tahun dan terdiri dari pejabat pemerintah dari negara-negara peserta,
perwakilan dari mitra pembangunan yang mendukung inisiatif, perwakilan dari mitra institusional, seperti UNESCO dan
UNICEF, ahli diundang dan perwakilan dari OECD.

The PGB, yang mewakili semua negara / ekonomi dengan keanggotaan PISA penuh pada tingkat kebijakan senior, menentukan
prioritas kebijakan untuk PISA dalam konteks tujuan OECD dan mengawasi kepatuhan terhadap prioritas ini selama pelaksanaan
program. The PGB menetapkan prioritas untuk mengembangkan indikator, untuk mendirikan instrumen penilaian dan pelaporan hasil.
Para ahli dari negara-negara / ekonomi juga melayani pada kelompok kerja untuk memastikan bahwa instrumen secara internasional
valid dan memperhitungkan perbedaan dalam budaya dan sistem pendidikan.

The PISA-D TAG dikelola oleh OECD mengeksplorasi masalah teknis yang memiliki kebijakan atau proyek implikasi dan
saran OECD dan kontraktor internasional pada isu-isu ini.

Para kontraktor internasional PISA-D bertanggung jawab untuk operasi survei dan manajemen dan memimpin pada
mendukung negara-negara untuk melaksanakan program. Para kontraktor juga memimpin pada pengembangan instrumen
penilaian yang disempurnakan, menggambar pada keahlian teknis dari Subject Matter Expert Grup dan Kuesioner Ahli
Kelompok yang mendukung PISA. Perkembangan kerangka PISA-D untuk membaca, matematika dan ilmu pengetahuan dan
pengembangan instrumen kognitif PISA-D adalah tanggung jawab kontraktor Educational Testing Service (ETS), sedangkan
desain dan pengembangan kuesioner PISA-D adalah tanggung jawab kontraktor The Learning Bar (TLB). Manajemen dan
pengawasan dari survei ini, pengembangan instrumen, skala dan analisis adalah tanggung jawab ETS seperti pengembangan
platform elektronik. mitra atau subkontraktor yang terlibat dengan ETS lainnya termasuk Pearson untuk pengembangan
kerangka kognitif, penggulung untuk jaminan kualitas linguistik dan kontrol dan Westat untuk operasi survei dan sampling.

negara peserta melaksanakan survei di tingkat nasional melalui Pusat Nasional (NCS). Dalam NCS PISA dikelola di
tingkat negara oleh Manajer Proyek Nasional (NPMs), tunduk pada prosedur administrasi yang telah disepakati dan sesuai
dengan -D PISA Standar Teknis diberlakukan oleh

20
OECD dan kontraktornya. The NPMs memainkan peran penting dalam memastikan implementasi yang berkualitas tinggi dan sesuai
dengan -D PISA Standar Teknis membantu membentuk dan membimbing proyek. Mereka juga memverifikasi dan mengevaluasi hasil
survei, analisis, laporan dan publikasi. Kerjasama siswa, guru dan kepala sekolah di sekolah yang berpartisipasi sangat penting untuk
keberhasilan PISA-D selama semua tahap pengembangan dan implementasi. pakar nasional dari negara-negara peserta
berkontribusi pada penyusunan kerangka kerja dan instrumen dan mereka juga memberikan masukan untuk desain output analitis.
NCS berkolaborasi dengan OECD pada analisis data PISA-D untuk negara mereka dan produksi laporan nasional dan produk
komunikasi lainnya.

Dari awal proyek, OECD telah terlibat partisipasi lembaga internasional dan program utama berkaitan dengan
penilaian siswa dan meningkatkan kualitas pendidikan di negara-negara berkembang. Ini mitra teknis termasuk UNESCO,
UNESCO Institute of Statistics (UIS), Pendidikan untuk Semua Keaksaraan (EFA GMR) tim, UNICEF, Kemitraan Global
untuk Pendidikan (GPE) dan program-program penilaian berikut: ASER; Egra; EGMA; SACMEQ; PASEC; Pre-PIRLS dan
PIRLS; TIMSS; LLECE; LANGKAH; LAMPU; UWEZO; dan WEI-SPS. Perwakilan dari lembaga ini dan program telah
berkonsultasi pada semua aspek desain dan pengembangan proyek.

Biaya internasional dan nasional proyek yang didanai melalui kombinasi dukungan mitra pembangunan dan
pembiayaan dari negara-negara PISA-D. mitra pembangunan yang telah memberikan pembiayaan atau bantuan-in-kind
adalah Perancis (AFD); Jerman (BMZ / GIZ); GPE; Inter-American Development Bank (IADB); Irlandia (Irish Aid); Jepang
(JICA); Korea; Perusahaan Microsoft; positivo; Norwegia (Norad); Varkey Yayasan cerah; United Kingdom (DFID); dan Bank
Dunia.

Pelaksanaan PISA-D

PISA-D yang dilaksanakan di lima fase selama 2014-2019.

1. Desain, perencanaan dan koordinasi (2014-15): produksi kertas ahli untuk menginformasikan karya
meningkatkan instrumen penilaian, pemilihan kontraktor internasional untuk melakukan pekerjaan, dan persiapan
negara-negara peserta, termasuk Kapasitas Analisis Kebutuhan, pengembangan kapasitas Rencana Bangunan dan
Rencana Pelaksanaan Proyek. Fase ini juga termasuk pertemuan tahunan pertama dan kedua dari PISA-D
International Advisory Group (IAG) dan pertemuan tahunan pertama dan kedua dari PISA-D Teknis Advisory Group
(TAG) yang penting untuk mencapai kesepakatan pada desain prakarsa.

2. pengembangan teknis (2015-16): review kerangka penilaian dan item, pemilihan

item, desain perangkat tambahan, persiapan bahan, dan perencanaan untuk uji coba lapangan, serta pengembangan
Analisis proyek dan Pelaporan Rencana.

3. uji coba lapangan dan di-negara pengumpulan data (2016-18): uji coba lapangan di masing-masing negara untuk menguji
instrumen ditingkatkan, meninjau dan menganalisis hasil uji coba lapangan, persiapan bahan untuk pengumpulan data
studi utama, dan melakukan pengumpulan data penelitian utama.

4. Analisis dan penulisan laporan (2018-19): pembersihan data dan analisis, interpretasi hasil, delapan
negara menulis laporan nasional mereka didukung oleh OECD dan kontraktornya.

5. Laporan produksi, diseminasi dan pemerintahan pasca-pilot (2018-19): instrumen diselesaikan, sebuah
review independen dari proyek selesai, laporan nasional yang diterbitkan, laporan hasil proyek dan laporan teknis
yang diterbitkan, seminar internasional PISA-D, dan instrumen PISA-D tergabung dalam PISA dari 2021 siklus
seterusnya.

21
memperkuat kapasitas

Sembilan negara (Bhutan, Kamboja, Ekuador, Guatemala, Honduras, Panama, Paraguay, Senegal dan Zambia) telah bermitra dengan
OECD untuk mengembangkan dan menguji instrumen PISA ditingkatkan. Dengan pengecualian dari Panama, negara-negara ini belum pernah
berpartisipasi dalam PISA, tetapi mereka memiliki pengalaman dengan penilaian regional atau internasional dan melakukan penilaian mahasiswa
nasional.

Selain memberikan perangkat tambahan untuk PISA dibahas di atas, PISA-D juga membangun kapasitas untuk mengelola mahasiswa
skala besar belajar penilaian dan menggunakan hasilnya untuk mendukung dialog kebijakan dan pengambilan keputusan di negara-negara
yang berpartisipasi. OECD menawarkan pelatihan negara yang berpartisipasi pada berbagai topik, termasuk kerangka kerja dan
pengembangan item, sampling, terjemahan / adaptasi instrumen survei, manajemen data, coding tanggapan siswa, analisis data dan
pelaporan.

negara-negara yang berpartisipasi masing-masing telah menetapkan NC dan dinominasikan sebuah NPM untuk memastikan infrastruktur
yang tepat dan sumber daya di tempat untuk melaksanakan penilaian sesuai dengan Standar Teknis PISA. Sebuah proses tiga tahap telah
dikembangkan dan diimplementasikan untuk mempersiapkan negara untuk partisipasi PISA-D:

1. Kapasitas Analisis Kebutuhan: memastikan ada kapasitas dasar yang kuat untuk melaksanakan
proyek dan mengidentifikasi daerah yang sangat potensial bagi negara.

2. Rencana Kapasitas: alamat diidentifikasi kebutuhan kapasitas dan meningkatkan memungkinkan

lingkungan untuk PISA, khususnya penggunaan hasil penilaian untuk dialog kebijakan nasional dan pengambilan
keputusan berbasis bukti.

3. Proyek Rencana Pelaksanaan: menjelaskan tindakan yang akan dilakukan oleh entitas tertentu dan
agen yang diberi nama dan ditugaskan untuk implementasi oleh pihak berwenang dari negara peserta bersama-sama
dengan sumber daya yang diperlukan.

Proyek ini juga mempromosikan peer-to-peer pembelajaran dengan menyatukan negara-negara yang sudah berpartisipasi dalam
PISA dengan negara-negara PISA-D melalui kunjungan individu negara, pertukaran staf, pertemuan internasional, pelatihan teknis dan
lokakarya, dan pengembangan studi kasus negara. kemitraan negara ini memungkinkan untuk berbagi informasi tentang pelaksanaan
studi dan juga tentang bekerja dengan stakeholder pendidikan, menggunakan PISA untuk menginformasikan diskusi nasional yang lebih
luas tentang nilai dan standar penilaian, dan pembuatan laporan nasional dan menyebarluaskan hasil penilaian.

PISA-D dan United Nation Tujuan Pembangunan Berkelanjutan

SDG Pendidikan 2030 agenda (UNESCO, 2015) yang diatur dalam kerangka Tujuan Pembangunan Berkelanjutan (United
Nations, 2015) menekankan kualitas, ekuitas dan pengukuran hasil belajar bagi anak-anak sampai orang dewasa yang bekerja.
Tantangannya sekarang adalah untuk menentukan indikator pembelajaran global yang dapat diukur dan dilacak pada skala global
dari waktu ke waktu. Melalui peningkatan nya dari PISA, inisiatif PISA-D dirancang untuk menginformasikan dan mendukung
pemantauan, pelaporan dan pencapaian SDG Pendidikan dan target yang terkait dan indikator, terutama yang berhubungan dengan
hasil belajar.

OECD telah menjadi mitra kunci dari UNESCO dan lembaga co-digelarnya lainnya dalam mengembangkan kerangka Pendidikan
SDG dan bekerja sama dengan UIS dalam pengembangan indikator yang akan digunakan untuk mengukur kemajuan menuju pencapaian
SDG. Pada gilirannya, UNESCO, UIS dan Bank Dunia telah bermitra dengan OECD dalam mendukung inisiatif PISA-D.

22
 Salah satu tantangan utama dalam melaksanakan agenda SDG Pendidikan adalah untuk menentukan indikator pembelajaran global
yang dapat diukur dan dilacak pada skala global dari waktu ke waktu. OECD, UIS dan Bank Dunia bekerja sama dan dengan praktisi lain
kunci, pembuat kebijakan, peneliti, perwakilan pemerintah, organisasi masyarakat sipil, penyandang dana, badan-badan PBB, dan
pemangku kepentingan lainnya berkomitmen untuk meningkatkan hasil belajar di semua negara - terutama, rendah - dan negara-negara
berpenghasilan menengah. PISA-D dan rencana OECD untuk mengarusutamakan output dari proyek dalam siklus masa depan PISA
merupakan kontribusi kunci untuk upaya ini dan merupakan perwujudan dari kerjasama internasional dalam mendukung pengukuran dan
pemantauan hasil belajar dalam konteks SDG Pendidikan .

REFERENSI

Adams, R. dan Cresswell, J. (2016), “PISA Pengembangan Teknis Strand A: Peningkatan PISA
Instrumen kognitif”, OECD Pendidikan Kertas Kerja, No.126, OECD Publishing, Paris,
http://dx.doi.org/10.1787/5jm5fb3f85s0-en .

Bennett, RE (2003), Penilaian secara online dan komparatif dari Arti Score, Penelitian
Memorandum, Educational Testing Service, Princeton, NJ.

Bennett, RE et al. (2008), “Apakah itu penting jika saya mengambil tes matematika saya di komputer? Kedua empiris
studi tentang efek mode NAEP”, Journal of Technology, Belajar, dan Penilaian, Vol. 6/9.

Carr-Hill, R. (2015), “PISA untuk pengembangan untai teknis c: Memasukkan out-of-sekolah 15-year-olds
dalam penilaian”, OECD Pendidikan Kertas Kerja, No 120, OECD Publishing, Paris,
http://dx.doi.org/10.1787/5js0bsln9mg2-en .

Cresswell, J., U. Schwantner dan C. Waters (2015), Sebuah Tinjauan Penilaian Skala Besar Internasional di
Pendidikan: Menilai Keterampilan Komponen dan Mengumpulkan Kontekstual Data, PISA, Bank Dunia, Washington, DC /
OECD Publishing, Paris, http://dx.doi.org/10.1787/9789264248373-en .

Dillon, A. (1994), Merancang Usable Elektronik Teks: Aspek ergonomis Informasi Penggunaan Manusia,
Taylor dan Francis, London.

Lockheed, M., T. Prokic-Bruer dan A. Shadrova (2015), Pengalaman Negara Tengah Berpenghasilan
Berpartisipasi dalam PISA 2000-2015, PISA, Bank Dunia, Washington, DC / OECD Publishing, Paris, 10,1787 /
9789264246195-en .

Macedo-Rouet, M. et al. (2009), “kinerja Mahasiswa dan kepuasan dengan web vs berbasis kertas
praktek kuis dan catatan kuliah”, Komputer dan Pendidikan, Vol. 53, hlm. 375-384.

Mason, B., M. Patry dan D. Berstein (2001), “Pemeriksaan kesetaraan antara non-adaptif
berbasis komputer dan pengujian tradisional”, Jurnal Pendidikan Computing Research, Vol. 1/24, pp. 29-39.

Muter, P. et al. (1982), “Extended pembacaan teks terus menerus di layar televisi”, Faktor manusia, Vol.
24, hlm. 501-508.

23
OECD (2016), PISA 2015 Penilaian dan Kerangka Analisis: Sains, Membaca, Matematika dan
Melek Finansial, PISA, OECD Publishing, Paris. DOI: http://dx.doi.org/10.1787/9789264255425en

OECD (2014), Teknis Laporan Survei Keterampilan Dewasa (PIAAC), pra-publikasi, OECD, Paris,
www.oecd.org/site/piaac/_Technical%20Report_17OCT13.pdf .

OECD (2013), PISA 2012 Penilaian dan Kerangka Analisis: Matematika, Membaca, Ilmu,
Problem Solving dan Melek Finansial, OECD Publishing,
http://dx.doi.org/10.1787/9789264190511-en .

Paek, P. (2005), Tren terbaru di Komparatif Studi: Pearson Pengukuran Pendidikan, Pearson
Pendidikan Pengukuran,
http://images.pearsonassessments.com/images/tmrs/tmrs_rg/TrendsCompStudies.pdf (Diakses 21 November 2007).

Richardson, M. et al. (2002), “pikiran Menantang? persepsi siswa tentang berbasis komputer kelas dunia
tes pemecahan masalah”, Komputer di Perilaku Manusia, Vol. 18/6, hlm. 633-649.

Sandene, B. et al. (2005), Penilaian secara online di Matematika dan Menulis: Laporan dari NAEP
Teknologi Berbasis Assessment Project, Penelitian dan Pengembangan Series ( NCES 2005-457). Departemen Pendidikan AS,
Pusat Nasional untuk Statistik Pendidikan, Kantor Percetakan Pemerintah AS, Washington, DC.

Institut UNESCO untuk Statistik (2016), Membuat Pendidikan Hitungan Pembangunan: Pendataan dan
Ketersediaan di Enam PISA untuk Negara Pembangunan, OECD Publishing, Paris,
http://dx.doi.org/10.1787/9789264255449-en .

UNESCO (2015), Pendidikan 2030 Incheon Deklarasi dan Kerangka Aksi: Menuju inklusif dan
pendidikan merata kualitas dan belajar seumur hidup untuk semua, tersedia di:
www.unesco.org/new/fileadmin/MULTIMEDIA/HQ/ED/ED/pdf/FFA_Complet_Web-ENG.pdf .

PBB (2015), Transformasi Dunia kami - 2030 Agenda Pembangunan Berkelanjutan, PBB,
New York, tersedia di: www.un.org/pga/wp-content/uploads/sites/3/2015/08/120815_outcomedocument-of-Summit-for-adoption-of-the-post-2
.

Wang, S. et al. (2007), “Sebuah meta-analisis dari efek mode pengujian di kelas K-12 tes matematika”,
Pendidikan dan Psikologis Pengukuran, Vol. 67, hlm. 219-238.

Willms, JD (2015), Pendidikan Kemakmuran, Fredericton: The Learning Bar Inc.

Willms, J. dan Tramonte, L. (2015), “Menuju pengembangan kuesioner kontekstual untuk PISA
untuk studi pembangunan”, OECD Pendidikan Kertas Kerja, No 118, OECD Publishing, Paris,
http://dx.doi.org/10.1787/5js1kv8crsjf-en .

24
 BAB 2. PISA UNTUK PENGEMBANGAN MEMBACA KERANGKA

Bab ini mendefinisikan “membaca melek” sebagaimana dinilai dalam Program Penilaian Siswa Internasional
(PISA) dan ekstensi untuk kerangka membaca PISA yang telah dirancang untuk PISA untuk Pembangunan
(PISA-D) proyek. Ini menggambarkan proses yang terlibat dalam membaca dan jenis teks dan format respon
yang digunakan dalam penilaian membaca PISA-D dan menyediakan beberapa item sampel. Bab ini juga
membahas bagaimana kinerja siswa dalam membaca diukur dan dilaporkan.

25
Apa yang baru di PISA-D? Ekstensi untuk kerangka literasi membaca PISA

Ekstensi dibuat untuk kerangka kerja PISA untuk PISA-D merupakan upaya untuk mendapatkan informasi lebih
lanjut tentang siswa di bagian bawah distribusi kinerja, terutama untuk Level 1. teks dalam bab ini menarik terutama pada
kerangka membaca PISA 2012, dengan penambahan mengatasi ekstensi dari kerangka dan beberapa modifikasi untuk
aspek alamat sangat penting untuk penilaian untuk PISA-D. Beberapa elemen dari 2018 kerangka juga telah disertakan. 1 Ekstensi
terjadi terutama di empat lokasi: tinjauan literatur, deskripsi dari proses membaca, deskripsi dari tingkat kemahiran, dan
diskusi menilai kemahiran. Alasan di balik perubahan ini juga disediakan.

Membaca melek adalah domain utama yang dinilai pada tahun 2000 untuk siklus PISA pertama (PISA 2000). Untuk siklus PISA
keempat (PISA 2009), itu yang pertama ditinjau kembali sebagai domain utama, membutuhkan review lengkap dari kerangka kerja
dan pengembangan baru dari instrumen yang mewakilinya. Untuk siklus PISA ketujuh (2018), kerangka konseptual untuk literasi
membaca sekali lagi sedang direvisi. Bab ini membahas kerangka konseptual yang mendasari penilaian PISA 2012 kompetensi
membaca siswa dan ekstensi untuk PISA-D. Definisi domain adalah sama seperti pada PISA 2009 (ketika itu dinilai sebagai domain
utama untuk kedua kalinya), selain dari deskripsi yang disempurnakan dari tingkat kompetensi yang jatuh di bawah saat PISA Level 1.

Mulai tahun 2009, kerangka literasi membaca PISA memperhitungkan membaca digital, dan penilaian bacaan digital
dilaksanakan hanya sebagai penilaian berbasis komputer. Sebagian besar konten yang terkait dengan membaca berbasis kertas tetap
konsisten di seluruh kerangka 2009, 2012 dan 2015. Namun 2015 kerangka diubah untuk membuat formulasi untuk pengujian pada
komputer. Karena itu, kerangka PISAD didasarkan pada kerangka kerja 2012. Harus ditekankan bahwa baik 2015 dan 2018
Penawaran versi paperbased yang mempertahankan perbandingan dengan versi berbasis komputer melalui item tren. Penggunaan
item tren adalah strategi yang digunakan agar dapat dibandingkan antara PISA-D dan PISA 2015.

The PISA-D kerangka dirancang untuk menilai literasi membaca remaja 15 tahun, yang mungkin dalam atau di luar
sekolah. Para siswa dan pemuda 15 tahun perlu membaca mahir agar dapat berpartisipasi dalam kegiatan sekolah
(Shanahan dan Shanahan, 2008). Tapi kebanyakan dari mereka juga menggunakan membaca di berbagai out-of-sekolah
konteks, misalnya, untuk berkomunikasi dengan rekan-rekan mereka, untuk memperoleh informasi yang berkaitan dengan
kepentingan pribadi mereka, atau untuk berinteraksi dengan lembaga dan bisnis (International Reading Association, 2012 ).
Oleh karena itu, kerangka harus mewakili membaca dalam arti luas yang mencakup bentuk-bentuk dasar serta lebih maju
dari membaca, yang relevan untuk sekolah serta situasi non-sekolah. Ini tidak hanya mencakup pemahaman suatu bagian
tertentu dari teks, tetapi juga kemampuan untuk menemukan, pilih,

Kerangka literasi membaca asli untuk PISA dikembangkan melalui proses konsensus yang melibatkan ahli membaca
dipilih oleh negara-negara peserta untuk membentuk kelompok ahli membaca PISA 2000 (REG). Definisi kemampuan
membaca berevolusi sebagian dari IEA Reading Literacy Study (1992) dan Literasi Survey Dewasa International (IALS,
1994, 1997, dan 1998). Secara khusus, itu mencerminkan penekanan IALS pada pentingnya keterampilan membaca
untuk partisipasi aktif dalam masyarakat. Hal itu juga dipengaruhi oleh kontemporer - dan masih saat ini - teori membaca,
yang menekankan beberapa proses kognitif yang terlibat dalam membaca dan sifat interaktif mereka (Britt, Goldman dan
Rouet, 2012; Dechant, 1991; Rayner dan Reichle, 2010; Rumelhart, 1985 ), model wacana pemahaman (Kintsch, 1998;
Zwaan dan Singer,

26
 Perubahan konsep kita membaca sejak tahun 2000 telah menyebabkan perluasan definisi literasi membaca, yang mengakui
karakteristik motivasi dan perilaku membaca bersama karakteristik kognitif. Mengingat penelitian terbaru, membaca keterlibatan
dan metakognisi yang ditampilkan lebih menonjol dalam PISA 2009 kerangka literasi membaca sebagai elemen yang bisa
membuat kontribusi penting untuk pemahaman pembuat kebijakan faktor yang dapat dikembangkan, dibentuk dan dipupuk
sebagai komponen dari kemampuan membaca.

Kerangka PISA-D membaca literasi memberikan penekanan tambahan pada komponen dasar dari proses kognitif yang mendasari
kemampuan membaca. Komponen-komponen ini mencakup kemampuan untuk mencari informasi yang secara eksplisit dinyatakan dalam teks,
untuk mengakses dan memahami arti dari kata-kata individu, dan untuk memahami makna literal informasi seperti yang dinyatakan dalam
kalimat serta di bagian. Dengan demikian, komponen ini dapat memberikan informasi tentang apa yang para siswa ini dapat melakukan sehubungan
dengan blok bangunan kemampuan literasi membaca.

Bab ini disusun dalam tiga bagian besar. Bagian pertama, “Mendefinisikan membaca melek,” jelas teoretis dari penilaian
membaca PISA, termasuk definisi formal dari konstruk literasi membaca. Bagian kedua, “Pengorganisasian domain membaca,”
menjelaskan tiga elemen: proses, yang mengacu pada pendekatan kognitif yang menentukan bagaimana pembaca terlibat dengan
teks; teks, yang mengacu pada berbagai materi yang dibaca; dan situasi, yang mengacu pada berbagai konteks yang luas atau
tujuan yang membaca berlangsung. Bagian ketiga, “Menilai membaca melek”, menguraikan pendekatan yang dilakukan untuk
menerapkan unsur-unsur dari kerangka dijelaskan sebelumnya, termasuk faktor-faktor yang mempengaruhi kesulitan item, format
respon, coding dan mencetak gol, pelaporan kemampuan, pengujian literasi membaca di kalangan out-of- populasi sekolah dan
contoh item untuk mengatasi Kerangka PISA-D diperpanjang.

Mendefinisikan literasi membaca

Definisi membaca dan literasi membaca telah berubah dari waktu ke waktu secara paralel dengan perubahan dalam masyarakat, ekonomi,
dan budaya. Konsep pembelajaran, khususnya konsep belajar sepanjang hayat, telah memperluas persepsi kemampuan membaca. Literasi tidak
lagi dianggap sebagai kemampuan yang diperoleh hanya di masa kecil selama tahun-tahun awal sekolah. Sebaliknya, itu dipandang sebagai
seperangkat memperluas pengetahuan, keterampilan dan strategi yang individu membangun sepanjang hidup dalam berbagai konteks, melalui
interaksi dengan rekan-rekan mereka dan masyarakat luas.

teori kognitif berdasarkan membaca menekankan sifat konstruktif pemahaman, keragaman proses kognitif yang
terlibat dalam membaca dan sifat interaktif mereka (Binkley, Rust dan Williams 1997; Kintsch, 1998; McNamara dan
Magliano, 2009; Oakhill, Kain dan Bryant, 2003; rand Corporation, 2002; Zwaan dan Singer, 2003). pembaca
menghasilkan makna dalam menanggapi teks dengan menggunakan pengetahuan sebelumnya dan berbagai teks dan
situasional isyarat yang sering sosial dan budaya berasal. Sementara membangun makna, pembaca yang kompeten
menggunakan berbagai proses, keterampilan dan strategi untuk mencari informasi, untuk memantau dan memelihara
pemahaman (van den Broek, Risden dan Husbye-Hartmann, 1995), dan untuk secara kritis menilai relevansi dan validitas
informasi (Richter dan Rapp, 2014).

Definisi PISA 2012 dari membaca melek huruf, yang sama digunakan dalam PISA 2009 dan 2015 dan PISA-D, ditunjukkan dalam Kotak 2.1:

27
 Kotak 2.1 2012 definisi literasi membaca

Membaca keaksaraan adalah memahami, menggunakan, merenungkan dan terlibat dengan teks tertulis, dalam rangka mencapai tujuan seseorang, mengembangkan pengetahuan dan
potensi seseorang, dan berpartisipasi dalam masyarakat.

Sementara definisi ini diambil untuk PISA-D juga, proyek memperluas definisi PISA membaca keaksaraan melalui
penggabungan konsep komponen membaca. komponen Membaca adalah subskills, atau blok bangunan, yang mendasari
membaca literasi (Oakhill, Kain dan Bryant, 2003). Ketika mereka mengembangkan dan mengintegrasikan, mereka
memfasilitasi mahir membaca pemahaman. Sebaliknya, jika komponen kurang berkembang atau dikerahkan tidak efisien,
mereka dapat menghalangi kemampuan seseorang untuk memahami teks (Perfetti, Landi dan Oakhill, 2005). Meskipun
komponen dapat bervariasi dalam kepentingan mereka di seluruh bahasa (berdasarkan struktur bahasa), ada beberapa
komponen yang umumnya setuju untuk menjadi signifikan terlepas dari keluarga bahasa: arti kata (vocabulary cetak);
pengolahan kalimat; dan pemahaman bagian. Penilaian dari komponen membaca diberikan sebagai bagian dari Program
Pengkajian Internasional Adult Kompetensi (PIAAC) dan sebagai komponen opsional dari PISA 2012 (misalnya Sabatini dan
Bruce, 2009). Penilaian komponen membaca dapat memberikan informasi tentang keterampilan komponen mahasiswa dan
out-of-sekolah pemuda, terutama dari mereka yang jatuh pada tingkat terendah melek huruf. Mereka juga dapat menjelaskan
jenis-jenis program pembelajaran pendidikan / yang meningkatkan keterampilan komponen mereka, yang akan, pada
gilirannya, meningkatkan keaksaraan mereka. Sementara arti kata umumnya dianggap sebagai kemampuan yang sudah
dicapai oleh 15 tahun, siswa di beberapa negara mungkin tidak sepenuhnya tercapai kemampuan ini, paling terutama ketika
bahasa mapan instruksi berbeda dari bahasa asal mahasiswa. Demikian,

Perlu dicatat bahwa ada komponen lain yang kritis membaca, termasuk pengakuan visual dari elemen dicetak alfabet,
decoding kata-kata menjadi suara dan pemahaman lisan dasar. Ini tidak termasuk sebagai bagian dari kerangka PISA-D seperti
yang diasumsikan keterampilan dicapai oleh 15-year-olds yang bersekolah di tingkat kelas reguler mereka serta out-of-sekolah
15-year-olds yang telah menguasai ini tingkat dasar melek huruf.

Kotak 2.2 keterampilan membaca yang mendasar diperlukan untuk PISA untuk Pembangunan

kinerja yang sukses pada tugas-tugas membaca tingkat yang lebih tinggi tergantung dan dibangun di atas dasar keterampilan komponen
(misalnya Abadzi, 2003; Baer, ​Kutner dan Sabatini, 2009; Curtis, 1980; Oakhill, Kain dan Bryant, 2003; Perfetti, 2003; Rayner dan Reichle 2010;
Sabatini dan Bruce, 2009; Stine-Morrow, Miller dan Hertzog, 2006). Pada tampilan sederhana, membaca terdiri dari pengenalan kata dan
pemahaman linguistik, masing-masing menjadi diperlukan tetapi tidak cukup untuk membaca (misalnya Hoover dan Tunmer, 1993).
Komponen-komponen ini dapat dijabarkan lebih lanjut ke beberapa keterampilan dasar yang diperlukan untuk melakukan berhasil di tingkat terendah
PISA. Di bawah ini kami menguraikan lima keterampilan dasar. Dua yang pertama adalah pra-kondisi kemampuan yang dibutuhkan untuk melakukan
membaca dasar untuk PISA-D dan tidak dinilai sebagai bagian dari instrumen.

1) Kemampuan untuk berhubungan karakter (simbol ditulis) ke fonem yang sesuai (suara akustik)

Membaca membutuhkan pemetaan sistem simbol-simbol visual dicetak (secara individu dan dalam kombinasi) ke bentuk lisan bahasa (yaitu
fonetik, fonologi) (misalnya Perfetti, 1985). Namun, ada sejumlah besar variabilitas dalam bagaimana pemetaan dilakukan dalam bahasa yang berbeda.
Sebagai contoh, sistem penulisan abjad peta surat kepada fonem, sedangkan bahasa lain memetakan karakter di tingkat suku kata dan beberapa di
tingkat kata individu atau morfem (artinya berbasis unit). Dengan demikian, akuisisi kemampuan ini dapat bervariasi tergantung bahasa.

2) Kemampuan untuk mengenali individu atau kelompok simbol sebagai mewakili kata mengacu pada benda-benda dan / atau hubungan

28
antara kata-kata

bentuk cetak benda dan konsep mengingat struktur ortografi dan morfologi tertentu bahasa juga harus diakui sebagai mewakili kata-kata yang
bermakna (misalnya Anderson dan Freebody, 1981; Hirsch, 2003; McCutchen, Hijau dan Abbott, 2008; Nagy dan Townsend, 2012 ; Ouellet, 2006).
Perlu dicatat bahwa kemampuan ini dapat berbeda di seluruh bahasa karena perbedaan ortografi di seluruh bahasa, tingkat keteraturan hubungan
antara cetak dan bentuk-bentuk bahasa lisan; dan bagaimana morfologi dan gramatikal / fitur sintaksis bahasa dikodekan dalam kata-kata. Untuk
alasan ini, sulit untuk dapat dibandingkan lintas bahasa dalam penilaian, karena hal ini membutuhkan evaluasi bagaimana untuk mencocokkan
sumber-sumber kesulitan dalam memperoleh keterampilan cetak ini untuk setiap bahasa, dan menyeimbangkan mereka di stimuli dan tugas.

3) Kemampuan untuk secara harfiah memahami hubungan antara kelompok kata di tingkat kalimat

Kalimat individu berfungsi sebagai unit lengkap dari satu atau lebih koheren ide (misalnya Kintsch, 1998), dan mahasiswa harus mampu
memahami arti harfiah dari kalimat dari berbagai panjang. Membaca kalimat membutuhkan kedua proses sintaksis yang menafsirkan perintah dan
fungsi kata-kata, dan proses semantik menafsirkan makna kata-kata dan proposisi (misalnya Kintsch, 1998; Rand Corporation, 2002).

4) Kemampuan untuk secara harfiah memahami hubungan eksplisit antara kalimat pada level teks pendek

Di luar kalimat individu, pembaca harus mampu memahami arti harfiah dari ayat-ayat dari teks. Hal ini memerlukan membentuk representasi
dari informasi yang terkandung di beberapa kalimat, menghubungkan unit ide dan penataan dalam memori.

5) Kemampuan untuk membuat kesimpulan tingkat rendah tentang hubungan di seluruh kalimat dari teks pendek

Siswa harus mampu mewakili informasi dari kalimat terhubung dan menyimpulkan hubungan tertentu. Hubungan ini dapat mencakup
menghubungkan referen sederhana antara satu kalimat dan berikutnya, seperti penggunaan frase nominal dalam satu kalimat dan kata ganti dalam
berikutnya, atau menciptakan koherensi antara dua kalimat terkait.

Membaca keaksaraan ...

Istilah “melek membaca” lebih disukai untuk “membaca” karena kemungkinan untuk menyampaikan kepada khalayak non-ahli lebih
tepatnya apa survei yang mengukur. “Membaca” sering dipahami hanya sebagai decoding, atau bahkan membaca dengan suara keras,
sedangkan niat survei ini adalah untuk mengukur sesuatu yang lebih luas dan lebih dalam. Membaca literasi mencakup berbagai kompetensi
kognitif, dari decoding dasar, pengetahuan tentang kata-kata, tata bahasa dan linguistik dan tekstual struktur yang lebih besar dan fitur,
pengetahuan tentang dunia.

Dalam penilaian ini, “membaca melek” dimaksudkan untuk mengungkapkan aplikasi yang aktif, tujuan dan fungsional
membaca dalam berbagai situasi dan untuk berbagai keperluan. Menurut Holloway (1999), keterampilan membaca sangat
penting untuk prestasi akademik siswa sekolah menengah dan tinggi. PISA menilai berbagai siswa. Beberapa akan pergi
ke universitas; beberapa akan melanjutkan studi lebih lanjut dalam persiapan untuk bergabung dengan angkatan kerja;
beberapa akan memasuki dunia kerja secara langsung setelah menyelesaikan pendidikan wajib. Prestasi di keaksaraan
membaca tidak hanya dasar untuk pencapaian dalam bidang studi lainnya dalam sistem pendidikan, tetapi juga prasyarat
untuk partisipasi sukses di sebagian besar wilayah kehidupan dewasa (Cunningham dan Stanovich, 1998;. Smith,
Mikulecky, Kibby dan Dreher, 2000 ). Memang,

Membaca keterampilan keaksaraan peduli bukan hanya bagi individu, tetapi untuk perekonomian secara keseluruhan. pembuat kebijakan dan lain-lain
yang datang untuk mengakui bahwa dalam masyarakat modern, modal manusia - jumlah dari apa yang individu dalam suatu perekonomian tahu dan dapat
melakukan - mungkin bentuk yang paling penting dari modal. Para ekonom telah selama bertahun-tahun model menunjukkan umumnya dikembangkan bahwa
tingkat pendidikan suatu negara adalah prediktor potensi pertumbuhan ekonomi (Coulombe, Tremblay dan Marchand, 2004).

29
... adalah memahami, menggunakan, merenungkan ...

Kata “pemahaman” adalah mudah terhubung dengan konsep yang diterima secara luas dari “pemahaman membaca”, yang menekankan bahwa semua
membaca melibatkan beberapa tingkat mengintegrasikan informasi dari teks dengan struktur pengetahuan pembaca. Dalam rangka untuk mencapai beberapa
tingkat pemahaman, pembaca harus decode kata-kata tertulis, memahami arti harfiah dari kalimat dan ayat-ayat, tetapi juga mengelaborasi dan alasan tentang
informasi. Bahkan bentuk yang paling dasar pemahaman membutuhkan pembaca untuk menarik pengetahuan simbolik untuk mengidentifikasi kata-kata dan
membuat makna dari mereka. Namun, proses ini integrasi juga bisa lebih luas, seperti mengembangkan model mental tentang bagaimana teks-teks berhubungan
dengan dunia. Kata “menggunakan” mengacu pada pengertian tentang aplikasi dan fungsi - melakukan sesuatu dengan apa yang kita baca. “Berkaca pada”
ditambahkan ke “pemahaman” dan “menggunakan” untuk menekankan gagasan bahwa membaca adalah interaktif: pembaca menggambar pada pikiran dan
pengalaman mereka sendiri ketika terlibat dengan teks. Tentu saja, setiap kegiatan membaca membutuhkan beberapa refleksi, menggambar pada informasi dari
luar teks. Bahkan pada tahap awal, pembaca menarik pada pengetahuan simbolik untuk memecahkan kode teks dan memerlukan beberapa pengetahuan
kosakata untuk membangun makna. Sebagai pembaca mengembangkan toko mereka informasi, pengalaman dan keyakinan, mereka terus-menerus, sering
secara tidak sadar, menguji apa yang mereka baca terhadap pengetahuan luar, sehingga terus-menerus meninjau dan merevisi rasa dari teks. menggambar pada
informasi dari luar teks. Bahkan pada tahap awal, pembaca menarik pada pengetahuan simbolik untuk memecahkan kode teks dan memerlukan beberapa
pengetahuan kosakata untuk membangun makna. Sebagai pembaca mengembangkan toko mereka informasi, pengalaman dan keyakinan, mereka terus-menerus,
sering secara tidak sadar, menguji apa yang mereka baca terhadap pengetahuan luar, sehingga terus-menerus meninjau dan merevisi rasa dari teks. menggambar
pada informasi dari luar teks. Bahkan pada tahap awal, pembaca menarik pada pengetahuan simbolik untuk memecahkan kode teks dan memerlukan beberapa pengetahuan kosakata

... dan terlibat dengan ...

Seseorang melek membaca tidak hanya memiliki keterampilan dan pengetahuan untuk membaca dengan baik, tetapi juga nilai-nilai dan
menggunakan membaca untuk berbagai tujuan. Oleh karena itu tujuan pendidikan untuk menumbuhkan tidak hanya kemampuan tetapi juga
keterlibatan dalam membaca. Keterlibatan dalam konteks ini berarti motivasi untuk membaca dan terdiri dari sekelompok karakteristik afektif dan
perilaku yang meliputi minat dan kenikmatan membaca, rasa kontrol atas apa yang berbunyi, keterlibatan dalam dimensi sosial dari membaca, dan
beragam dan sering membaca praktek.

... teks tertulis ...

Istilah “teks tertulis” dimaksudkan untuk mencakup semua teks yang koheren di mana bahasa digunakan dalam bentuk grafis,
entah cetak dan digital. Alih-alih kata “informasi”, yang digunakan di beberapa definisi lain dari membaca, istilah “teks-teks” dipilih
karena hubungannya dengan bahasa tertulis dan karena lebih mudah berkonotasi sastra serta membaca informasi-terfokus. The
PISA-D kerangka literasi membaca tidak membuat asumsi tentang panjang atau elaborateness dari teks tertulis. Sebagai contoh,
sebuah teks bisa menjadi satu kata tertanam dalam ayat-ayat grafis atau pendek dalam tabel.

teks-teks ini tidak termasuk artefak bahasa aural seperti rekaman suara; juga tidak termasuk film, TV, visual animasi
atau gambar tanpa kata-kata. Mereka termasuk tampilan visual seperti diagram, gambar, peta, tabel, grafik, dan strip
komik yang mencakup beberapa bahasa tertulis (misalnya, keterangan). Teks-teks visual yang dapat eksis baik secara
mandiri atau mereka dapat tertanam dalam teks-teks yang lebih besar. teks digital dibedakan dari teks dicetak dalam
sejumlah hal, termasuk pembacaan fisik; jumlah teks terlihat pembaca pada satu waktu; cara bagian yang berbeda dari
teks dan teks yang berbeda yang terhubung satu sama lain melalui link hypertext; dan, mengingat karakteristik teks ini,
cara pembaca biasanya terlibat dengan teks digital. Dalam tingkat yang jauh lebih besar dibandingkan dengan teks dicetak
atau ditulis tangan,

... untuk mencapai tujuan seseorang, mengembangkan pengetahuan dan potensi seseorang, dan berpartisipasi dalam masyarakat.

Frasa ini dimaksudkan untuk mencakup ruang lingkup penuh situasi di mana literasi membaca memainkan peran, dari pribadi ke publik, dari sekolah
untuk bekerja, dari pendidikan formal untuk belajar seumur hidup dan kewarganegaraan aktif. “Untuk mencapai tujuan seseorang dan untuk mengembangkan
pengetahuan dan potensi seseorang” merinci gagasan bahwa membaca

30
keaksaraan memungkinkan pemenuhan aspirasi individu - baik yang didefinisikan, seperti lulus atau mendapatkan pekerjaan, dan mereka yang kurang pasti
dan kurang langsung yang memperkaya dan memperluas kehidupan pribadi dan pendidikan seumur hidup. Kata “berpartisipasi” digunakan karena menyiratkan
bahwa membaca literasi memungkinkan orang untuk memberikan kontribusi kepada masyarakat serta untuk memenuhi kebutuhan mereka sendiri.
“Berpartisipasi” meliputi keterlibatan sosial, budaya dan politik.

Pengorganisasian domain membaca

Bagian ini menjelaskan bagaimana domain diwakili, isu penting karena organisasi dan representasi domain
menentukan rancangan dan, pada akhirnya, bukti tentang kemahiran siswa yang dapat dikumpulkan dan dilaporkan.

Membaca adalah domain multidimensi. Sementara banyak unsur adalah bagian dari konstruk, tidak semua bisa diperhitungkan
dalam membangun penilaian PISA. Hanya mereka yang dianggap paling penting dipilih.

The PISA penilaian literasi membaca dibangun di atas tiga karakteristik tugas utama untuk memastikan cakupan yang luas domain:

• proses, yang mengacu pada pendekatan kognitif yang menentukan bagaimana pembaca terlibat dengan teks

• teks, yang mengacu pada berbagai materi yang dibaca

• situasi, yang mengacu pada berbagai konteks yang luas atau tujuan yang membaca berlangsung.

Perhatikan bahwa istilah proses - yang diusulkan sebagai istilah dalam PISA 2018 - digunakan dalam PISA-D
kerangka, meskipun dalam PISA 2000 sampai PISA 2015, proses disebut sebagai aspek. Hal ini karena istilah proses sejalan lebih
baik dengan literatur ilmiah tentang membaca pemahaman dan penilaian. Selain karakteristik tugas diperkenalkan dalam urutan
yang berbeda dibandingkan dalam rangka 2012, dalam rangka untuk menyoroti karakteristik yang secara langsung membangun
relevan, sebagai lawan karakteristik seperti jenis teks atau konteks tugas, yang termasuk terutama untuk tujuan cakupan .

Dalam penilaian PISA, fitur teks dan proses variabel (tapi bukan dari variabel situasi) dimanipulasi untuk mempengaruhi
kesulitan tugas. Proses dimanipulasi melalui tujuan yang ditetapkan dalam tugas-tugas.

Membaca adalah kegiatan yang kompleks. Unsur-unsur dari membaca tidak ada secara independen dari satu sama lain dalam
kompartemen rapi. Penugasan teks dan tugas untuk kategori kerangka tidak berarti bahwa kategori secara ketat dipartisi atau bahwa bahan
ada di sel atomised ditentukan oleh struktur teoritis. Skema kerangka disediakan untuk memastikan cakupan, untuk memandu
pengembangan penilaian dan untuk mengatur parameter untuk pelaporan, berdasarkan pada apa yang dianggap sebagai fitur yang
ditandai tugas masing-masing.

proses

proses adalah mental yang strategi, pendekatan atau tujuan yang menggunakan pembaca untuk bernegosiasi cara mereka ke, sekitar dan
antara teks. Lima proses yang ditetapkan untuk PISA 2009-15 untuk memandu pengembangan tugas penilaian literasi membaca:

• informasi mengambil

• membentuk pemahaman yang luas

31
 • mengembangkan interpretasi

• merefleksikan dan mengevaluasi isi teks

• merefleksikan dan mengevaluasi bentuk teks.

Untuk PISA-D, proses tambahan berjudul “pemahaman literal” telah ditambahkan. pemahaman literal menuntut siswa untuk
memahami informasi secara eksplisit menyatakan bahwa dapat ditemukan dalam kata-kata individu, kalimat atau bagian. Selain itu,
konsep “informasi mengambil” diperluas untuk rentang dari lokasi eksplisit dinyatakan potongan individu informasi, seperti kata-kata
individu atau frasa, hingga menemukan informasi dalam ayat-ayat yang besar.

Karena tidak mungkin untuk memasukkan item yang cukup dalam PISA untuk melaporkan masing-masing dari enam proses sebagai
subskala terpisah, untuk melaporkan membaca literasi enam proses ini disusun dalam tiga kategori besar proses:

• akses dan mengambil

• mengintegrasikan dan menginterpretasikan

• mencerminkan dan mengevaluasi.

Menghasilkan pemahaman literal, membentuk pemahaman yang luas dan mengembangkan interpretasi
tugas fokus pembaca pada hubungan dalam teks. Tugas yang berfokus pada seluruh teks membutuhkan pembaca untuk menghasilkan makna harfiah dari
kata-kata, kalimat individual, dan ayat-ayat pendek. Mereka juga membutuhkan membentuk pemahaman yang luas; tugas-tugas yang fokus pada hubungan
antara bagian-bagian dari teks memerlukan mengembangkan interpretasi. Ketiga dikelompokkan bersama di bawah mengintegrasikan dan menginterpretasikan.

Tugas terkait dengan mengambil informasi Proses membentuk akses dan mengambil kategori.

Tugas menyikapi dua proses terakhir, merefleksikan dan mengevaluasi isi teks dan
merefleksikan dan mengevaluasi bentuk teks, dikelompokkan bersama menjadi satu mencerminkan dan mengevaluasi
kategori proses. Keduanya membutuhkan pembaca untuk menarik terutama pada pengetahuan di luar teks dan mengaitkannya dengan apa yang
sedang dibaca. Merefleksikan dan mengevaluasi konten tugas prihatin dengan substansi nosional teks; merenungkan dan mengevaluasi bentuk tugas
prihatin dengan struktur atau fitur formal.

Gambar 2.1 menunjukkan hubungan antara lima proses yang ditargetkan dalam pengembangan tes untuk PISA pada umumnya dan
proses tambahan yang akan dinilai untuk PISA-D (warna biru) . Tiga kategori besar melaporkan pada subskala secara umum PISA ketika
membaca melek adalah domain utama ditandai dengan huruf tebal. Karena dalam PISA-D tidak ada domain utama, literasi membaca akan
dilaporkan pada skala keseluruhan tunggal saja.

32
 Gambar 2.1 Proses ditargetkan dalam membaca pengembangan tes literasi untuk PISA dan PISA-D

Elaborasi dari tiga kategori proses yang luas, meliputi tugas-tugas di media baik cetak dan digital, diberikan di bawah ini.

Akses dan mengambil

Mengakses dan mengambil melibatkan akan ruang informasi yang disediakan dan navigasi dalam ruang yang untuk mencari dan
mengambil satu atau lebih berbeda potongan informasi. Akses dan mengambil tugas dapat berkisar dari lokasi potongan individu informasi,
seperti rincian yang diperlukan oleh majikan dari iklan pekerjaan, untuk menemukan nomor telepon dengan beberapa kode awalan, untuk
menemukan fakta tertentu untuk mendukung atau menyangkal klaim seseorang telah membuat .

Sementara retrieving menjelaskan proses pemilihan informasi yang diperlukan, mengakses menggambarkan proses mendapatkan ke
tempat, ruang informasi, di mana informasi yang diperlukan berada (misalnya lihat contoh butir 4, mempertanyakan 12.1). Kedua proses yang
terlibat dalam sebagian besar akses dan mengambil tugas di PISA. Namun, beberapa item mungkin memerlukan informasi saja mengambil,
terutama di media cetak di mana informasi tersebut segera terlihat dan di mana pembaca hanya memiliki untuk memilih apa yang cocok di
ruang informasi jelas ditentukan.

Kesulitan akan ditentukan oleh beberapa faktor, termasuk jumlah paragraf atau halaman yang perlu digunakan,
jumlah informasi untuk diproses pada setiap tempat tertentu, dan kekhususan dan ketegasan dari arah tugas.

Mengintegrasikan dan menginterpretasikan

Mengintegrasikan dan menafsirkan melibatkan pengolahan apa yang dibaca untuk membangun sebuah representasi internal dari makna teks.

Pada tingkat yang paling dasar dari pemahaman, pembaca harus mampu mengidentifikasi di cetak arti kata-kata individu
yang akan terjadi dalam mendengarkan leksikon sehari-hari speaker dewasa rata-rata dari bahasa (misalnya Sabatini dan Bruce,
2009). Ini akan mencakup kata-kata sehari-hari bahasa yang akan digunakan dalam umum situasi sosial dan perdagangan, tapi
bukan mereka khusus untuk bidang teknis atau akademis. Melampaui tingkat kata, siswa harus mampu menggabungkan kata-kata
untuk mengurai kalimat dan untuk mewakili arti harfiah mereka. Hal ini melibatkan kemampuan untuk mengakui ketika kalimat
illstructured atau hanya tidak masuk akal (lihat bagian dengan item sampel pada akhir bab ini). Pembaca juga perlu untuk
menggabungkan makna set kecil dari kalimat untuk membentuk representasi internal deskripsi sederhana atau narasi. Pengolahan
arti harfiah dari teks adalah kompetensi dasar yang kemudian memungkinkan proses lebih dalam tambahan yang harus dilakukan
pada teks. Dalam urutan

33
untuk lebih mewakili tingkat pemahaman dasar ini, dalam PISA-D kategori “mengintegrasikan dan menginterpretasikan” diperpanjang
sehingga mencakup proses “memahami arti harfiah dari teks”. Tugas yang secara khusus memerlukan proses ini akan dimasukkan
dalam penilaian.

mengintegrasikan berfokus pada menunjukkan pemahaman tentang koherensi teks dan melibatkan proses untuk memahami internal
teks. mengintegrasikan melibatkan menghubungkan berbagai potongan informasi untuk membuat makna, apakah itu mengidentifikasi
persamaan dan perbedaan, membuat perbandingan derajat, atau memahami hubungan sebab dan akibat.

menafsirkan juga membutuhkan melampaui makna literal dan mengacu pada proses pembuatan makna dari sesuatu yang tidak
disebutkan. Ketika menafsirkan, pembaca adalah mengidentifikasi asumsi atau implikasi dari sebagian atau seluruh teks yang
mendasari.

Kedua mengintegrasikan dan menafsirkan diminta untuk membentuk pemahaman yang luas. Seorang pembaca harus mempertimbangkan teks secara
keseluruhan atau dalam perspektif yang luas. Siswa dapat menunjukkan pemahaman awal dengan mengidentifikasi topik utama atau pesan atau dengan
mengidentifikasi tujuan umum atau penggunaan teks.

Kedua mengintegrasikan dan menafsirkan juga terlibat dalam mengembangkan interpretasi, yang mengharuskan pembaca untuk memperpanjang
kesan awal yang luas sehingga mereka mengembangkan pemahaman yang lebih dalam, lebih spesifik atau lebih lengkap dari apa yang mereka baca. mengintegrasikan
tugas termasuk mengidentifikasi dan daftar bukti pendukung, dan membandingkan dan membedakan informasi yang kebutuhannya adalah untuk menarik
bersama-sama dua atau lebih potongan informasi dari teks. Dalam rangka untuk memproses informasi baik eksplisit atau implisit dari satu atau lebih
sumber dalam tugas-tugas tersebut, pembaca harus sering menyimpulkan hubungan dimaksudkan atau kategori.

menafsirkan tugas mungkin melibatkan menggambar sebuah kesimpulan dari konteks lokal: misalnya, menafsirkan arti dari sebuah kata atau
frase yang memberikan nuansa khusus untuk teks. Proses pemahaman juga dinilai dalam tugas-tugas yang menuntut siswa untuk membuat
kesimpulan tentang maksud penulis, dan untuk mengidentifikasi bukti yang digunakan untuk menyimpulkan niat itu.

Hubungan antara proses integrasi dan interpretasi mungkin karena itu dilihat sebagai intim dan interaktif. Mengintegrasikan
melibatkan pertama menyimpulkan hubungan dalam teks (semacam interpretasi), dan kemudian membawa potongan informasi
bersama-sama, sehingga memungkinkan interpretasi yang akan dibuat yang membentuk keseluruhan terpadu yang baru.

Mencerminkan dan mengevaluasi

Mencerminkan dan mengevaluasi melibatkan menggambar pada pengetahuan, ide-ide atau sikap melampaui teks dalam rangka untuk
menghubungkan informasi yang diberikan dalam teks untuk seseorang frame konseptual dan pengalaman sendiri referensi.

Mencerminkan item dapat dianggap sebagai orang-orang yang membutuhkan pembaca untuk berkonsultasi pengalaman mereka sendiri atau pengetahuan
untuk membandingkan, kontras atau berhipotesis. Evaluasi item adalah mereka yang meminta pembaca untuk membuat gambar penghakiman pada standar luar
teks.

Merenungkan dan mengevaluasi isi teks mengharuskan pembaca untuk menghubungkan informasi dalam teks pengetahuan dari sumber-sumber
luar. Pembaca juga harus menilai klaim yang dibuat dalam teks terhadap pengetahuan mereka sendiri di dunia. Seringkali pembaca diminta untuk
mengartikulasikan dan mempertahankan poin mereka sendiri pandang. Untuk melakukannya, pembaca harus mampu mengembangkan pemahaman
tentang apa yang dikatakan dan dimaksud dalam teks. Mereka kemudian harus menguji bahwa representasi mental terhadap apa yang mereka ketahui dan
percaya atas dasar baik informasi sebelumnya, atau informasi yang ditemukan dalam teks-teks lain. Pembaca harus memanggil bukti pendukung dari dalam
teks dan kontras dengan sumber informasi lain, menggunakan pengetahuan umum dan khusus serta kemampuan untuk berpikir secara abstrak.

34
 Merenungkan dan mengevaluasi bentuk teks mengharuskan pembaca untuk berdiri terpisah dari teks, untuk mempertimbangkan secara
objektif, dan untuk mengevaluasi kualitas dan kesesuaian. pengetahuan implisit struktur teks, gaya khas berbagai jenis teks, dapat memainkan peran
penting dalam tugas ini. Mengevaluasi seberapa sukses seorang penulis dalam menggambarkan beberapa karakteristik atau membujuk pembaca
tidak hanya tergantung pada pengetahuan substantif tetapi juga pada kemampuan untuk mendeteksi kehalusan dalam bahasa.

Untuk beberapa setiap penilaian kritis membutuhkan pembaca untuk berkonsultasi pengalaman nya sendiri; beberapa jenis refleksi, di sisi
lain, tidak memerlukan evaluasi (misalnya, membandingkan pengalaman pribadi dengan sesuatu yang digambarkan dalam teks). Dengan
demikian evaluasi dapat dilihat sebagai bagian dari refleksi.

Proses membaca di media cetak dan digital

Tiga proses yang luas yang ditetapkan untuk PISA melek membaca tidak dipahami sebagai sepenuhnya terpisah dan independen,
melainkan sebagai saling terkait dan saling tergantung. Memang dari perspektif pengolahan kognitif, mereka dapat dianggap semi-hirarkis:
tidak mungkin untuk menafsirkan atau mengintegrasikan informasi tanpa pertama diambil itu. Dan tidak mungkin untuk merenungkan atau
mengevaluasi informasi tanpa membuat semacam interpretasi. Dalam PISA, bagaimanapun, deskripsi rangka proses membaca
membedakan pendekatan untuk membaca yang dituntut untuk konteks yang berbeda dan tujuan; ini kemudian tercermin dalam tugas
penilaian yang menekankan satu atau proses lainnya.

Untuk PISA-D, distribusi tugas seluruh variabel kerangka utama situasi dan teks harus erat mencerminkan distribusi
digunakan untuk item cetak dalam PISA 2012, baik untuk sekolah berbasis dan out-of-sekolah tes. Distribusi variabel proses
memang memiliki beberapa perbedaan.

Tabel 2.1 menunjukkan distribusi perkiraan membaca skor poin dengan proses untuk penilaian PISA 2012 dan distribusi yang diinginkan membaca
skor poin dengan proses untuk PISA-D. Perhatikan bahwa distribusi menempatkan penekanan lebih besar pada akses dan mengambil, paling terutama di
tingkat yang lebih rendah dari kemampuan, sementara juga menempatkan penekanan lebih rendah pada mencerminkan dan mengevaluasi. Hal ini
meningkatkan kepekaan terhadap kompetensi yang akan cenderung turun pada tingkat yang lebih rendah dari skala PISA.

Tabel 2.1 Distribusi skor poin dalam membaca, oleh proses, untuk PISA 2012 (distribusi perkiraan) dan
PISA-D (distribusi yang diinginkan)

Proses (aspek) Persentase dari total skor poin Persentase dari total skor poin
di PISA 2012: cetak di PISA-D
25-30% dengan 15% di bawah
Akses dan mengambil 22
Tingkat 3

Mengintegrasikan dan menginterpretasikan 56 45-55%

Mencerminkan dan mengevaluasi 22 15-25%

Kompleks 0 0

Total 100 100

distribusi yang diinginkan menentukan cetak biru untuk pemilihan item sesuai dengan aspek-aspek penting dari kerangka
domain. item pilihan didasarkan pada desain penilaian serta karakteristik item yang terkait dengan sejumlah aspek kerangka,
termasuk persyaratan coding, proses, situasi, dan format teks, serta pertimbangan sifat psikometrik item dan kesesuaian untuk
penilaian ini. Menyusul penilaian, distribusi sebenarnya dari barang-barang di seluruh aspek kerangka kerja akan dijelaskan
dalam kaitannya dengan distribusi yang diinginkan. Sejauh mana item kolam renang untuk penilaian tersebut memenuhi
spesifikasi kerangka kerja akan dibahas dalam laporan teknis dalam konteks kendala praktis dalam proses seleksi barang.

35
Situasi

Variabel Situasi PISA-D tetap sama dengan yang untuk PISA 2012 . Mereka diadaptasi dari Eropa Kerangka Umum
Acuan (CEFR) dikembangkan untuk Dewan Eropa (Council of Europe, 1996). Empat variabel situasi - pribadi, masyarakat,
pendidikan dan pekerjaan - dijelaskan dalam paragraf berikut.

Itu pribadi Situasi berkaitan dengan teks-teks yang dimaksudkan untuk memuaskan kepentingan pribadi seseorang, baik praktis dan
intelektual. Kategori ini juga mencakup teks yang dimaksudkan untuk mempertahankan atau mengembangkan hubungan pribadi dengan orang
lain. Ini termasuk surat-surat pribadi, fiksi, biografi dan teks informasi yang dimaksudkan untuk dibaca untuk memuaskan rasa ingin tahu, sebagai
bagian dari kegiatan rekreasi liburan atau. Dalam media digital itu termasuk email pribadi, pesan instan dan blog diary-gaya.

Itu publik kategori menggambarkan pembacaan teks-teks yang berhubungan dengan kegiatan dan kekhawatiran dari masyarakat yang lebih luas.
Kategori ini mencakup dokumen-dokumen resmi dan informasi tentang acara-acara publik. Secara umum, teks-teks yang sesuai dengan kategori ini
menganggap kontak lebih atau kurang anonim dengan orang lain; mereka juga karena termasuk forum-gaya blog, situs-situs berita, dan pemberitahuan
publik yang dihadapi baik on line dan di cetak.

Isi dari pendidikan teks biasanya dirancang khusus untuk tujuan instruksi. Buku cetak teks dan software pembelajaran interaktif adalah
contoh khas bahan yang dihasilkan untuk jenis membaca. membaca pendidikan biasanya melibatkan memperoleh informasi sebagai bagian
dari tugas belajar yang lebih besar. Bahan-bahan tersebut sering tidak dipilih oleh pembaca, melainkan ditugaskan oleh seorang instruktur.
Tugas Model adalah mereka biasanya diidentifikasi sebagai “membaca untuk belajar” (Sticht, 1975; Stiggins, 1982).

Banyak 15-year-olds akan pindah dari sekolah ke dalam angkatan kerja dalam waktu satu sampai dua tahun, dan banyak
out-of-sekolah pemuda mungkin sudah menjadi bagian dari angkatan kerja. tipikal kerja membaca tugas adalah salah satu yang melibatkan
pemenuhan beberapa tugas mendesak. Ini mungkin termasuk mencari pekerjaan, baik di bagian iklan baris koran cetak, atau on line; atau
mengikuti arah tempat kerja. Tugas model jenis ini sering disebut sebagai “membaca untuk melakukan” (Sticht, 1975; Stiggins, 1982).

Situasi digunakan dalam PISA literasi membaca untuk menentukan teks dan tugas-tugas yang terkait, dan mengacu pada konteks dan
menggunakan yang penulis dibangun teks. Cara di mana variabel situasi ditentukan oleh karena itu tentang seharusnya penonton dan tujuan, dan
tidak didasarkan hanya pada tempat di mana aktivitas membaca dilakukan. Banyak teks yang digunakan di dalam kelas tidak secara khusus
dirancang untuk penggunaan di dalam kelas. Sebagai contoh, sepotong teks sastra dapat biasanya dibaca oleh seorang anak berusia 15 tahun
dalam bahasa bahasa ibu atau sastra kelas, namun teks ditulis (mungkin) untuk kesenangan pribadi pembaca dan penghargaan. Mengingat tujuan
aslinya, teks tersebut diklasifikasikan sebagai pribadi di PISA. Sebagai Hubbard (1989) telah menunjukkan, beberapa jenis bacaan biasanya
berhubungan dengan out-of-sekolah pengaturan untuk anak-anak, seperti aturan untuk klub dan catatan dari game, sering berlangsung secara tidak
resmi di sekolah juga. Teks-teks ini diklasifikasikan sebagai

publik di PISA. Sebaliknya, buku teks yang dibaca baik di sekolah dan di rumah-rumah, dan proses dan tujuan mungkin sedikit berbeda dari satu
pengaturan yang lain. teks-teks seperti diklasifikasikan sebagai pendidikan di PISA.

Perlu dicatat bahwa empat kategori tumpang tindih. Dalam prakteknya, misalnya, teks mungkin dimaksudkan baik untuk menyenangkan
dan untuk menginstruksikan (pribadi dan pendidikan); atau untuk memberikan nasihat profesional yang juga informasi umum (kerja dan
masyarakat). Sementara konten tidak variabel yang secara khusus dimanipulasi dalam penelitian ini, dengan sampling teks di berbagai situasi
tujuannya adalah untuk memaksimalkan keragaman konten yang akan disertakan dalam survei literasi membaca PISA.

Tabel 2.2 menunjukkan distribusi perkiraan skor poin dengan situasi untuk tugas-tugas cetak membaca di PISA 2012 dan distribusi yang
diinginkan untuk PISA-D. Distribusi situasi yang digunakan dalam PISA 2012 dapat dipertahankan pada nilai-nilai perkiraan yang sama untuk
PISA-D.

36
 Tabel 2.2 Distribusi skor poin dalam membaca, oleh situasi, untuk PISA 2012 (distribusi perkiraan) dan
PISA-D (distribusi yang diinginkan)

Persentase dari total skor poin Persentase dari total skor poin
Situasi
di PISA 2012: cetak di PISA-D
Pribadi 36 25-45

pendidikan 33 25-45

kerja 20 15-25

Publik 11 5-15

Total 100 100

Teks

Dimensi teks untuk PISA-D tetap sama dengan yang digunakan dalam PISA 2012. Membaca membutuhkan bahan bagi pembaca
untuk membaca. Dalam penilaian, bahwa bahan - teks (atau serangkaian teks) yang berkaitan dengan tugas tertentu - harus koheren
dalam dirinya sendiri. Artinya, teks harus mampu berdiri sendiri tanpa memerlukan bahan tambahan untuk membuat akal untuk
pembaca mahir. Meskipun jelas bahwa ada banyak jenis teks dan bahwa penilaian apapun harus mencakup berbagai, itu tidak begitu
jelas bahwa ada kategorisasi ideal jenis teks. Penambahan bacaan digital untuk kerangka kerja telah membuat masalah ini masih lebih
kompleks. Pada tahun 2009 dan 2012, telah ada empat klasifikasi teks utama 2:

• Sedang: cetak dan digital

• Lingkungan: menulis dan pesan berbasis

• format teks: terus menerus, non-kontinyu, campuran dan ganda

• jenis teks: deskripsi, narasi, eksposisi, argumentasi, instruksi dan transaksi

Klasifikasi menengah - cetak dan digital - diterapkan untuk setiap teks sebagai perbedaan luas. Di bawah klasifikasi itu,
format teks dan teks jenis kategori diterapkan untuk semua teks, baik cetak atau digital. Klasifikasi lingkungan hidup, di sisi
lain, hanya berlaku untuk teks digital.

Medium

Sejak PISA 2009, kategorisasi utama yang penting dari teks adalah klasifikasi oleh media: cetak atau digital.

mencetak teks biasanya muncul di atas kertas dalam bentuk seperti satu lembar, brosur, majalah dan buku. Status fisik dari
teks tercetak mendorong (meskipun tidak memaksa) pembaca untuk mendekati isi teks dalam urutan tertentu. Pada intinya, teks
dicetak memiliki eksistensi tetap atau statis. Selain itu, dalam kehidupan nyata dan dalam konteks penilaian, sejauh atau jumlah
teks yang segera terlihat untuk pembaca.

teks digital dapat didefinisikan sebagai tampilan teks melalui layar kristal cair (LCD), plasma, film tipis transistor (TFT), dan
perangkat elektronik lainnya. Untuk keperluan PISA, bagaimanapun, teks digital ini identik dengan hypertext: teks atau teks dengan
alat navigasi dan fitur yang memungkinkan dan memang bahkan memerlukan membaca non-sekuensial. Setiap pembaca
membangun sebuah teks “disesuaikan” dari informasi ditemui di link dia berikut. Pada dasarnya, teks digital seperti memiliki tidak
tetap, keberadaan dinamis. Dalam media digital, biasanya hanya sebagian kecil dari teks yang tersedia dapat dilihat pada setiap

37
satu waktu, dan sering sejauh mana teks yang tersedia tidak diketahui. Instrumen PISA-D tidak termasuk hypertext, tetapi teks digital
disebutkan di sini untuk kelengkapan.

Format teks

Klasifikasi penting dari teks adalah perbedaan antara teks terus menerus dan non-kontinyu.

teks dalam kontinu dan non-kontinyu Format muncul baik di media cetak dan digital. Campur aduk dan
kelipatan Format teks juga lazim di kedua media, terutama di media digital. Masing-masing dari empat format tersebut diuraikan
sebagai berikut:

Kontinu teks dibentuk oleh kalimat disusun dalam paragraf. Ini mungkin masuk ke dalam struktur yang lebih besar, seperti
bagian, bab, dan buku (laporan misalnya surat kabar, esai, novel, cerita pendek, ulasan dan huruf untuk media cetak, dan ulasan,
blog dan laporan dalam prosa untuk digital).

Non-kontinyu teks diatur secara berbeda untuk kontinu teks, dan karena itu membutuhkan berbagai jenis pendekatan
membaca. Non-kontinyu teks yang paling sering diselenggarakan dalam format matriks, terdiri dari sejumlah daftar (Kirsch dan
Mosenthal, 1990) (misalnya daftar, tabel, grafik, diagram, iklan, jadwal, katalog, indeks dan bentuk).

Banyak teks dalam media cetak dan digital tunggal, artefak yang koheren yang terdiri dari satu set elemen di kedua kontinu dan non-kontinyu
format. Dalam dibangun dengan baik campur aduk teks, konstituen (misalnya penjelasan prosa, bersama dengan grafik atau tabel) yang
saling mendukung melalui koherensi dan kohesi link di tingkat lokal dan global. Campur aduk teks dalam media cetak adalah format
umum dalam majalah, buku-buku referensi dan laporan. Dalam media digital, halaman web menulis biasanya teks dicampur, dengan
kombinasi dari daftar, paragraf prosa, dan sering grafis. teks berbasis pesan seperti formulir online, pesan e-mail dan forum juga
menggabungkan teks yang kontinu dan non-kontinyu dalam format.

kelipatan teks didefinisikan sebagai orang-orang yang telah dihasilkan secara independen, dan masuk akal secara independen;
mereka disandingkan untuk acara tertentu atau mungkin longgar dihubungkan bersama untuk tujuan penilaian. Hubungan antara teks
mungkin tidak jelas; mereka mungkin melengkapi atau mungkin bertentangan satu sama lain. Misalnya, dengan teks digital, satu set website
dari perusahaan yang berbeda memberikan saran wisata mungkin atau mungkin tidak memberikan arah yang mirip dengan wisatawan.
Untuk teks berbasis kertas, beberapa teks mungkin termasuk bus waktu jadwal, peta dan teks yang menjelaskan satu set wisata di sekitar
kota. Beberapa teks mungkin memiliki satu "murni” format (misalnya, terus menerus), atau mungkin termasuk teks baik terus menerus dan
non-kontinyu.

Tabel 2.3 menunjukkan distribusi perkiraan skor poin untuk tugas-tugas cetak membaca dengan format teks untuk PISA 2012, yang harus
dipertahankan untuk PISA-D.

Tabel 2.3 Distribusi skor poin dalam membaca, oleh format teks, untuk PISA 2012 (distribusi perkiraan) dan
PISA-D (distribusi yang diinginkan)

Persentase dari total skor poin Persentase dari total skor poin
Format teks
di PISA 2012: cetak di PISA-D
Kontinu 58 50-60

Non-kontinyu 31 25-35

Campur aduk 9 5-15

kelipatan 2 0-10

Total 100 100

38
jenis teks

Sebuah kategorisasi yang berbeda dari teks adalah dengan jenis teks: deskripsi, narasi, eksposisi, argumentasi, instruksi, dan
transaksi. Jenis teks dipertahankan sama untuk PISA-D karena mereka telah sejak PISA 2009.

Teks seperti yang ditemukan di dunia biasanya menolak kategorisasi; mereka biasanya tidak ditulis dengan aturan dalam pikiran, dan
cenderung memotong kategori. terlepas bahwa, dalam rangka untuk memastikan bahwa sampel instrumen membaca sepanjang rentang teks
yang mewakili berbagai jenis membaca PISA categorises teks berdasarkan karakteristik dominan mereka ,.

Klasifikasi berikut teks yang digunakan dalam PISA diadaptasi dari karya Werlich (1976).

Deskripsi adalah jenis teks di mana informasi yang mengacu pada sifat-sifat benda-benda di ruang angkasa. Pertanyaan-pertanyaan
khas yang teks deskriptif memberikan jawaban yang apa pertanyaan (misalnya penggambaran tempat tertentu dalam perjalanannya atau
buku harian, katalog, peta geografis, jadwal penerbangan online, atau deskripsi dari fitur, fungsi atau proses dalam panduan teknis).

Cerita adalah jenis teks di mana informasi yang mengacu pada sifat dari objek dalam waktu. Narasi biasanya menjawab
pertanyaan-pertanyaan yang berkaitan dengan kapan, atau dalam apa urutan. Mengapa karakter dalam cerita berperilaku seperti yang mereka
lakukan adalah pertanyaan penting lain yang narasi biasanya menjawab (misalnya novel, cerita pendek, drama, biografi, komik, teks fiksi dan
sebuah laporan surat kabar dari suatu peristiwa). Proporsi teks naratif dalam media cetak di PISA 2012 adalah sedikit lebih besar dari yang di
PISA siklus sebelumnya (2000-09), sekitar 20% (sebelumnya 15%).

Eksposisi adalah jenis teks di mana informasi yang disajikan sebagai konsep komposit atau konstruksi mental, atau unsur-unsur mana
konsep atau konstruksi mental dapat dianalisis. Teks memberikan penjelasan tentang bagaimana unsur-unsur yang berbeda saling
berhubungan di seluruh bermakna dan sering menjawab pertanyaan tentang bagaimana ( misalnya esai ilmiah, diagram yang menunjukkan
model memori, grafik tren penduduk, peta konsep dan entri dalam sebuah ensiklopedi online).

Argumentasi adalah jenis teks yang menyajikan hubungan di antara konsep atau proposisi. teks argumen sering menjawab Mengapa
pertanyaan. Sebuah subklasifikasi penting dari teks-teks argumen adalah teks persuasif dan opinionative, mengacu pada pendapat dan
sudut pandang. Contoh teks dalam kategori jenis teks
argumentasi adalah surat kepada editor, iklan poster, posting di forum online, dan review Webbased dari buku atau film.

Petunjuk adalah jenis teks yang memberikan arah pada apa yang harus dilakukan. teks menyajikan arah untuk perilaku tertentu dalam rangka untuk
menyelesaikan tugas (misalnya resep, serangkaian diagram yang menunjukkan prosedur untuk memberikan pertolongan pertama dan pedoman untuk operasi
software digital).

Transaksi merupakan jenis teks yang bertujuan untuk mencapai tujuan tertentu yang diuraikan dalam teks, seperti meminta
sesuatu dilakukan, mengorganisir pertemuan atau membuat keterlibatan sosial dengan teman. Sebelum penyebaran komunikasi
digital, jenis teks adalah komponen penting dari beberapa jenis huruf dan, sebagai pertukaran lisan, tujuan utama dari banyak
panggilan telepon. jenis teks ini tidak termasuk dalam (1976) kategorisasi Werlich ini. Itu digunakan untuk pertama kalinya dalam
rangka PISA 2009 karena prevalensi di media digital (misalnya setiap hari email dan pesan teks pertukaran antara rekan-rekan atau
teman-teman yang meminta dan mengkonfirmasi pengaturan).

39
Strategi untuk memperpanjang kerangka untuk memberikan cakupan yang lebih baik dari tingkat keaksaraan dasar

Dua strategi yang digunakan untuk memperpanjang kerangka kerja untuk tingkat yang lebih rendah dari kemahiran membaca.
Pertama, jenis item tambahan yang disertakan untuk menilai arti kata, kalimat dasar dan bagian pemahaman, dan makna literal
(lihat di atas deskripsi proses “mengintegrasikan dan menginterpretasikan”). Tujuan dari tugas ini adalah untuk mengukur sejauh
mana siswa memahami makna literal dan inferensial kata-kata dan teks terhubung. Dua tugas didefinisikan: pengolahan kalimat dan bagian
pemahaman.

Tugas-tugas pengolahan kalimat menilai kemampuan untuk memahami kalimat tertulis dari berbagai panjang. Dalam PISA penilaian
komponen membaca, konstruk yang dipakai dalam tugas sensibilitas penghakiman. Tujuannya adalah untuk mengukur sejauh mana siswa
dapat memahami kalimat meningkatkan panjang. Dalam tugas, siswa melihat satu set kalimat dan memutuskan apakah mereka masuk akal
(YES) atau tidak masuk akal (NO) sehubungan dengan pengetahuan umum tentang dunia nyata, seperti dalam item pertama pada bagian item
sampel, atau logika internal kalimat itu sendiri, seperti dalam item kedua dari sampel butir 1.

Tugas Bagian pemahaman dasar menilai kemampuan untuk memahami literal, “inti” makna teks terhubung dan untuk
membuat kesimpulan tingkat rendah di seluruh kalimat dalam teks. Dalam PISA dan PIAAC komponen membaca penilaian,
konstruk telah instantiated dalam tugas cloze tertanam. Tujuannya adalah untuk mengukur sejauh mana siswa memahami
makna literal dan inferensial teks terhubung. Dalam tugas, peserta melihat suatu bagian di mana kalimat termasuk item cloze
tertanam (dua pilihan kata yang diberikan untuk kosong tunggal). Peserta membaca bagian ini diam-diam dan melingkari kata
yang benar melengkapi setiap kalimat. Contoh item 2 menunjukkan contoh tugas bagian pemahaman dengan beberapa item
tertanam di dalamnya.

Strategi kedua terdiri dalam beradaptasi tugas PISA yang ada untuk menilai pemahaman tingkat rendah dan akses dan mengambil proses.
item sampel 3, 4 dan 5 menggambarkan hal ini.

Menilai literasi membaca

Bagian sebelumnya menguraikan kerangka kerja konseptual untuk membaca melek. Konsep-konsep dalam rangka pada gilirannya
harus diwakili dalam tugas dan pertanyaan untuk mengumpulkan bukti kemampuan siswa dalam membaca literasi.

Pembagian tugas seluruh variabel kerangka utama dari proses, situasi dan teks telah dibahas pada bagian sebelumnya. Pada
bagian ini, kerangka menggambarkan distribusi tugas seluruh variabel kerangka besar serta beberapa isu utama lainnya dalam
membangun dan mengoperasionalkan penilaian: faktor yang mempengaruhi barang kesulitan dan bagaimana kesulitan dapat
dimanipulasi; pilihan format respon; isu-isu seputar coding dan mencetak gol; strategi untuk memperluas kerangka untuk memberikan
cakupan yang lebih baik dari tingkat keaksaraan dasar; melaporkan kecakapan dalam membaca di PISA-D; menguji kemampuan
membaca antara out-of-sekolah penduduk; dan contoh-contoh item untuk menangani kerangka PISA-D diperpanjang.

Faktor yang mempengaruhi Item kesulitan

Kesulitan setiap tugas literasi membaca tergantung pada interaksi antara beberapa variabel. Menggambar pada Kirsch dan
Mosenthal karya (misalnya Kirsch, 2001; Kirsch dan Mosenthal, 1990), kita dapat memanipulasi kesulitan item dengan
menerapkan pengetahuan tentang proses dan format teks variabel berikut.

40
 Di akses dan mengambil tugas, kesulitan dikondisikan dengan jumlah potongan informasi yang pembaca perlu untuk
menemukan, dengan jumlah inferensi diperlukan, oleh jumlah dan pentingnya informasi yang bersaing, dan dengan panjang (Misalnya
jumlah kata, kalimat, paragraf ) Dan kompleksitas dari teks.

Di mengintegrasikan dan menginterpretasikan tugas, kesulitan dipengaruhi oleh jenis interpretasi yang diperlukan (misalnya,
membuat perbandingan lebih mudah daripada menemukan kontras, dan memahami hubungan sebab akibat tertentu lebih mudah
daripada menyimpulkan hubungan kausal implisit ); dengan jumlah potongan informasi untuk dipertimbangkan; oleh derajat dan
menonjol informasi dalam teks bersaing; dan oleh sifat teks. Kurang familiar dan lebih abstrak konten dan lebih lama dan lebih
kompleks teks, semakin sulit tugas cenderung.

Di mencerminkan dan mengevaluasi tugas, kesulitan dipengaruhi oleh jenis refleksi atau evaluasi yang diperlukan (dari
setidaknya paling sulit, jenis refleksi adalah: menghubungkan; menjelaskan dan membandingkan; hypothesising dan mengevaluasi);
oleh sifat pengetahuan bahwa pembaca perlu untuk membawa ke teks (tugas lebih sulit jika pembaca perlu untuk menarik sempit,
pengetahuan khusus daripada luas dan pengetahuan umum); oleh abstraksi relatif dan panjang teks; dan dengan kedalaman
pemahaman teks yang diperlukan untuk menyelesaikan tugas.

Dalam tugas yang berkaitan dengan teks terus menerus, Kesulitan dipengaruhi oleh panjang teks, yang ketegasan dan
transparansi struktur, bagaimana jelas bagian-bagian yang terkait dengan tema umum, dan apakah ada fitur teks, seperti paragraf atau
judul, dan penanda wacana, seperti kata-kata sequencing .

Dalam tugas yang berkaitan dengan teks non-kontinyu, Kesulitan dipengaruhi oleh jumlah informasi dalam teks; struktur daftar
(daftar sederhana lebih mudah untuk bernegosiasi dari daftar lebih kompleks); apakah komponen diperintahkan dan secara eksplisit
diatur, misalnya dengan label atau format khusus; dan apakah informasi yang diperlukan dalam tubuh teks atau di bagian terpisah,
seperti catatan kaki.

format respon

Coding persyaratan ditunjukkan pada Tabel 5 untuk skor poin cetak dalam kaitannya dengan tiga proses literasi membaca dan untuk
skor poin digital dalam kaitannya dengan empat proses. Item yang membutuhkan penilaian ahli terdiri dari tanggapan terbuka dibangun dan
pendek dibangun yang membutuhkan coding ahli. Item yang tidak memerlukan penilaian coder terdiri dari pilihan ganda, kompleks pilihan
ganda dan barang-barang respon closedconstructed. Item respon ditutup-dibangun adalah mereka yang membutuhkan siswa untuk
menghasilkan respon, namun memerlukan penilaian minimal pada bagian dari programmer.

Distribusi coding persyaratan untuk PISA-D harus disimpan sebanding dengan penilaian PISA mainstream. Distribusi jenis item
dalam membaca cetak tidak berbeda jauh dari satu siklus / administrasi ke yang berikutnya. Namun, pemilihan untuk 2012 memiliki
proporsi yang sedikit lebih tinggi dari barang-barang yang tidak memerlukan coding ahli dari dalam siklus sebelumnya: 58% non-ahli kode
dan ahli 42% kode pada 2012 (dibandingkan dengan 55% dan 45% masing-masing di pemerintahan sebelumnya) . Rasio yang sama
berlaku untuk mencetak dan membaca digital di PISA 2012.

Tabel 2.4 menunjukkan distribusi perkiraan skor poin dengan coding persyaratan untuk setiap proses membaca di PISA 2012 dan
dalam tes berbasis kertas PISA-D. Karena waktu pengujian tambahan yang akan melibatkan, tes tablet berbasis tidak termasuk item yang
membutuhkan penilaian ahli di coding.

41
 Tabel 2.4 Distribusi skor poin dalam membaca, dengan coding persyaratan untuk setiap proses membaca, di PISA
2012 (distribusi perkiraan) dan PISA-D (distribusi yang diinginkan)

Persentase dari total skor poin di Persentase dari total skor poin di PISA-D
PISA 2012: P etak membaca
Proses (aspek) penilaian ahli Tidak ada penilaian ahli Tidak ada
diperlukan penilaian ahli Total diperlukan penilaian ahli Total
diperlukan diperlukan

Akses dan mengambil 4 18 22 0-10 10-20 20-30

Mengintegrasikan dan menginterpretasikan 20 36 56 15-30 30-40 45-60

Mencerminkan dan mengevaluasi 18 4 22 15-25 0-10 20-30

Kompleks 0 0 0 0 0 0

TOTAL 42 58 100 35-50 45-65 100

Coding dan scoring

Kode yang diterapkan untuk menguji item, baik dengan proses yang lebih atau kurang otomatis menangkap alternatif yang dipilih oleh siswa untuk
jawaban pilihan ganda, atau dengan hakim manusia (ahli coder) memilih kode yang terbaik menangkap jenis respon yang diberikan oleh seorang
mahasiswa untuk item yang membutuhkan respon dibangun. Kode ini kemudian dikonversi menjadi skor untuk item. Untuk pilihan ganda atau format
ditutup-respon item, siswa telah baik memilih jawaban yang benar yang ditunjuk atau tidak, sehingga item tersebut mencetak sebagai 1 (kredit penuh)
atau 0 (tidak ada kredit) masing-masing. Untuk lebih scoring kompleks item respon dibangun, beberapa jawaban, meskipun tidak lengkap, menunjukkan
tingkat yang lebih tinggi dari kemampuan membaca daripada jawaban yang tidak akurat atau salah, dan menerima kredit parsial.

Pelaporan kecakapan dalam membaca di PISA-D

PISA melaporkan hasil dalam hal skala kemampuan yang ditafsirkan untuk tujuan kebijakan. Untuk menangkap perkembangan
kompleksitas dan kesulitan, dari 2009 dan sampai dengan 2018, PISA telah menggunakan tujuh tingkat didasarkan pada PISA 2009 skala
gabungan cetak membaca literasi. Untuk PISA-D, tingkat tambahan telah ditambahkan pada tingkat terendah, sehingga cetak skala literasi
membaca gabungan dibagi menjadi delapan tingkat. Gambar 2 menggambarkan delapan tingkat kemahiran cetak membaca. Level 6 adalah
level tertinggi dijelaskan kemampuan (Level 5 merupakan level tertinggi sebelum PISA 2009 penilaian membaca). Tingkat 2, 3, 4 dan 5 tetap
sama seperti pada PISA 2000. Dalam arus utama PISA, tingkat bawah terendah kemahiran diukur adalah tingkat 1b, dengan Tingkat 1a
menjadi tingkat terendah kedua. Untuk PISA-D, Tingkat 1c ditambahkan sebagai tingkat terendah kemahiran dengan fokus pada pemahaman
kata, frasa pendek dan penggalian arti harfiah dari kalimat. Tingkat ini berbeda kemahiran memungkinkan negara untuk tahu lebih banyak
tentang jenis mahasiswa tugas dengan sangat tinggi dan sangat rendah kemampuan membaca yang mampu melakukan.

42
 Gambar 2.2 deskripsi Ringkasan dari delapan tingkat kemahiran membaca di PISA-D

tingkat yang lebih rendahPersentase siswa Persentase siswa Karakteristik tugas

batas di negara-negara di 18
skor OECD pada setiap berpenghasilan
tingkat kemahiran menengah dan
dalam PISA 2012 rendah negara
pada setiap
tingkat
kemahiran dalam
PISA 2012

Tugas pada tingkat ini biasanya membutuhkan pembaca untuk membuat beberapa kesimpulan, perbandingan dan
kontras yang baik rinci dan tepat. Mereka membutuhkan demonstrasi pemahaman lengkap dan terperinci dari satu
atau lebih teks dan mungkin melibatkan mengintegrasikan informasi dari lebih dari satu teks. Tugas mungkin
memerlukan pembaca untuk menangani dengan ide-ide asing, dengan adanya informasi yang bersaing menonjol, dan
untuk menghasilkan kategori abstrak untuk interpretasi. Mencerminkan dan mengevaluasi tugas mungkin memerlukan
6 698 1,1% 0,1% pembaca untuk hypothesise tentang atau mengevaluasi secara kritis teks yang kompleks pada topik yang asing,
dengan mempertimbangkan beberapa kriteria atau perspektif, dan menerapkan pemahaman canggih dari luar teks.
Sebuah kondisi yang menonjol untuk akses dan mengambil tugas pada tingkat ini adalah ketepatan analisis dan
perhatian baik terhadap detail yang mencolok dalam teks.

Tugas pada tingkat ini yang melibatkan mengambil informasi membutuhkan pembaca untuk mencari dan mengatur
beberapa potongan informasi tertanam, menyimpulkan informasi yang dalam teks relevan. tugas reflektif
memerlukan evaluasi kritis atau hipotesis, menggambar pada pengetahuan khusus. Kedua tugas interpretatif dan
5 626 7,3% 1,1% reflektif memerlukan pemahaman lengkap dan terperinci dari teks yang konten atau bentuk tidak familiar. Untuk
semua proses membaca, tugas pada tingkat ini biasanya melibatkan berurusan dengan konsep yang bertentangan
dengan harapan.

Tugas pada tingkat ini yang melibatkan informasi retrieving membutuhkan pembaca untuk mencari dan mengatur
beberapa potongan informasi tertanam. Beberapa tugas pada tingkat ini memerlukan menafsirkan makna nuansa
bahasa di bagian teks dengan memperhatikan teks secara keseluruhan. tugas interpretatif lainnya memerlukan
pemahaman dan kategori menerapkan dalam konteks asing. tugas reflektif pada tingkat ini membutuhkan pembaca
4 553 21,0% 6,7%
untuk menggunakan pengetahuan formal atau publik untuk hypothesise tentang atau kritis mengevaluasi teks.
Pembaca harus menunjukkan pemahaman yang akurat dari teks-teks panjang atau kompleks yang konten atau bentuk
mungkin belum terbiasa.

Tugas pada tingkat ini membutuhkan pembaca untuk menemukan, dan dalam beberapa kasus mengenali hubungan
antara, beberapa potong informasi yang harus memenuhi beberapa
kondisi. tugas interpretatif pada tingkat ini membutuhkan pembaca untuk mengintegrasikan beberapa
bagian dari teks dalam rangka untuk mengidentifikasi ide utama, memahami hubungan atau menafsirkan
arti dari sebuah kata atau frase. Mereka perlu mempertimbangkan banyak fitur dalam membandingkan,
kontras atau mengkategorikan. Seringkali informasi yang diperlukan tidak menonjol atau ada banyak
3 480 29,1% 19,1% informasi yang bersaing; atau ada kendala teks lain, seperti ide-ide yang bertentangan dengan harapan atau
bernada negatif. tugas reflektif pada tingkat ini mungkin memerlukan koneksi, perbandingan, dan
penjelasan, atau mereka mungkin memerlukan pembaca untuk mengevaluasi fitur teks. Beberapa tugas
reflektif membutuhkan pembaca untuk menunjukkan pemahaman yang baik dari teks dalam kaitannya
dengan akrab, pengetahuan sehari-hari.

Beberapa tugas pada tingkat ini membutuhkan pembaca untuk menemukan satu atau lebih potongan informasi,
yang mungkin perlu disimpulkan dan mungkin perlu untuk memenuhi beberapa kondisi. Lainnya memerlukan
mengakui gagasan utama dalam teks, memahami hubungan, atau menafsirkan makna dalam bagian terbatas dari
teks ketika informasi itu tidak menonjol dan pembaca harus membuat kesimpulan tingkat rendah. Tugas pada
2 407 23,5% 30,3% tingkat ini mungkin melibatkan perbandingan atau kontras berdasarkan fitur tunggal dalam teks. tugas reflektif
khas pada tingkat ini membutuhkan pembaca untuk membuat perbandingan atau beberapa koneksi antara teks
dan pengetahuan di luar, dengan menggambar pada pengalaman pribadi dan sikap.

Tugas pada tingkat ini membutuhkan pembaca untuk menemukan satu atau lebih mandiri potongan informasi eksplisit
dinyatakan; untuk mengenali tema utama atau tujuan penulis dalam teks tentang topik akrab, atau untuk membuat
koneksi sederhana antara informasi dalam teks dan umum, pengetahuan sehari-hari. Biasanya informasi yang
1a 335 12,3% 25,9%
diperlukan dalam teks menonjol dan ada sedikit, jika ada, informasi yang bersaing. pembaca secara eksplisit diarahkan
untuk mempertimbangkan faktor-faktor yang relevan dalam tugas dan dalam teks.

43
 Tugas pada tingkat ini membutuhkan pembaca untuk menemukan satu bagian dari informasi secara eksplisit
dinyatakan dalam posisi terkemuka dalam singkat, teks sintaksis sederhana dengan konteks dan teks jenis familiar,
seperti narasi atau daftar sederhana. Teks biasanya menyediakan dukungan kepada pembaca, seperti pengulangan
1b 262 4,4% 12,6%
informasi, gambar atau simbol familiar. Ada informasi yang bersaing minimal. Dalam tugas yang membutuhkan
interpretasi pembaca mungkin perlu untuk membuat hubungan sederhana antara parsel informasi.

1,3% 4,3% Tugas pada tingkat ini membutuhkan pembaca untuk memahami arti dari kata-kata tertulis individu dan frasa
(Persentase (Persentase pendek. Tugas mengharuskan mahasiswa untuk mencari satu kata atau frase dalam daftar pendek atau teks, untuk
siswa siswa mengenali bentuk cetak benda-benda umum dan konsep, atau untuk mengekstrak makna harfiah dari kalimat
1c * mencetak di mencetak di individual dan sangat singkat bagian sintaksis sederhana dengan konteks familiar. Teks mendukung siswa dengan
bawah Level bawah Level pointer eksplisit untuk informasi dan dengan pengulangan, gambar atau simbol-simbol yang akrab dengan informasi
1b di PISA 1b di PISA yang bersaing terbatas.
2012) 2012)

Catatan: * Akan tersedia setelah kajian utama.

Deskriptor 1b sampai 6 adalah sama dengan yang digunakan dalam PISA 2012 dan 2015.

Pengujian literasi membaca di antara out-of-sekolah penduduk

Kerangka Reading PISA-D diperpanjang sesuai untuk siswa berusia 15 tahun baik di dalam maupun di luar sekolah. Unit dan
barang-barang tidak langsung sekolah berbasis kontekstual, dan dengan demikian, tidak ada persyaratan tertentu atau perubahan yang
diperlukan dalam unit yang dikategorikan sebagai relevan untuk kegiatan pendidikan, karena kegiatan pendidikan juga terjadi out-of-sekolah.
Oleh karena itu, distribusi dan pemilihan unit dan item dapat dipertahankan sama untuk PISA-D di-sekolah dan out-of-sekolah populasi.

Out-of-sekolah komponen dinilai pada komputer tablet, tetapi hanya item fixed-teks yang digunakan, sehingga sangat tepat untuk menggunakan
kerangka yang sama seperti untuk tes berbasis kertas.

kotak 2.3 Mode pengiriman

penilaian berbasis sekolah PISA-D adalah berbasis kertas, sementara out-of-sekolah penilaian dilakukan pada komputer tablet. Agar dapat
dibandingkan antara tes, instrumen berbasis tablet untuk PISA-D dibentuk oleh subkelompok dari item yang digunakan untuk penilaian berbasis
kertas. Semua barang-barang tersebut pada awalnya dirancang untuk penilaian berbasis kertas, sehingga ketika pindah ke pengiriman berdasarkan
tablet, perawatan diambil untuk menjaga perbandingan antara penilaian. The PISA 2015 kerangka menjelaskan beberapa faktor yang harus
dipertimbangkan ketika transposing item dari kertas ke mode komputer. Unsur-unsur ini juga diperhitungkan ketika merancang out-of-sekolah
instrumen untuk PISA-D.

jenis item: Komputer menyediakan berbagai peluang bagi desainer item tes, termasuk format baru item (misalnya drag-and-drop, hotspot). Karena
PISA-D basis tablet tes menggunakan kelompok sub item membentuk tes berbasis kertas, ada sedikit kesempatan untuk mengeksploitasi jenis item
yang inovatif dan mayoritas format respon tetap tidak berubah.

presentasi Stimulus: Sebuah fitur teks tetap didefinisikan dalam membangun adalah bahwa “sejauh atau jumlah teks yang segera terlihat untuk pembaca”.
Jelas, itu tidak mungkin, baik di atas kertas dan di layar, untuk memiliki teks yang panjang ditampilkan pada satu halaman atau layar. Untuk memungkinkan
untuk ini dan masih memenuhi konstruk teks tetap, pagination digunakan untuk teks daripada bergulir. Teks yang mencakup lebih dari satu halaman disajikan
secara utuh sebelum siswa melihat pertanyaan pertama.

kemampuan IT: Sama seperti penilaian berbasis kertas mengandalkan satu set keterampilan dasar untuk bekerja dengan bahan cetak, sehingga penilaian berbasis komputer
bergantung pada satu set informasi dan komunikasi mendasar teknologi (ICT) keterampilan untuk menggunakan komputer. Ini termasuk pengetahuan tentang hardware dasar
(misalnya keyboard dan mouse) dan konvensi dasar (misalnya panah untuk bergerak maju dan tombol khusus untuk menekan untuk menjalankan perintah). Tujuannya adalah
untuk menjaga keterampilan tersebut ke tingkat inti minimal dalam penilaian berbasis tablet.

Contoh item untuk menangani kerangka membaca PISA-D diperpanjang

Berikut ini enam item menggambarkan jenis pertanyaan yang bisa diajukan siswa di Level 1A dan bawah.

44
Sampel butir 1

Sampel butir 1 menilai tugas pengolahan kalimat dan kemungkinan sesuai dengan tingkat kemampuan 1c. Dalam PISA-D, tugas
pengolahan kalimat juga termasuk beberapa kalimat pendek dengan 3 pilihan, dengan instruksi untuk memilih kata yang membuat akal
kalimat make.

Sampel item 2

Contoh item 2 menilai bagian pemahaman dan kemungkinan sesuai dengan tingkat kemampuan 1c. Dalam PISA-D, paragraf
bagian pemahaman (bagian dari Reading Komponen) telah dimodifikasi untuk memiliki 3 pilihan bukannya 2.

45
Sampel butir 3

46
 Contoh angka 3 adalah barang PISA dirilis yang menunjukkan teks informasi dasar. Pertanyaan 7,2 menilai pemahaman literal
siswa dari teks. Karena jumlah teks, siswa harus membaca, kemungkinan sesuai dengan tingkat 1a. Pertanyaan 7.4, di sisi lain, menilai
integrasi dan interpretasi informasi dan dengan demikian berada pada tingkat yang lebih tinggi dari kemampuan.

Item sampel 4

47
 Contoh angka 4 adalah barang PISA dirilis yang menilai akses dasar dan mengambil tugas-tugas dalam teks noncontinuous sederhana.
Pertanyaan 12.1 membutuhkan mengakses informasi langsung dari baris dalam tabel yang mungkin 1a tingkat atau 1b, sementara pertanyaan 12,2
membutuhkan menggabungkan beberapa kriteria untuk mengakses informasi yang benar yang lebih mungkin tingkat 2.

Contoh angka 5

Sampel butir 5 adalah barang PISA dirilis yang menilai akses dasar dan mengambil proses. Pertanyaan 3, “Apa nama dari
perusahaan yang membuat biskuit?” Membutuhkan kesimpulan kecil karena ayat ini mengatakan “produsen” daripada “perusahaan”.
Dengan demikian, seperti berdiri, item akan kemungkinan besar akan di Level 1b kemahiran. Namun, jika dimodifikasi sebagai “Apa
nama produsen yang membuat biskuit?”, Maka item akan membutuhkan pertandingan literal dan akan dianggap di Tingkat 1c.

48
 CATATAN

1. Proses istilah dari 2018 kerangka digunakan sebagai pengganti aspek istilah yang digunakan dalam versi sebelumnya.

2. Pada 2015 PISA dipindahkan ke pengiriman berbasis komputer dengan konsekuensi tambahan untuk klasifikasi jenis teks.
Untuk lebih jelasnya pembaca disebut kerangka membaca PISA 2015.

49
 REFERENSI

Abadzi, H. (2003). Meningkatkan hasil keaksaraan orang dewasa: Pelajaran dari penelitian kognitif untuk mengembangkan
negara. Washington, DC: Bank Dunia.

Anderson, RC, dan Freebody, P. (1981). pengetahuan kosa kata. Dalam JT Guthrie (Ed.), Pemahaman
dan mengajar (pp. 77-117). Newark, DE: Asosiasi Reading Internasional.

Baer, ​J., Kutner, M., dan Sabatini, J. (2009). keterampilan membaca dasar dan melek huruf Amerika setidaknya
orang dewasa melek huruf: Hasil dari 2003 National Assessment of Literacy Dewasa Studi (Naal) Supplemental (NCES 2009-481).
Washington, DC: Pusat Nasional untuk Statistik Pendidikan, Lembaga Ilmu Pengetahuan Pendidikan, Departemen Pendidikan AS.

Binkley, M., Rust, K., dan Williams, T. (Eds.). (1997). Membaca melek huruf di perspektif internasional.
Washington, DC: Departemen Pendidikan AS.

Britt, MA, Goldman, SR, dan Rouet, J.-F. (Eds.). (2012). Reading: Dari kata-kata untuk beberapa teks. Baru
York, NY: Routledge.

Britt, MA, dan Rouet, J.-F. (2012). Belajar dengan beberapa dokumen: keterampilan Komponen dan mereka
perolehan. Dalam MJ Lawson dan JR Kirby (Eds.), Kualitas pembelajaran: Disposisi, instruksi, dan
struktur mental. New York, NY: Cambridge University Press.

Coiro, J., Knobel, M., Lankshear, C., dan Leu, D. (2008). isu sentral dalam kemahiran baru dan baru
literacies penelitian. Dalam J. Coiro, M. Knobel, C. Lankshear, dan D. Leu (Eds.), Buku panduan penelitian tentang kemahiran
baru. Mahwah, NJ: Erlbaum.

Coulombe, S., Tremblay, JF., Dan Marchand, S. (2004). skor Literasi, modal manusia, dan pertumbuhan di
empat belas negara-negara OECD. Ottawa, Kanada: Statistik Kanada.

Dewan Eropa (1996). bahasa modern: belajar, mengajar, penilaian: A European umum
kerangka acuan. CC-LANG (95) 5 Rev. IV. Strasbourg, Prancis: Penulis.

Cunningham, AE, dan Stanovich, KE (1998). Awal akuisisi membaca dan hubungannya dengan membaca
pengalaman dan kemampuan 10 tahun kemudian. Psikologi Perkembangan 33, 934-945.

Curtis, ME (1980). Pengembangan komponen keterampilan membaca. Jurnal Psikologi Pendidikan, 72,
656-669.

Dechant, E. (1991). Pemahaman dan pengajaran membaca: Sebuah model interaktif. Hillsdale, NJ: Lawrence
Erlbaum Associates, Penerbit.

Halpern, DF (1989). Pemikiran dan pengetahuan: Pengantar berpikir kritis. Hillsdale, NJ:
Lawrence Erlbaum Associates.

Hirsch, ED, Jr (2003). Membaca pemahaman membutuhkan pengetahuan-kata dan dunia. Amerika
Pendidik, 27, 10-31.

50
Holloway, JH (1999). Meningkatkan kemampuan membaca remaja, Pendidikan Kepemimpinan, 57 (2), 80-82.

Hoover, WA, dan Tunmer, KAMI (1993). Komponen membaca. Dalam GG Thompson, KAMI Tunmer,
dan T. Nicholson (Eds.), Membaca proses akuisisi (pp. 1-19). Philadelphia, PA: Matters multibahasa.

Hubbard, R. (1989). Catatan dari bawah tanah: Unofficial melek dalam satu kelas enam. Antropologi dan
Pendidikan Quarterly, 20, 291-307.

Asosiasi Reading International (2012). keaksaraan remaja. Dokumen diambil dari

www.literacyworldwide.org, 28 Agustus 2015.

International Telecommunications Union. (2014). Key 2005-2014 Data TIK bagi dunia, dengan geografis
daerah dan oleh tingkat perkembangan [file Excel]. Jenewa (Swiss): ITU. Diterima dari
www.itu.int/en/ITU-D/Statistics/Pages/publications/mis2014.aspx

Kintsch, W. (1998). Pemahaman: Sebuah paradigma untuk kognisi. Cambridge, MA: Cambridge University
Tekan.

Kirsch, I. (2001). The International Adult Literacy Survey: Memahami apa yang diukur. Princeton,
NJ: Educational Testing Service.

Kirsch, I., dan Mosenthal, PB (1990). Menjelajahi keaksaraan dokumen: Variabel yang mendasari
kinerja dewasa muda. Reading Research Quarterly, 25 (1), 5-30.

McCutchen, D., Hijau, L., dan Abbott, RD (2008). pengetahuan morfologi anak-anak: Link ke
keaksaraan. Membaca Psikologi, 29 (4), 289-314.

McNamara, DS, dan Magliano, J. (2009). Menuju model komprehensif pemahaman.

Psikologi Belajar dan Motivasi, 51, 297-384.

Nagy, W., dan Townsend, D. (2012). Kata-kata sebagai alat: Belajar kosakata akademik sebagai bahasa
perolehan. Reading Research Quarterly, 47, 91-108.

Oakhill, JV, Cain, K., dan Bryant, PE (2003). Disosiasi kata membaca dan teks
pemahaman: Bukti dari kemampuan komponen. Bahasa dan Proses Kognitif, 18, 443-468.

Ouellet, GP (2006). Apa arti harus dilakukan dengan itu: Peran kosakata dalam kata membaca dan
pemahaman membaca. Jurnal Psikologi Pendidikan, 98, 554-566.

Perfetti, CA (1985). Kemampuan membaca. New York, NY: Oxford University Press.

Perfetti, CA (2003). Tata bahasa universal membaca. Studi ilmiah dari Reading, 7 (1), 3-24.

Perfetti, CA, Landi, N., dan Oakhill, J. (2005). Akuisisi keterampilan membaca pemahaman. dalam MJ
Snowling dan C. Hulme (Eds.), Ilmu membaca: Sebuah buku pegangan (pp 227-247.). Malden, MA: Blackwell.

Pew Internet dan Life Project Amerika (2005). Tren 2005: Internet: Pengarusutamaan kehidupan online.
Washington DC.

51
Rand Corporation. (2002). Membaca untuk memahami: Menuju program RandD dalam membaca
pemahaman. Santa Monica, CA: Penulis.

Rayner, K., dan Reichle, ED (2010). Model proses membaca. Wiley Ulasan Interdisipliner.
Cognitive Science, 1 (6), 787-799. doi: 10,1002 / wcs.68

Reinking, D. (1994). keaksaraan elektronik. Perspektif di Reading Penelitian, 4.

Richter, T., dan Rapp, DN (2014). Pemahaman dan validasi informasi teks: Pengantar
edisi khusus. Proses wacana, 51, 1-6.

Rumelhart, DE (1985). Menuju model interaktif membaca. Dalam H. Singer dan RB Ruddell (Eds.),
model teoritis dan proses membaca (3rd ed.). Newark, DE: Internasional.

Sabatini, JP, dan Bruce, KM (2009). Membaca komponen: Sebuah kerangka konseptual, OECD Working
Paper No 33. Diperoleh dari:
www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?doclanguage=enandcote=edu/wkp(20
09) 12

Shanahan, T., dan Shanahan, C. (2008). Mengajar keaksaraan disiplin untuk remaja: Rethinking isi-
daerah keaksaraan. Harvard Educational Review, 78 (1), 40-59.

Shetzer, H. dan Warschauer, M. (2000). Sebuah pendekatan keaksaraan elektronik untuk bahasa berbasis jaringan
pengajaran. Dalam M. Warschauer dan R. Kem (. Eds), Jaringan berbasis pengajaran bahasa: Konsep dan praktek (pp.
175-185). New York: Cambridge University Press.

Smith, MC, Mikulecky, L., Kibby, MW, dan Dreher, MJ (2000). Apa yang akan menjadi tuntutan
melek huruf di tempat kerja di milenium mendatang? Reading Research Quarterly, 35 (3), 378-383.

Sticht, TG (Ed.). (1975). Membaca untuk kerja: Sebuah antologi keaksaraan fungsional. Alexandria, VA: Manusia
Sumber daya Organisasi Penelitian.

Stiggins, RJ (1982). Analisis dimensi membaca yang berhubungan dengan pekerjaan. Membaca Dunia, 82, 237-247.

Stine-Morrow, EAL, Miller, LMS, dan Hertzog, C. (2006). Penuaan dan bahasa self-regulated
pengolahan. Psychological Bulletin, 132, 582-606.

Permen, R., dan Meates, A. (2004), ICT dan berprestasi rendah: Apa yang PISA memberitahu kita? Budapest, Hungaria,
dan Paris, Prancis: Hungaria Departemen Pendidikan.

Van den Broek, P., Kebajikan, S., Everson, M., Tzeng, Y., dan Sung, Y. (2002). Pemahaman dan memori
teks ilmu: proses inferensial dan pembangunan representasi mental. Dalam J. Otero, J. Leon, dan AC Graesser
(Eds.), Psikologi pemahaman teks ilmu pengetahuan (pp. 131-154). Mahwah, NJ: Erlbaum.

Warschauer, M. (1999), Electronic literacies: budaya Bahasa dan kekuasaan dalam pendidikan online. Mahwah,
NJ: Lawrence Erlbaum Associates.

Werlich, E. (1976). Sebuah tata bahasa teks bahasa Inggris. Heidelberg, Jerman: Quelle.

Zwaan, RA, dan Singer, M. (2003). pemahaman teks. Dalam AC Graesser, MA Gernsbacher, dan
SR Goldman (Eds.), Handbook proses wacana (pp. 83-122). Mahwah, NJ: Erlbaum.

52
BAB 3. PISA UNTUK PENGEMBANGAN MATEMATIKA KERANGKA

Bab ini mendefinisikan “matematika melek”sebagaimana dinilai dalam Program untuk

Penilaian International Student (PISA) dan ekstensi untuk kerangka matematika PISA yang telah dirancang
untuk PISA untuk Pembangunan (PISA-D) proyek. Ini menjelaskan proses, pengetahuan konten dan konteks
tercermin dalam masalah matematika PISA-D ini, dan menyediakan beberapa item sampel. Bab ini juga
membahas bagaimana kinerja siswa dalam matematika diukur dan dilaporkan.

53
Apa yang baru di PISA-D? Ekstensi untuk kerangka melek matematika PISA

Tujuan dari kerangka matematika PISA-D adalah untuk memperluas kerangka PISA untuk dapat mengukur kemampuan matematika
siswa yang tampil di atau di bawah level terendah pada standar matematika skala PISA. Hasil pengukuran tersebut harus menyediakan data
yang handal yang bisa membantu untuk merencanakan cara yang paling efektif untuk meningkatkan kemampuan matematika para siswa.
Kerangka ini diperpanjang berlaku tidak hanya untuk siswa tetapi juga untuk 14-16-tahun-anak usia yang keluar dari sekolah atau tidak
terdaftar dalam target nilai PISA ini (kelas 7 atau di atas).

Untuk mencapai tujuan ini kerangka, tampaknya cukup alami untuk memusatkan perhatian pada beberapa sangat dasar
“kemampuan berhitung” seperti kelancaran dalam melakukan operasi aritmatika sederhana. Namun, itu tidak akan menjadi solusi efektif.
Meski tentu saja beberapa keterampilan yang diperlukan untuk tampil di tingkat tertinggi PISA - seperti kefasihan aritmatika, pemahaman
tentang konsep-konsep matematika dasar, mampu mengenali dan mengidentifikasi grafik, dan pemahaman kosakata matematika -
mereka tidak fokus PISA.

Pelaksanaan pengukuran PISA matematika didahului dengan diskusi ilmiah tentang peran matematika mengajar. Referensi
bagian dari bab ini berisi daftar publikasi ilmiah yang paling penting di balik diskusi-diskusi. Kerangka itu sendiri memberikan
penjelasan yang komprehensif dari kesimpulan yang paling penting, yang berpuncak pada konsep keaksaraan matematika.
Singkatnya, itu menekankan pentingnya utama kemampuan untuk menggunakan matematika dalam berbagai konteks.
Keberhasilan internasional PISA menegaskan bahwa ini adalah cara yang diterima secara luas memahami tujuan utama dari
pembelajaran matematika di dunia saat ini.

Dari perspektif ini, menguasai keterampilan teknis yang paling dasar tidak cukup. Tentu saja penting untuk dapat melakukan operasi
aritmatika, tetapi melakukan operasi ini tidak cukup untuk mendapatkan oleh matematis dalam kehidupan nyata. Untuk menempatkan
pengetahuan ini untuk digunakan, salah satu tentu membutuhkan setidaknya keterampilan dasar memilih model yang tepat dan memilih
strategi atau penjelasan. Keterampilan ini merupakan inti dari pemahaman PISA keaksaraan matematika.

Mengidentifikasi beberapa bahkan keterampilan teknis yang paling dasar sebagai ukuran kompetensi matematika akan, dalam konteks ini,
cukup menyesatkan. Ini bisa mengarahkan perhatian para pengguna PISA hasil terhadap mereka keterampilan sebagai target pendidikan dasar.
Namun, pendekatan ini akan memberikan sedikit kesempatan kepada siswa mereka untuk menjadi lebih matematis melek.

The PISA-D kerangka matematika menganut gagasan inti literasi matematika, seperti yang didefinisikan oleh PISA. Oleh karena itu
dirancang hanya sebagai ekstensi untuk kerangka matematika PISA 2015. Kerangka kerja ini karena itu dirancang untuk pengukuran dasarnya
keterampilan dasar yang sama seperti PISA 2015. ekstensi bertujuan memperluas cakupan di tingkat kemampuan yang lebih rendah pada
dasarnya dalam dua cara: dengan menggunakan lebih mudah, item hanya dirumuskan dan dengan menyarankan analisis yang sangat hati-hati
upaya siswa untuk memecahkan masalah. Namun, item yang digunakan dalam PISA-D juga akan menguji kemampuan untuk memilih model yang
tepat dan memilih strategi atau penjelasan. Hanya dengan cara ini akan PISA-D memiliki kesempatan untuk membuktikan berguna dalam
meningkatkan literasi matematika siswa.

Ekstensi dibuat untuk kerangka PISA 2015 di PISA-D merupakan upaya untuk mendapatkan informasi lebih lanjut tentang siswa
yang saat ini melakukan di bawah Level 1. Dalam rangka matematika, ekstensi ini terjadi di tiga lokasi: deskripsi dari kemahiran, di
mana tesebut 1 adalah diganti sebagai 1a dan dua tingkat kemahiran baru yang ditambahkan, 1b dan 1c; menambahkan lima kegiatan
baru untuk deskriptor proses; dan menambahkan empat keterampilan baru ke meja berkaitan proses matematika dengan kemampuan
matematika yang mendasar.

54
 The PISA 2015 Kerangka (OECD, 2016) terus deskripsi dan ilustrasi dari penilaian matematika PISA sebagaimana ditetapkan
dalam kerangka 2012, ketika matematika diperiksa ulang dan diperbarui untuk digunakan sebagai domain utama dalam siklus itu.

Untuk PISA 2015, komputer adalah modus utama pengiriman untuk semua domain, termasuk keaksaraan matematika. 2015
Kerangka diperbarui untuk mencerminkan perubahan dalam modus pengiriman, dan termasuk diskusi tentang pertimbangan
transposing item kertas ke layar dan contoh dari apa hasilnya terlihat seperti. Definisi dan konstruksi keaksaraan matematika Namun,
tetap tidak berubah dan konsisten dengan yang digunakan pada 2012. Hal ini penting untuk dicatat bahwa PISA-D meliputi tes berbasis
kertas untuk di-sekolah populasi dan tes berbasis tablet untuk out-of-sekolah penduduk. Untuk alasan ini, oleh karena itu, bagian
dalam bab ini berurusan dengan penilaian berbasis komputer matematika hanya berlaku untuk penilaian out-ofschool.

Bab ini disusun dalam tiga bagian besar. Bagian pertama, “Mendefinisikan Matematika Literasi,” jelas teoretis dari
penilaian matematika PISA, termasuk definisi formal dari konstruk melek matematika. Bagian kedua, “Pengorganisasian
domain matematika,” menjelaskan tiga aspek: a) matematika proses dan kemampuan matematika dasar ( dalam kerangka
kerja sebelumnya “kompetensi”) yang mendasari proses-proses tersebut; b) cara matematis kadar pengetahuan
diselenggarakan di PISA 2015 kerangka, dan pengetahuan konten yang relevan dengan penilaian siswa 15 tahun; dan c) konteks
di mana siswa akan menghadapi tantangan matematika. Bagian ketiga, “Menilai Matematika Literasi”, menguraikan
pendekatan yang dilakukan untuk menerapkan unsur-unsur dari kerangka dijelaskan sebelumnya, termasuk format
respon, barang mencetak gol, pelaporan kemampuan, pengujian melek matematika di antara out-of-sekolah populasi dan
contoh item untuk mengatasi kerangka PISA-D diperpanjang.

Mendefinisikan melek matematika

Pemahaman matematika merupakan pusat kesiapan orang muda untuk hidup dalam masyarakat modern. Sebuah
proporsi pertumbuhan masalah dan situasi yang dihadapi dalam kehidupan sehari-hari, termasuk dalam konteks
profesional, memerlukan beberapa tingkat pemahaman matematika, penalaran matematika dan alat-alat matematika,
sebelum mereka dapat sepenuhnya dipahami dan ditangani. Matematika adalah alat penting bagi orang-orang muda
karena mereka menghadapi masalah dan tantangan dalam aspek pribadi, pekerjaan, sosial, dan ilmiah dari kehidupan
mereka. Dengan demikian penting untuk memiliki pemahaman tentang sejauh mana orang-orang muda yang muncul dari
sekolah yang memadai siap untuk menerapkan matematika untuk memahami isu-isu penting dan memecahkan masalah
yang berarti.

Konstruk literasi matematika yang digunakan di bab ini didasarkan pada PISA 2015 dan dimaksudkan untuk menggambarkan kapasitas
individu untuk alasan matematis dan menggunakan matematika konsep, prosedur, fakta-fakta dan alat-alat untuk menggambarkan, menjelaskan
dan memprediksi fenomena. Konsepsi ini keaksaraan matematika mendukung pentingnya siswa mengembangkan pemahaman yang kuat tentang
konsep-konsep matematika murni dan manfaat yang terlibat dalam eksplorasi dalam dunia abstrak matematika. Konstruk literasi matematika,
seperti yang didefinisikan untuk PISA, sangat menekankan kebutuhan untuk mengembangkan kapasitas siswa untuk menggunakan matematika
dalam konteks, dan penting bahwa mereka memiliki pengalaman yang kaya di kelas matematika mereka untuk mencapai hal ini. Untuk PISA 2012,
melek matematika didefinisikan sebagai ditunjukkan dalam Kotak 3.1.

Ini adalah definisi yang digunakan dalam PISA 2015 dan PISA-D penilaian juga.

55
 Kotak 3.1 PISA 2015 definisi literasi matematika

literasi matematika adalah kemampuan individu untuk merumuskan, mempekerjakan, dan menafsirkan matematika dalam berbagai konteks. Ini mencakup
penalaran matematis dan menggunakan matematika konsep, prosedur, fakta-fakta dan alat-alat untuk menggambarkan, menjelaskan dan memprediksi fenomena.
Ini membantu individu untuk mengakui peran bahwa matematika bermain di dunia dan untuk membuat penilaian baik didirikan dan keputusan yang dibutuhkan oleh
konstruktif, terlibat dan warga reflektif.

Fokus dari bahasa dalam definisi literasi matematika adalah pada keterlibatan aktif dalam matematika, dan dimaksudkan untuk
mencakup penalaran matematis dan menggunakan matematika konsep, prosedur, fakta-fakta dan alat-alat dalam menggambarkan,
menjelaskan dan memprediksi fenomena. Secara khusus, kata kerja 'merumuskan,' 'mempekerjakan', dan 'menafsirkan point' untuk tiga
proses di mana siswa sebagai pemecah masalah yang aktif akan terlibat.

Bahasa definisi itu juga dimaksudkan untuk mengintegrasikan gagasan pemodelan matematika, yang secara historis menjadi landasan
kerangka PISA untuk matematika (misalnya OECD, 2004), dalam definisi PISA 2015 keaksaraan matematika. Sebagai individu menggunakan
matematika dan alat-alat matematika untuk memecahkan masalah dalam konteks, pekerjaan mereka berlangsung melalui serangkaian tahapan
(individual dikembangkan kemudian dalam dokumen).

Siklus pemodelan adalah aspek sentral dari PISA konsepsi siswa sebagai pemecah masalah yang aktif; Namun, seringkali tidak perlu
untuk terlibat dalam setiap tahap siklus modeling, terutama dalam konteks penilaian (Niss et al., 2007). Pemecah masalah sering melakukan
beberapa langkah dari siklus pemodelan tetapi tidak semua dari mereka, (misalnya ketika menggunakan grafik), atau terjadi di sekitar siklus
beberapa kali untuk memodifikasi keputusan sebelumnya dan asumsi.

Definisi ini juga mengakui bahwa literasi matematika membantu individu untuk mengakui peran bahwa matematika bermain di
dunia dan dalam membantu mereka membuat jenis penilaian beralasan dan keputusan yang diperlukan dari konstruktif, terlibat dan
warga reflektif.

alat-alat matematika yang disebutkan dalam definisi mengacu pada berbagai peralatan fisik dan digital, perangkat lunak dan
perangkat perhitungan. 2015 survei berbasis komputer serta tes PISA-D tablet berbasis
termasuk kalkulator online sebagai bagian dari bahan uji berbasis komputer yang disediakan untuk beberapa pertanyaan.

Pengorganisasian domain matematika

The PISA kerangka matematika mendefinisikan domain matematika untuk survei PISA dan menggambarkan suatu
pendekatan terhadap penilaian terhadap literasi matematis dari 15-year-olds. Artinya, PISA menilai sejauh mana siswa 15 tahun
dapat menangani matematika cekatan ketika dihadapkan dengan situasi dan masalah - mayoritas yang disajikan dalam konteks
dunia nyata.

Untuk tujuan penilaian, definisi PISA 2015 dari keaksaraan matematika dapat dianalisis dalam tiga aspek yang saling
terkait:

• Proses matematika yang menggambarkan apa yang orang lakukan untuk menghubungkan konteks masalah dengan matematika dan
dengan demikian memecahkan masalah, dan kemampuan yang mendasari proses-proses tersebut;

• Isi matematika yang ditargetkan untuk digunakan dalam item penilaian; dan

• Konteks di mana item penilaian berada.

56
 Bagian berikut menguraikan aspek-aspek tersebut. Dalam menyoroti aspek-aspek domain, PISA 2012 matematika
kerangka, yang juga digunakan dalam PISA 2015 dan PISA-D, membantu memastikan bahwa item penilaian yang dikembangkan
untuk survei mencerminkan berbagai proses, konten, dan konteks, sehingga, dianggap secara keseluruhan, set item penilaian
secara efektif operationalises apa kerangka ini mendefinisikan sebagai literasi matematika. Untuk menggambarkan aspek literasi
matematika, contoh yang tersedia di PISA 2012 Penilaian dan Analytical Framework (OECD, 2013) dan di situs PISA ( www.oecd.org/pisa/
).

Beberapa pertanyaan, berdasarkan definisi PISA 2015 keaksaraan matematika, di balik organisasi dari bagian bab
ini. Mereka:

• proses apa yang individu terlibat dalam ketika memecahkan masalah matematika kontekstual, dan kemampuan apa yang kita
harapkan individu untuk mampu menunjukkan sebagai keaksaraan matematika mereka tumbuh?

• Apa isi matematika pengetahuan yang bisa kita harapkan dari individu - dan 15-tahun siswa pada khususnya?

• Dalam apa konteks dapat melek matematika dapat diamati dan dinilai?

Gambar 3.1 Sebuah model literasi matematika dalam praktek

Tantangan di dunia nyata

konteks
kategori konten matematika: Kuantitas; Ketidakpastian & data; Perubahan & hubungan; Ruang & bentuk
kategori konteks dunia nyata: Pribadi; sosial; kerja; Ilmiah

pemikiran matematika dan tindakan

konsep-konsep matematika, pengetahuan dan keterampilan Fundamental kemampuan matematika: Komunikasi;
Perwakilan; Merumuskan strategi; Mathematisation; Penalaran dan argumentasi; Menggunakan simbolis, formal dan teknis bahasa
dan operasi; Menggunakan alat-alat matematika

proses: Merumuskan, Mempekerjakan, Menafsirkan / Evaluasi

Masalah dalam Merumuskan Matematis

konteks masalah

Mempekerjakan
Evaluasi

Hasil dalam Menafsirkan

Matematis
konteks hasil

57
proses matematika dan kemampuan matematika yang mendasari

proses matematika

Definisi literasi matematika mengacu pada kemampuan individu untuk merumuskan, mempekerjakan, dan menafsirkan matematika. Tiga
kata ini, merumuskan, mempekerjakan dan menafsirkan, memberikan struktur yang berguna dan bermakna untuk mengatur proses matematika
yang menggambarkan apa yang orang lakukan untuk menghubungkan konteks masalah dengan matematika dan dengan demikian
memecahkan masalah. Item dalam PISA 2015 dan survei matematika PISA-D akan ditugaskan ke salah satu dari tiga proses matematika:

• merumuskan situasi matematis

• mempekerjakan konsep-konsep matematika, fakta, prosedur, dan penalaran

• menafsirkan, menerapkan dan mengevaluasi hasil matematika.

Hal ini penting bagi para pembuat kebijakan dan mereka yang terlibat lebih dekat dalam pendidikan sehari-hari siswa untuk
mengetahui seberapa efektif siswa dapat terlibat dalam setiap proses ini. Itu merumuskan
Proses menunjukkan seberapa efektif siswa dapat mengenali dan mengidentifikasi peluang untuk menggunakan matematika dalam situasi
masalah dan kemudian memberikan struktur matematika yang diperlukan yang diperlukan untuk merumuskan bahwa masalah
dikontekstualisasikan ke dalam bentuk matematika. Itu mempekerjakan Proses menunjukkan seberapa baik siswa dapat melakukan perhitungan
dan manipulasi dan menerapkan konsep dan fakta bahwa mereka tahu untuk sampai pada solusi matematika untuk masalah dirumuskan secara
matematis. Itu menafsirkan
Proses menunjukkan seberapa efektif siswa dapat merefleksikan solusi matematika atau kesimpulan, menafsirkannya dalam konteks
masalah dunia nyata, dan menentukan apakah hasil atau kesimpulan yang wajar. fasilitas siswa untuk menerapkan matematika untuk
masalah dan situasi tergantung pada keterampilan yang melekat dalam ketiga proses tersebut, dan pemahaman tentang efektivitas mereka
dalam setiap kategori dapat membantu menginformasikan baik diskusi dan keputusan kebijakan tingkat yang dibuat lebih dekat ke tingkat
kelas.

Dalam upaya untuk lebih mengukur kemampuan Tingkat 1b dan 1c siswa, ekstensi tertentu telah dibuat dalam PISA-D untuk deskripsi dari
proses merumuskan, mempekerjakan dan menafsirkan. Kelima penambahan dimaksudkan untuk lebih menggambarkan upaya siswa untuk
menerapkan proses matematika. Pendekatan yang dilakukan mengakui bahwa sebelum siswa dapat sepenuhnya mampu memanfaatkan proses,
mereka harus terlebih dahulu mampu mengidentifikasi dan memilih model yang tepat, strategi atau argumen.

Merumuskan situasi matematis

kata merumuskan dalam definisi literasi matematika mengacu pada individu mampu mengenali dan mengidentifikasi peluang
untuk menggunakan matematika dan kemudian memberikan struktur matematika untuk masalah yang disajikan dalam beberapa
bentuk kontekstual. Dalam proses perumusan situasi matematis, individu menentukan di mana mereka dapat mengekstrak matematika
penting untuk menganalisis, mengatur, dan memecahkan masalah. Mereka menerjemahkan dari dunia nyata pengaturan untuk domain
matematika dan memberikan masalah dunia nyata dengan struktur matematika, representasi, dan spesifisitas. Mereka alasan tentang
dan memahami kendala dan asumsi dalam masalah. Secara khusus, proses ini merumuskan situasi matematis meliputi kegiatan
seperti berikut:

• mengidentifikasi aspek-aspek matematis dari masalah terletak dalam konteks dunia nyata dan mengidentifikasi variabel yang signifikan

• mengenali struktur matematika (termasuk keteraturan, hubungan dan pola) dalam masalah-masalah atau situasi

58
 • menyederhanakan situasi atau masalah dalam rangka untuk membuatnya setuju untuk analisis matematika

• mengidentifikasi kendala dan asumsi di balik setiap pemodelan matematika dan penyederhanaan dikumpulkan dari konteks

• mewakili situasi matematis, dengan menggunakan variabel yang tepat, simbol, diagram dan model standar

• mewakili masalah dengan cara yang berbeda, termasuk mengatur sesuai dengan konsep-konsep matematika dan
membuat asumsi yang tepat

• memahami dan menjelaskan hubungan antara bahasa konteks-spesifik masalah dan bahasa simbolik dan
formal diperlukan untuk mewakili secara matematis

• menerjemahkan masalah ke dalam bahasa matematika atau representasi

• mengenali aspek masalah yang sesuai dengan masalah yang diketahui atau konsep-konsep matematika, fakta atau
prosedur

• menggunakan teknologi (seperti spreadsheet atau fasilitas daftar pada kalkulator grafik) untuk menggambarkan hubungan matematis
yang melekat dalam masalah kontekstual.

Selain kegiatan yang tercantum di atas, kegiatan berikut telah ditambahkan ke PISA-D:

• memilih model yang sesuai dari daftar.

Mempekerjakan matematika konsep, fakta, prosedur dan penalaran

kata mempekerjakan dalam definisi literasi matematika mengacu pada individu mampu menerapkan konsep-konsep matematika,
fakta, prosedur, dan penalaran untuk memecahkan masalah dirumuskan secara matematis untuk mendapatkan kesimpulan matematika.
Dalam proses mempekerjakan konsep-konsep matematika, fakta, prosedur, dan penalaran untuk memecahkan masalah, individu
melakukan prosedur matematika yang diperlukan untuk memperoleh hasil dan menemukan solusi matematika (misalnya melakukan
perhitungan aritmatika, memecahkan persamaan, membuat pemotongan logis dari asumsi matematika, melakukan simbolik manipulasi,
penggalian informasi matematika dari tabel dan grafik, mewakili dan memanipulasi bentuk dalam ruang, dan menganalisis data). Mereka
bekerja pada model dari situasi masalah, membangun keteraturan, mengidentifikasi hubungan antara entitas matematika dan menciptakan
argumen matematika. Secara khusus, proses ini mempekerjakan matematika konsep, fakta, prosedur dan penalaran mencakup kegiatan
seperti:

• merancang dan menerapkan strategi untuk menemukan solusi matematika

• menggunakan alat-alat matematika, termasuk teknologi, untuk membantu mencari solusi yang tepat atau perkiraan

• menerapkan fakta matematika, aturan, algoritma dan struktur ketika menemukan solusi

• memanipulasi angka, grafis dan statistik data dan informasi, ekspresi aljabar dan persamaan, dan representasi
geometris

• membuat diagram matematika, grafik dan konstruksi dan penggalian informasi matematika dari mereka

59
 • menggunakan dan beralih di antara representasi yang berbeda dalam proses pencarian solusi

• pembuatan generalisasi berdasarkan hasil penerapan prosedur matematika untuk menemukan solusi

• merefleksikan argumen matematika dan menjelaskan dan membenarkan hasil matematika.

Selain kegiatan yang tercantum di atas, kegiatan-kegiatan berikut telah ditambahkan ke PISA-D:

• melakukan perhitungan sederhana

• menggambar kesimpulan sederhana

• memilih strategi yang tepat dari daftar.

Menafsirkan, menerapkan dan mengevaluasi hasil matematika

kata menafsirkan digunakan dalam definisi literasi matematika berfokus pada kemampuan individu untuk merenungkan
solusi matematika, hasil, atau kesimpulan dan menafsirkan mereka dalam konteks masalah kehidupan nyata. Hal ini
melibatkan menerjemahkan solusi matematika atau penalaran kembali ke konteks masalah dan menentukan apakah hasil
wajar dan masuk akal dalam konteks masalah. Kategori proses matematis ini meliputi baik “menafsirkan” dan
“mengevaluasi” panah dicatat dalam model ditetapkan sebelumnya melek huruf matematika dalam praktek (lihat Gambar
3.1). Individu yang terlibat dalam proses ini dapat dipanggil untuk membangun dan berkomunikasi penjelasan dan argumen
dalam konteks masalah, mencerminkan pada kedua proses pemodelan dan hasil-hasilnya. Secara khusus, proses ini
menafsirkan, menerapkan,

• menafsirkan hasil matematika kembali ke dalam konteks dunia nyata

• mengevaluasi kewajaran solusi matematika dalam konteks masalah dunia nyata

• memahami bagaimana dunia nyata berdampak pada hasil dan perhitungan prosedur matematika atau model untuk
membuat penilaian kontekstual tentang bagaimana hasil harus disesuaikan atau diterapkan

• menjelaskan mengapa hasil matematika atau kesimpulan tidak, atau tidak, membuat akal mengingat konteks masalah

• memahami sejauh mana dan batas-batas konsep-konsep matematika dan solusi matematika

• mengkritisi dan mengidentifikasi batas-batas model yang digunakan untuk memecahkan masalah.

Selain kegiatan yang tercantum di atas, kegiatan berikut telah ditambahkan ke PISA-D:

• mengevaluasi hasil matematika dalam hal konteks.

distribusi yang diinginkan item dengan proses matematis

Tujuan dalam membangun penilaian adalah untuk mencapai keseimbangan yang menyediakan bobot kurang lebih
sama antara dua proses yang melibatkan membuat hubungan antara dunia nyata dan dunia matematika dan proses yang
membutuhkan siswa untuk dapat bekerja pada matematis

60
dirumuskan masalah. Tabel 3.1 menunjukkan diinginkan distribusi item dengan proses PISA 2015 dan PISA-D (baik untuk di-dan
out-of-sekolah instrumen).

Tabel 3.1 Diinginkan distribusi barang-barang matematika berdasarkan kategori proses

kategori proses Persentase item dalam Persentase item dalam

PISA 2015 PISA-D
Merumuskan situasi matematis 25 25
Mempekerjakan matematika konsep, fakta,
50 50
prosedur dan penalaran
Menafsirkan, menerapkan dan mengevaluasi
25 25
hasil matematika
Total 100 100

distribusi yang diinginkan menentukan cetak biru untuk pemilihan item sesuai dengan aspek-aspek penting dari
kerangka domain. item pilihan didasarkan pada desain penilaian serta karakteristik item yang terkait dengan sejumlah aspek
kerangka, termasuk proses, konten dan kategori konteks, serta pertimbangan sifat psikometrik item dan kesesuaian untuk
penilaian ini. Menyusul penilaian, distribusi sebenarnya dari barang-barang di seluruh aspek kerangka kerja akan dijelaskan
dalam kaitannya dengan distribusi yang diinginkan. Sejauh mana item kolam renang untuk penilaian tersebut memenuhi
spesifikasi kerangka kerja akan dibahas dalam laporan teknis dalam konteks kendala praktis dalam proses seleksi barang.

kemampuan matematika yang mendasari proses matematika

Satu dekade pengalaman dalam mengembangkan PISA item dan menganalisis cara-cara di mana siswa menanggapi item telah
mengungkapkan bahwa ada satu set kemampuan matematika dasar yang mendukung masing-masing proses dilaporkan dan melek
matematika dalam praktek. Karya Mogens Niss dan rekan Denmark nya (Niss, 2003; Niss dan Jensen, 2002; Niss dan HojGaard, 2011)
mengidentifikasi delapan kemampuan - disebut sebagai “kompetensi” oleh Niss dan dalam rangka 2003 (OECD, 2003) - yang
instrumental untuk perilaku matematika.

The PISA 2015 dan PISA-D kerangka menggunakan formulasi dimodifikasi dari set kemampuan, yang mengembun
jumlah 8-7 berdasarkan investigasi dari operasi kompetensi melalui diberikan sebelumnya PISA item (Turner et al., 2013). Ada
pengakuan luas dari kebutuhan untuk mengidentifikasi satu set seperti umum kemampuan matematika untuk peran
pengetahuan konten tertentu matematika dalam pembelajaran matematika. contoh menonjol termasuk delapan praktek
matematika dari Common Inti Standar Negara Initiative di Amerika Serikat (2010), empat proses kunci (mewakili,
menganalisis, menafsirkan dan mengevaluasi, dan mengkomunikasikan dan mencerminkan) Kurikulum Matematika Nasional
Inggris (Kualifikasi dan Kurikulum Otoritas 2007), dan standar proses di Dewan Nasional Guru Prinsip Matematika dan standar
Matematika Sekolah (NCTM, 2000). Kemampuan ini kognitif tersedia untuk atau dipelajari oleh individu untuk memahami dan
terlibat dengan dunia dengan cara matematika, atau untuk memecahkan masalah. Sebagai tingkat melek huruf matematika
yang dimiliki oleh kenaikan individu, individu mampu menarik untuk peningkatan derajat pada kemampuan matematika dasar
(Turner dan Adams, 2012). Dengan demikian, peningkatan aktivasi kemampuan matematika dasar dikaitkan dengan
meningkatnya kesulitan barang. Pengamatan ini telah digunakan sebagai dasar dari deskripsi dari tingkat kemampuan yang
berbeda melek huruf matematika dilaporkan dalam survei PISA sebelumnya dan dibahas nanti dalam Kerangka Kerja ini k.

tujuh kemampuan matematika dasar yang digunakan dalam PISA 2015 dan PISA-D kerangka adalah sebagai berikut:

61
• Komunikasi: literasi matematika melibatkan komunikasi. individu merasakan adanya beberapa tantangan dan dirangsang
untuk mengenali dan memahami situasi masalah. Membaca, decoding, dan menafsirkan pernyataan, pertanyaan, tugas
atau benda memungkinkan individu untuk membentuk model mental dari situasi, yang merupakan langkah penting
dalam memahami, menjelaskan, dan merumuskan masalah. Selama proses solusi, hasil antara mungkin perlu diringkas
dan disajikan. Kemudian, sekali solusi telah ditemukan, pemecah masalah mungkin perlu untuk menyajikan solusi, dan
mungkin penjelasan atau pembenaran, kepada orang lain.

• mathematising: literasi matematika dapat melibatkan mengubah masalah didefinisikan dalam dunia nyata ke bentuk ketat
matematika (yang dapat mencakup penataan, konseptualisasi, membuat asumsi dan / atau merumuskan model), atau
menafsirkan atau mengevaluasi hasil matematika atau model matematika dalam kaitannya dengan masalah asli. The
mathematising istilah digunakan untuk menggambarkan kegiatan matematika dasar yang terlibat.

• Perwakilan: literasi matematika yang sangat sering melibatkan representasi objek matematika dan situasi. Hal ini dapat
memerlukan memilih, menafsirkan, menerjemahkan antara, dan menggunakan berbagai representasi untuk menangkap
situasi, berinteraksi dengan masalah, atau untuk mempresentasikan karya seseorang. Representasi disebut mencakup grafik,
tabel, diagram, gambar, persamaan, rumus dan bahan beton.

• Penalaran dan argumen: Sebuah kemampuan matematika yang disebut di seluruh tahapan dan kegiatan yang berhubungan dengan
keaksaraan matematika yang berbeda disebut sebagai penalaran dan argumen. Kemampuan ini melibatkan logis berakar proses berpikir
yang mengeksplorasi dan unsur-unsur masalah hubungan sehingga membuat kesimpulan dari mereka, periksa justifikasi yang diberikan,
atau memberikan pembenaran dari pernyataan atau solusi untuk masalah.

• Merumuskan strategi untuk memecahkan masalah: literasi matematika sering memerlukan strategi karangan untuk memecahkan
masalah matematis. Hal ini melibatkan serangkaian proses kontrol kritis yang memandu seorang individu untuk secara efektif
mengenali, merumuskan, dan memecahkan masalah. Keterampilan ini ditandai sebagai memilih atau menyusun rencana atau strategi
untuk menggunakan matematika untuk memecahkan masalah yang timbul dari tugas atau konteks, serta membimbing
pelaksanaannya. Kemampuan matematika ini dapat menuntut di salah satu tahapan dari proses pemecahan masalah.

• Menggunakan simbolis, formal dan teknis bahasa dan operasi: literasi matematika membutuhkan menggunakan simbolis,
formal, dan bahasa teknis dan operasi. Hal ini melibatkan pemahaman, menafsirkan, memanipulasi, dan membuat
penggunaan ekspresi simbolik dalam konteks matematika (termasuk ekspresi aritmatika dan operasi) diatur oleh konvensi
matematika dan aturan. Hal ini juga melibatkan pemahaman dan memanfaatkan konstruksi formal berdasarkan definisi,
aturan, dan sistem formal dan juga menggunakan algoritma dengan entitas ini. Simbol, aturan dan sistem yang digunakan
akan bervariasi sesuai dengan apa pengetahuan konten matematika tertentu diperlukan untuk tugas tertentu untuk
merumuskan, memecahkan atau menafsirkan matematika.

• Menggunakan alat-alat matematika: 1 Kemampuan matematika akhir yang mendukung keaksaraan matematika dalam
praktek menggunakan alat matematika. alat-alat matematika mencakup alat fisik seperti alat ukur, serta kalkulator dan
alat berbasis komputer yang semakin banyak tersedia. Kemampuan ini melibatkan mengetahui tentang dan mampu
memanfaatkan berbagai alat yang dapat membantu aktivitas matematika, dan mengetahui tentang batasan alat tersebut.
alat-alat matematika juga dapat memiliki peran penting dalam mengkomunikasikan hasil.

62
 Kemampuan ini yang jelas untuk berbagai tingkat di masing-masing tiga proses matematika. Cara-cara di mana
kemampuan ini menampakkan diri dalam tiga proses yang dijelaskan pada Gambar
3.2.

Sebuah panduan yang baik untuk kesulitan empiris item dapat diperoleh dengan mempertimbangkan aspek kemampuan
matematika dasar yang diperlukan untuk perencanaan dan pelaksanaan solusi (Turner, 2012, Turner dan Adams, 2012; Turner et
al, 2013.). Item termudah akan membutuhkan aktivasi beberapa kemampuan dan dengan cara yang relatif mudah. Item yang paling
sulit memerlukan aktivasi kompleks beberapa kemampuan. Memprediksi kesulitan memerlukan pertimbangan dari kedua jumlah
kemampuan dan kompleksitas aktivasi diperlukan. Berdasarkan modifikasi pada kemahiran dan proses untuk PISA-

D, itu perlu untuk menambah keterampilan tertentu untuk mendukung modifikasi ini. Empat keterampilan ditambahkan ke meja dalam rangka
memberikan pemahaman yang lebih baik dari ekstensi dari deskripsi proses matematika. Keterampilan ini juga mendukung kemampuan
digambarkan dalam 1b kemahiran dan 1c.

Gambar 3.2 Hubungan antara proses matematika (atas baris horisontal) dan fundamental matematika
kemampuan (kolom paling kiri vertikal)

Merumuskan situasi Mempekerjakan matematika Menafsirkan, menerapkan dan

matematis konsep, fakta, prosedur dan mengevaluasi hasil matematika
penalaran

berkomunikasi Baca, decode, dan membuat rasa Mengartikulasikan solusi, menunjukkan Membangun dan berkomunikasi
pernyataan, pertanyaan, tugas, benda atau pekerjaan yang terlibat dalam mencapai penjelasan dan argumen dalam
gambar, untuk membentuk model mental solusi, dan / atau meringkas dan sekarang konteks masalah
dari situasi hasil matematika antara

mathematising Mengidentifikasi variabel matematika yang
mendasari dan struktur dalam masalah dunia
nyata, dan membuat asumsi sehingga
mereka dapat digunakan . Untuk PISA-D,
pilih model yang sesuai dengan konteks
masalah realworld telah ditambahkan.
Gunakan pemahaman tentang konteks untuk
memandu atau mempercepat proses
pemecahan matematika,
misalnya bekerja ke tingkat
contextappropriate akurasi
Memahami tingkat dan batas solusi
matematika yang merupakan konsekuensi
dari model matematika yang digunakan

Perwakilan Membuat representasi matematis dari Memahami, berhubungan, dan menggunakan Menafsirkan hasil matematika dalam berbagai format
informasi dunia nyata. Untuk PISA-D, pilih berbagai representasi ketika berinteraksi dalam kaitannya dengan situasi atau penggunaan;
representasi yang sesuai dengan konteks dengan masalah membandingkan atau mengevaluasi dua atau lebih
telah ditambahkan. representasi dalam kaitannya dengan situasi

Penalaran dan Jelaskan, membela atau memberikan Jelaskan, membela, atau memberikan Renungkan solusi matematika dan membuat
argumen pembenaran untuk representasi pembenaran untuk proses dan prosedur yang penjelasan dan argumen yang mendukung,
diidentifikasi atau menyusun situasi digunakan untuk menentukan hasil membantah atau memenuhi syarat solusi
realworld matematika atau solusi Connect potongan matematika untuk masalah kontekstual
informasi untuk sampai pada solusi
matematika, membuat generalisasi, atau
membuat multi-langkah argumen. Untuk
PISA-D, pilih pembenaran yang tepat telah
ditambahkan.

Merumuskan strategi untuk Pilih atau menyusun rencana atau strategi untuk Aktifkan mekanisme kontrol yang efektif dan Memikirkan dan melaksanakan strategi untuk
memecahkan masalah matematis membingkai ulang masalah kontekstual berkelanjutan di seluruh prosedur multi-langkah menafsirkan, mengevaluasi dan memvalidasi
yang mengarah ke matematika solusi, solusi matematika untuk masalah kontekstual. Untuk
kesimpulan, atau generalisasi PISA-D, menerapkan strategi yang diberikan
telah ditambahkan.

63
Menggunakan simbolik, Menggunakan variabel yang tepat, simbol, Memahami dan memanfaatkan konstruksi Memahami hubungan antara konteks
formal, dan diagram dan model standar formal berdasarkan definisi, aturan, dan masalah dan representasi dari solusi
bahasa teknis dan sistem formal serta algoritma mempekerjakan matematika. Menggunakan pemahaman ini
operasi dalam rangka untuk mewakili masalah dunia nyata untuk membantu menafsirkan solusi dalam
menggunakan simbol / bahasa formal konteks dan mengukur kelayakan dan
kemungkinan keterbatasan dari solusi.

menggunakan Gunakan alat-alat matematika untuk mengenali Tahu tentang dan mampu membuat Gunakan alat-alat matematika untuk
alat-alat matematika struktur matematika atau untuk penggunaan yang tepat dari berbagai alat yang memastikan kewajaran solusi matematika
menggambarkan hubungan matematis dapat membantu dalam melaksanakan proses dan setiap batas dan kendala pada solusi
dan prosedur untuk menentukan solusi itu, mengingat konteks masalah
matematika

pengetahuan konten Matematika

Pemahaman tentang konten matematika - dan kemampuan untuk menerapkan pengetahuan itu untuk solusi dari masalah kontekstual
yang bermakna - adalah penting bagi warga negara di dunia modern. Artinya, untuk memecahkan masalah dan menafsirkan situasi dalam
konteks pribadi, pekerjaan, sosial dan ilmiah, ada kebutuhan untuk memanfaatkan pengetahuan matematika tertentu dan pemahaman.

struktur matematika telah dikembangkan dari waktu ke waktu sebagai sarana untuk memahami dan menafsirkan fenomena alam
dan sosial. Di sekolah, kurikulum matematika biasanya diorganisir sekitar helai konten (misalnya jumlah, aljabar dan geometri) dan daftar
topik rinci yang mencerminkan cabang historis mapan matematika dan bahwa bantuan dalam mendefinisikan kurikulum terstruktur.
Namun, di luar kelas matematika, tantangan atau situasi yang timbul biasanya tidak disertai dengan seperangkat aturan dan resep yang
menunjukkan bagaimana tantangan dapat dipenuhi. Melainkan biasanya membutuhkan beberapa pemikiran kreatif dalam melihat
kemungkinan membawa matematika untuk menanggung pada situasi dan dalam merumuskan secara matematis. Seringkali situasi dapat
diatasi dengan cara yang berbeda, menggambar pada konsep-konsep matematika yang berbeda, prosedur,

Karena tujuan dari PISA adalah untuk menilai literasi matematika, struktur organisasi untuk pengetahuan konten matematika telah
dikembangkan berdasarkan fenomena matematika yang mendasari kelas yang luas dari masalah dan yang telah memotivasi
pengembangan konsep-konsep matematika tertentu dan prosedur. Karena kurikulum matematika nasional biasanya dirancang untuk
membekali siswa dengan pengetahuan dan keterampilan yang membahas fenomena matematika yang mendasari ini sama, hasilnya
adalah bahwa berbagai konten yang timbul dari pengorganisasian konten dengan cara ini berkaitan erat dengan yang biasanya ditemukan
dalam kurikulum matematika nasional. Kerangka kerja ini mencantumkan beberapa topik konten yang sesuai untuk menilai literasi
matematika siswa 15 tahun berdasarkan analisis standar nasional dari negara-negara sebelas.

Untuk mengatur domain matematika untuk tujuan menilai literasi matematika, penting untuk memilih struktur yang tumbuh dari
perkembangan sejarah dalam matematika, yang mencakup variasi dan kedalaman yang cukup untuk mengungkapkan penting
matematika, dan yang juga mewakili, atau meliputi, untaian matematika konvensional dalam cara yang dapat diterima. Dengan demikian,
satu set kategori konten yang mencerminkan berbagai fenomena matematika yang mendasari dipilih untuk kerangka PISA 2015,
konsisten dengan kategori yang digunakan untuk survei PISA sebelumnya.

Berikut daftar kategori konten, oleh karena itu, akan digunakan dalam PISA 2015 dan PISA-D untuk memenuhi persyaratan dari
perkembangan sejarah, cakupan domain matematika dan fenomena yang mendasari yang memotivasi perkembangannya, dan refleksi
dari untaian utama sekolah kurikulum. Keempat kategori mencirikan berbagai konten matematika yang merupakan pusat disiplin dan
menggambarkan daerah yang luas dari konten yang digunakan dalam item tes untuk PISA 2015 dan PISA-D:

64
 • Perubahan dan hubungan

• Ruang dan bentuk

• Kuantitas

• Ketidakpastian dan data

Dengan empat kategori ini, domain matematika dapat diatur dengan cara yang menjamin penyebaran item di seluruh domain dan
berfokus pada fenomena matematika penting, tetapi pada saat yang sama, menghindari sebuah divisi terlalu halus yang akan bekerja
melawan fokus pada yang kaya dan menantang masalah matematika berdasarkan pada situasi nyata. Sementara kategorisasi
berdasarkan kategori konten penting bagi pengembangan item dan seleksi, dan untuk pelaporan hasil penilaian, penting untuk dicatat
bahwa beberapa topik konten tertentu dapat terwujud dalam lebih dari satu kategori konten. Misalnya, item PISA dirilis disebut pizza

melibatkan menentukan yang mana dari dua pizza bulat, dengan diameter yang berbeda dan biaya yang berbeda tetapi ketebalan yang
sama, adalah nilai yang lebih baik (lihat bagian “Ilustrasi PISA-D item matematika” untuk melihat item ini dan analisis atributnya). Item ini
mengacu pada beberapa bidang matematika, termasuk pengukuran, kuantifikasi (nilai uang, penalaran proporsional dan perhitungan
aritmatika), dan perubahan dan hubungan (dalam hal hubungan antara variabel-variabel dan bagaimana relevan sifat berubah dari pizza
yang lebih kecil ke yang lebih besar .) Item ini akhirnya dikategorikan sebagai perubahan dan hubungan Item sejak kunci untuk masalah
ini terletak pada siswa mampu berhubungan perubahan di daerah dari dua pizza (diberikan perubahan diameter) dan perubahan yang
sesuai harga. Jelas, item yang berbeda yang melibatkan daerah lingkaran mungkin diklasifikasikan sebagai ruang dan bentuk barang.
Hubungan antara aspek konten yang span empat kategori konten ini berkontribusi koherensi matematika sebagai suatu disiplin dan jelas
dalam beberapa item penilaian yang dipilih untuk penilaian PISA 2015.

Kategori konten matematika luas dan topik konten yang lebih spesifik sesuai untuk 15year berusia siswa dijelaskan kemudian di
bagian ini mencerminkan tingkat dan luasnya konten yang memenuhi syarat untuk dimasukkan pada PISA 2015 dan PISA-D survei .
deskripsi narasi dari setiap kategori konten dan relevansi masing-masing untuk memecahkan masalah yang berarti disediakan pertama,
diikuti oleh definisi yang lebih spesifik dari jenis konten yang sesuai untuk dimasukkan dalam penilaian literasi matematis dari 15year
berusia siswa dan out-of- remaja sekolah. Ini topik tertentu mencerminkan kesamaan ditemukan dalam harapan yang ditetapkan oleh
berbagai negara dan wilayah hukum pendidikan. Standar diperiksa untuk mengidentifikasi topik konten ini dipandang sebagai bukti tidak
hanya dari apa yang diajarkan di kelas matematika di negara-negara tetapi juga sebagai indikator apa yang negara melihat sebagai
pengetahuan penting dan keterampilan untuk mempersiapkan siswa usia ini menjadi konstruktif, terlibat dan reflektif warga.

Deskripsi dari pengetahuan konten matematika yang menjadi ciri masing-masing dari empat kategori -
perubahan dan hubungan s, ruang dan bentuk, kuantitas, dan ketidakpastian dan data - disediakan di bawah ini.

Perubahan dan hubungan

Dunia alami dan dirancang menampilkan banyak hubungan sementara dan permanen antara objek-objek dan keadaan, di mana
perubahan terjadi dalam sistem benda saling terkait atau dalam keadaan di mana unsur-unsur mempengaruhi satu sama lain. Dalam banyak
kasus perubahan ini terjadi dari waktu ke waktu, dan perubahan kasus lain dalam satu objek atau kuantitas terkait dengan perubahan lain.
Beberapa situasi ini melibatkan perubahan diskrit; orang lain berubah terus menerus. Beberapa hubungan adalah dari permanen, atau
invarian, alam. Menjadi lebih melek tentang perubahan dan hubungan melibatkan memahami jenis fundamental perubahan dan mengenali
ketika mereka terjadi untuk menggunakan model matematika yang sesuai untuk menggambarkan dan memprediksi perubahan. Secara
matematis ini berarti pemodelan perubahan dan hubungan dengan fungsi yang tepat

65
dan persamaan, serta menciptakan, menafsirkan, dan menerjemahkan antara representasi simbolis dan grafis dari
hubungan.

Perubahan dan hubungan jelas dalam pengaturan beragam seperti pertumbuhan organisme, musik, dan siklus musim, pola cuaca,
tingkat pekerjaan, dan kondisi ekonomi. Aspek isi matematika tradisional fungsi dan aljabar, termasuk ekspresi aljabar, persamaan dan
pertidaksamaan, dan tabular dan representasi grafis, adalah pusat dalam menggambarkan, pemodelan, dan menafsirkan fenomena
perubahan. Misalnya, unit PISA yang dirilis Berjalan ( lihat bagian “Ilustrasi PISA-D matematika item”) berisi dua item yang memberikan
contoh perubahan dan hubungan kategori karena fokusnya adalah pada aljabar hubungan antara dua variabel, membutuhkan siswa
untuk mengaktifkan pengetahuan dan keterampilan aljabar mereka. Siswa diminta untuk menggunakan formula diberikan untuk
pacelength - formula dinyatakan dalam bentuk aljabar - untuk menentukan pacelength di satu item dan berjalan kecepatan yang lain.
Representasi dari data dan hubungan dijelaskan menggunakan statistik juga sering digunakan untuk menggambarkan dan menafsirkan
perubahan dan hubungan, dan landasan perusahaan dalam dasar-dasar jumlah dan unit ini juga penting untuk mendefinisikan dan
menafsirkan mengubah dan hubungan. Beberapa hubungan yang menarik muncul dari pengukuran geometris, seperti cara bahwa
perubahan dalam perimeter dari keluarga bentuk mungkin berhubungan dengan perubahan di daerah, atau hubungan antara panjang
sisi-sisi segitiga.

Ruang dan bentuk

Ruang dan bentuk mencakup berbagai fenomena yang ditemui di mana-mana di dunia visual dan fisik kita: pola, sifat objek,
posisi dan orientasi, representasi objek, decoding dan encoding dari informasi visual, dan navigasi dan interaksi yang dinamis
dengan bentuk nyata serta dengan representasi. Geometri berfungsi sebagai landasan penting bagi ruang dan bentuk, tapi kategori
melampaui geometri tradisional di konten, makna, dan metode, menggambar pada unsur-unsur bidang matematika lainnya seperti
visualisasi spasial, pengukuran, dan aljabar. Misalnya, bentuk dapat berubah, dan titik dapat bergerak sepanjang lokus, sehingga
membutuhkan konsep fungsi. formula Pengukuran adalah pusat di daerah ini. Manipulasi dan interpretasi bentuk dalam
pengaturan yang menyebut alat bantu mulai dari geometri perangkat lunak dinamis untuk global positioning system (GPS)
perangkat lunak termasuk dalam kategori konten ini.

PISA mengasumsikan bahwa pemahaman serangkaian konsep inti dan keterampilan penting untuk melek matematika relatif
terhadap ruang dan bentuk. literasi matematika di daerah ruang dan bentuk melibatkan berbagai kegiatan seperti perspektif
pemahaman (misalnya dalam lukisan), membuat dan membaca peta, mengubah bentuk dengan dan tanpa teknologi, menafsirkan
pandangan adegan tiga dimensi dari berbagai perspektif dan membangun representasi bentuk.

Kuantitas

Gagasan kuantitas mungkin aspek matematika yang paling meresap dan penting untuk terlibat dengan, dan berfungsi
dalam, dunia kita. Menggabungkan kuantifikasi atribut objek, hubungan, situasi dan entitas di dunia, memahami berbagai
representasi dari mereka quantifications, dan menilai interpretasi dan argumentasi berdasarkan kuantitas. Untuk terlibat
dengan kuantifikasi dunia melibatkan pemahaman pengukuran, jumlah, besaran, unit, indikator, ukuran relatif, dan tren
numerik dan pola. Aspek kuantitatif penalaran-seperti nomor akal, beberapa representasi dari angka, keanggunan dalam
perhitungan, perhitungan mental, estimasi, dan penilaian kewajaran hasil-adalah inti dari literasi matematika relatif
terhadap kuantitas.

Kuantifikasi adalah metode utama untuk menggambarkan dan mengukur satu set besar atribut aspek dunia. Hal ini
memungkinkan untuk pemodelan situasi, untuk pemeriksaan perubahan dan hubungan, untuk deskripsi dan manipulasi ruang
dan bentuk, untuk mengatur dan menafsirkan data, dan untuk

66
pengukuran dan penilaian ketidakpastian. melek huruf sehingga matematika di daerah Kuantitas berlaku pengetahuan tentang
jumlah dan nomor operasi di berbagai pengaturan.

Ketidakpastian dan data

Dalam ilmu, teknologi dan kehidupan sehari-hari, ketidakpastian diberikan. Oleh karena itu ketidakpastian adalah fenomena
di jantung analisis matematis dari banyak situasi masalah, dan teori probabilitas dan statistik serta teknik representasi data dan
keterangan telah dibentuk untuk menangani itu. Itu ketidakpastian dan data kategori konten termasuk mengenali tempat variasi
dalam proses, memiliki rasa kuantifikasi variasi itu, mengakui ketidakpastian dan kesalahan dalam pengukuran, dan mengetahui
tentang kesempatan. Hal ini juga termasuk membentuk, menafsirkan, dan mengevaluasi kesimpulan yang diambil dalam situasi di
mana ketidakpastian merupakan pusat. Presentasi dan interpretasi data adalah konsep-konsep kunci dalam kategori ini (Moore,
1997).

Ada ketidakpastian dalam prediksi ilmiah, hasil jajak pendapat, ramalan cuaca, dan model ekonomi. Ada variasi dalam
proses manufaktur, nilai tes, dan hasil survei, dan kesempatan merupakan dasar untuk banyak kegiatan rekreasi dinikmati oleh
individu. Bidang kurikulum tradisional probabilitas dan statistik menyediakan sarana formal menggambarkan, pemodelan, dan
menafsirkan kelas tertentu fenomena ketidakpastian, dan untuk membuat kesimpulan. Selain itu, pengetahuan tentang jumlah dan
aspek aljabar seperti grafik dan representasi simbolis berkontribusi fasilitas di terlibat dalam masalah dalam kategori konten ini.
Fokus pada interpretasi dan penyajian data merupakan aspek penting dari Ketidakpastian dan data kategori.

distribusi yang diinginkan item berdasarkan kategori konten

distribusi yang diinginkan item yang dipilih untuk PISA 2015 dan untuk PISA-D (baik di-dan out-of-sekolah instrumen) di empat
kategori konten ditunjukkan pada Tabel 3.2. Tujuan dalam membangun survei adalah distribusi yang seimbang dari item sehubungan
dengan kategori konten, karena semua domain ini penting untuk membangun, terlibat dan warga reflektif.

Tabel 3.2 Diinginkan distribusi barang-barang matematika berdasarkan kategori konten

kategori konten Persentase item dalam PISA Persentase item dalam

2015 PISA-D
Perubahan dan hubungan 25 25

Ruang dan bentuk 25 25

Kuantitas 25 25

Ketidakpastian dan data 25 25

Total 100 100

topik konten untuk membimbing penilaian literasi matematika untuk siswa 15 tahun

Untuk secara efektif memahami dan memecahkan masalah kontekstual yang melibatkan perubahan dan hubungan, ruang dan bentuk,
kuantitas dan ketidakpastian dan data membutuhkan menggambar atas berbagai konsep matematika, prosedur, fakta, dan alat-alat pada tingkat
yang sesuai kedalaman dan kecanggihan. Sebagai penilaian keaksaraan matematika, PISA berusaha untuk menilai tingkat dan jenis
matematika yang sesuai untuk siswa berusia 15 tahun pada lintasan untuk menjadi konstruktif, terlibat dan warga reflektif mampu membuat
penilaian dan keputusan beralasan. Hal ini juga terjadi bahwa PISA, sementara tidak dirancang atau dimaksudkan untuk menjadi penilaian
kurikulum-driven, berusaha untuk mencerminkan matematika siswa memiliki kemungkinan memiliki kesempatan untuk belajar pada saat mereka
berusia 15 tahun.

67
 konten termasuk dalam PISA-D dan PISA 2015 adalah sama dengan yang berkembang di PISA 2012.The empat kategori isi perubahan
dan hubungan, ruang dan bentuk, kuantitas dan ketidakpastian dan data berfungsi sebagai dasar untuk mengidentifikasi berbagai konten ini,
namun tidak ada pemetaan satu-ke-satu topik konten untuk kategori ini. Misalnya, penalaran proporsional datang ke dalam bermain dalam
konteks yang bervariasi seperti membuat konversi pengukuran, menganalisis hubungan linear, menghitung probabilitas dan memeriksa
panjang sisi dalam bentuk yang sama. Isi berikut ini dimaksudkan untuk mencerminkan sentralitas banyak konsep-konsep ini untuk keempat
kategori konten dan memperkuat koherensi matematika sebagai suatu disiplin. Ini bermaksud untuk menjadi ilustrasi dari topik konten
termasuk dalam PISA-D, daripada daftar lengkap:

• fungsi: konsep fungsi, menekankan namun tidak terbatas pada fungsi linear, sifat mereka, dan berbagai
deskripsi dan representasi dari mereka. representasi umum digunakan adalah verbal, simbolis, tabel, dan
grafis.

• ekspresi aljabar: interpretasi verbal dan manipulasi dengan aljabar ekspresi, nomor yang melibatkan, simbol,
operasi aritmatika, kekuatan, dan akar sederhana.

• Persamaan dan pertidaksamaan: linear dan terkait persamaan dan pertidaksamaan, persamaan tingkat dua sederhana, dan
analitik dan non-analitik metode solusi

• sistem koordinasi: representasi dan deskripsi data, posisi, dan hubungan.

• Hubungan di dalam dan di antara benda-benda geometris dalam dua dan tiga dimensi: hubungan statis seperti
aljabar koneksi antara unsur-unsur tokoh (misalnya teorema Pythagoras sebagai mendefinisikan hubungan
antara panjang sisi dari segitiga siku-siku), posisi relatif, kesamaan dan kesesuaian, dan hubungan dinamis
yang melibatkan transformasi dan gerak benda, serta sebagai korespondensi antara dua dan benda tiga
dimensi.

• Pengukuran: Kuantifikasi fitur dan di antara bentuk dan objek, seperti langkah-langkah angle, jarak, panjang,
keliling, keliling, luas, dan volume.

• Nomor dan unit: konsep; representasi dari angka dan sistem nomor, termasuk sifat-sifat bilangan bulat dan
bilangan rasional; aspek yang relevan dari bilangan irasional; serta jumlah dan unit mengacu pada fenomena
seperti waktu, uang, berat, suhu, jarak, luas dan volume, dan jumlah berasal dan deskripsi numerik mereka.

• operasi aritmatika: sifat dan sifat dari operasi ini dan konvensi penulisan terkait.

• Persen, rasio dan proporsi: deskripsi numerik besarnya relatif dan penerapan proporsi dan penalaran
proporsional untuk memecahkan masalah.

• prinsip menghitung s: kombinasi Sederhana dan permutasi.

• Perkiraan: pendekatan tujuan-driven dari jumlah dan ekspresi numerik, termasuk angka yang signifikan dan
pembulatan.

• pengumpulan data, representasi dan interpretasi: alam, genesis, dan koleksi berbagai jenis data, dan cara yang berbeda
untuk mewakili dan menafsirkan mereka.

• variabilitas data dan deskripsi: Konsep-konsep seperti variabilitas, distribusi, dan tendensi sentral dari set data, dan cara-cara
untuk menggambarkan dan menafsirkan ini secara kuantitatif.

68
 • Sampel dan pengambilan sampel: Konsep dari sampling dan pengambilan sampel dari populasi data, termasuk kesimpulan sederhana
berdasarkan sifat sampel.

• Peluang dan probabilitas: Gagasan peristiwa acak, variasi acak dan perwakilannya, kesempatan dan frekuensi
kejadian, dan aspek dasar konsep probabilitas.

konteks

Pilihan strategi matematika yang tepat dan representasi sering tergantung pada konteks di mana masalah muncul. Mampu
bekerja dalam konteks secara luas dihargai untuk menempatkan tuntutan tambahan pada pemecah masalah (lihat Watson dan
Callingham 2003, untuk temuan tentang statistik). Untuk survei PISA, adalah penting bahwa berbagai konteks yang digunakan.
Ini menawarkan kemungkinan menghubungkan dengan kisaran seluas mungkin dari kepentingan individu dan dengan berbagai
situasi di mana individu beroperasi di abad ke-21.

Untuk tujuan kerangka matematika PISA-D, empat kategori konteks telah didefinisikan dan digunakan untuk mengklasifikasikan item
penilaian yang dikembangkan untuk survei PISA:

• Pribadi - Masalah diklasifikasikan dalam pribadi konteks kategori fokus pada kegiatan diri sendiri, keluarga seseorang, atau
kelompok sebaya seseorang. Jenis-jenis konteks yang dapat dianggap pribadi termasuk (namun tidak terbatas pada) yang
melibatkan persiapan makanan, belanja, game, kesehatan pribadi, transportasi pribadi, olahraga, perjalanan, penjadwalan pribadi,
dan keuangan pribadi.

• kerja - Masalah diklasifikasikan dalam kategori konteks kerja terpusat pada dunia kerja. item dikategorikan sebagai pekerjaan
mungkin melibatkan (tapi tidak terbatas pada) hal-hal seperti mengukur, biaya dan pemesanan bahan untuk bangunan, gaji /
akuntansi, kontrol kualitas, penjadwalan / persediaan, desain / arsitektur dan pengambilan keputusan yang berhubungan dengan
pekerjaan. konteks kerja mungkin berhubungan dengan setiap tingkat tenaga kerja, dari kerja tidak terampil ke tingkat tertinggi
kerja profesional, meskipun item dalam survei PISA harus dapat diakses oleh mahasiswa 15 tahun.

• masyarakat - Masalah diklasifikasikan dalam masyarakat kategori konteks fokus pada satu komunitas (baik lokal,
nasional, maupun global). Mereka mungkin melibatkan (tapi tidak terbatas pada) hal-hal seperti sistem voting,
transportasi umum, pemerintah, kebijakan publik, demografi, iklan, statistik nasional, dan ekonomi. Meskipun
individu yang terlibat dalam semua hal ini secara pribadi, dalam kategori konteks sosial, fokus masalah adalah pada
perspektif masyarakat.

• Ilmiah - Masalah diklasifikasikan dalam kategori ilmiah berhubungan dengan penerapan matematika untuk alam dan
isu-isu dan topik yang terkait dengan ilmu pengetahuan dan teknologi. konteks tertentu mungkin termasuk (namun tidak
terbatas pada) bidang-bidang seperti cuaca atau iklim, ekologi, obat-obatan, ilmu ruang, genetika, pengukuran dan dunia
matematika itu sendiri. Item yang intramathematical, di mana semua elemen yang terlibat termasuk dalam dunia
matematika, jatuh dalam konteks ilmiah.

PISA item yang disusun dalam unit yang berbagi materi stimulus. Oleh karena itu biasanya terjadi bahwa semua item
dalam unit yang sama milik kategori konteks yang sama. Pengecualian yang timbul; misalnya bahan stimulus dapat diperiksa
dari sudut pandang pribadi di satu item dan titik sosial pandang lain. Bila item hanya melibatkan konstruksi matematika tanpa
mengacu pada unsur-unsur kontekstual unit di mana ia berada, itu dialokasikan untuk kategori konteks unit. Dalam kasus yang
tidak biasa dari unit yang melibatkan konstruksi hanya matematika dan menjadi tanpa mengacu pada konteks di luar
matematika, unit ditugaskan untuk kategori konteks ilmiah.

69
 Menggunakan kategori konteks ini memberikan dasar untuk memilih campuran konteks barang dan memastikan bahwa penilaian
mencerminkan berbagai kegunaan matematika, mulai dari penggunaan pribadi sehari-hari dengan tuntutan ilmiah masalah global.
Selain itu penting bahwa setiap kategori konteks diisi dengan item penilaian yang memiliki berbagai kesulitan barang. Mengingat
bahwa tujuan utama dari kategori konteks ini adalah untuk menantang siswa dalam berbagai konteks masalah, setiap kategori
dirancang untuk berkontribusi secara substansial untuk pengukuran keaksaraan matematika. Seharusnya tidak menjadi kasus bahwa
tingkat kesulitan item penilaian yang mewakili satu kategori konteks secara sistematis lebih tinggi atau lebih rendah dari tingkat
kesulitan item penilaian dalam kategori lain.

Dalam mengidentifikasi konteks yang mungkin relevan, sangat penting untuk diingat bahwa tujuan dari penilaian adalah untuk mengukur
penggunaan konten pengetahuan matematika, proses, dan kemampuan bahwa siswa telah diakuisisi oleh usia 15. Konteks untuk item
penilaian, oleh karena itu, dipilih dalam terang relevansi untuk kepentingan siswa dan kehidupan, dan tuntutan yang akan ditempatkan atas
mereka saat mereka memasuki masyarakat sebagai konstruktif, terlibat, dan warga negara reflektif. Manajer Proyek nasional dari
negara-negara yang berpartisipasi dalam survei PISA-D terlibat dalam menilai tingkat relevansi tersebut.

distribusi yang diinginkan item berdasarkan kategori konteks

distribusi yang diinginkan item yang dipilih untuk PISA 2015 dan untuk PISA-D (baik di-dan out-of-sekolah instrumen) di empat kategori konten
ditunjukkan pada Tabel 3.3. Dengan distribusi yang seimbang ini, tidak ada jenis konteks tunggal yang diperbolehkan untuk mendominasi,
memberikan siswa dengan item yang mencakup berbagai kepentingan individu dan berbagai situasi yang mungkin mereka berharap untuk
menemukan dalam hidup mereka.

Tabel 3.3 Diinginkan distribusi barang-barang matematika berdasarkan kategori konteks

kategori konteks Persentase item dalam PISA Persentase item dalam

2015 PISA-D
Pribadi 25 25

kerja 25 25

masyarakat 25 25

Ilmiah 25 25
Total 100 100

Menilai melek matematika

Bagian ini menguraikan pendekatan yang diambil untuk menerapkan unsur-unsur kerangka dijelaskan dalam bagian sebelumnya
ke PISA 2015 dan PISA-D . Ini termasuk struktur komponen matematika dari survei PISAD, pengaturan untuk mentransfer berbasis
kertas item tren untuk pengiriman berbasis komputer, dan pelaporan kemampuan matematika.

format respon

Tiga jenis format respon yang digunakan untuk menilai literasi matematika di PISA 2015 dan PISA-D : Membuka dibangun-respon,
ditutup dibangun-respon dan dipilih-respon (sederhana dan kompleks pilihan ganda) item. Terbuka dibangun-respon item memerlukan
tanggapan tertulis agak diperpanjang dari mahasiswa. item tersebut juga dapat meminta siswa untuk menunjukkan langkah-langkah yang
diambil atau untuk menjelaskan bagaimana jawabannya tercapai. Item ini memerlukan dilatih ahli secara manual kode tanggapan siswa.

Tertutup item dibangun-respon memberikan pengaturan yang lebih terstruktur untuk menyajikan solusi masalah, dan mereka
menghasilkan respon siswa yang dapat dengan mudah dinilai menjadi baik benar atau salah. Seringkali tanggapan siswa untuk pertanyaan
jenis ini dapat mengetik ke dalam perangkat lunak data capture, dan kode

70
otomatis, tetapi beberapa harus secara manual kode oleh para ahli yang terlatih. The constructedresponses tertutup yang paling sering adalah nomor
satu.

item yang dipilih-respon mengharuskan mahasiswa untuk memilih satu atau lebih tanggapan dari sejumlah pilihan respon. Tanggapan untuk
pertanyaan-pertanyaan ini biasanya dapat secara otomatis diproses. nomor hampir sama dari masing-masing format respon tersebut digunakan untuk
membangun instrumen survei.

Item scoring

Meskipun sebagian besar item yang dichotomously mencetak (yaitu, respon yang diberikan baik kredit atau kredit), terbuka item
dibangun-respon kadang-kadang dapat melibatkan scoring kredit parsial, yang memungkinkan tanggapan yang akan ditugaskan kredit sesuai
dengan derajat yang berbeda dari “kebenaran ”tanggapan. Untuk setiap item tersebut, sebuah panduan coding rinci yang memungkinkan untuk
kredit penuh, kredit parsial, atau tidak ada kredit diberikan kepada orang yang terlatih dalam pengkodean respon siswa di kisaran dari
negara-negara peserta untuk memastikan coding tanggapan dilakukan secara konsisten dan dapat diandalkan cara. Untuk memaksimalkan
komparabilitas antara penilaian berbasis kertas dan berbasis komputer, perhatian diberikan kepada panduan penilaian untuk memastikan bahwa
unsur-unsur penting dimasukkan.

Pelaporan kemahiran dalam matematika

Hasil dari survei matematika PISA dilaporkan dalam sejumlah cara. Perkiraan kemampuan matematika keseluruhan diperoleh
bagi siswa sampel di masing-masing negara peserta, dan sejumlah tingkat kemahiran didefinisikan. Deskripsi dari tingkat melek
huruf matematika khas siswa di setiap tingkat juga dikembangkan. Untuk PISA 2003, sisik berdasarkan empat kategori konten yang
luas dikembangkan. Pada Gambar 3.3, deskripsi untuk enam tingkat kemahiran dilaporkan untuk PISA skala matematika secara
keseluruhan pada tahun 2012 disajikan. Ini membentuk dasar untuk skala matematika PISA 2015 dan skala matematika PISA-D . Skala
yang diselesaikan 2012 digunakan untuk melaporkan PISA 2015 hasil. Untuk PISA-D, di samping itu, Tingkat yang ada 1 diubah
namanya menjadi Tingkat 1a, dan meja menggambarkan kemahiran telah diperluas untuk mencakup tingkat 1b dan 1c.

kemampuan matematika dasar memainkan peran sentral dalam mendefinisikan apa artinya menjadi pada tingkat yang berbeda
dari timbangan untuk melek matematika secara keseluruhan dan untuk masing-masing proses yang dilaporkan. Misalnya, dalam
deskripsi skala kemampuan untuk Level 4 (lihat Gambar 3.3), kalimat kedua menyoroti aspek mathematising dan representasi thatare
jelas pada tingkat ini. Kalimat akhir menyoroti komunikasi karakteristik, penalaran dan argumen dari Level 4, memberikan kontras
dengan komunikasi singkat dan kurangnya argumen Level 3 dan refleksi tambahan Tingkat 5. Pada bagian awal dari kerangka kerja ini
dan pada Gambar 3.2, masing-masing dari proses matematika digambarkan dalam hal kemampuan matematika dasar bahwa individu
mungkin mengaktifkan ketika terlibat dalam proses tersebut.

71
 Gambar 3.3 deskripsi Ringkasan dari delapan tingkat kemahiran matematika di PISA-D

Tingkat Menurunkan Persentase siswa Persentase siswa di descriptor

batas di negara-negara seluruh 23
skor OECD pada setiap berpenghasilan
tingkat kemahiran menengah dan
dalam PISA 2015 rendah negara pada
setiap tingkat
kemahiran dalam
PISA 2015

Di Level 6, siswa dapat membuat konsep, generalisasi dan memanfaatkan informasi berdasarkan penyelidikan dan
pemodelan situasi masalah kompleks mereka, dan dapat menggunakan pengetahuan mereka dalam konteks yang
relatif non-standar. Mereka dapat menghubungkan sumber informasi yang berbeda dan representasi dan fleksibel
menerjemahkan antara mereka. Siswa pada tingkat ini mampu berpikir matematika canggih dan penalaran.
Siswa-siswa ini dapat menerapkan wawasan dan pemahaman, bersama dengan penguasaan operasi matematika
6 669 2,3% 0,3% simbolik dan formal dan hubungan, untuk mengembangkan pendekatan baru dan strategi untuk menyerang situasi
baru. Siswa pada tingkat ini dapat merefleksikan tindakan mereka, dan dapat merumuskan dan tepat
berkomunikasi tindakan mereka dan refleksi mengenai temuan mereka, interpretasi, argumentasi, dan kelayakan
ini untuk situasi aslinya.

Di Level 5, siswa dapat mengembangkan dan bekerja dengan model untuk situasi yang kompleks, mengidentifikasi
kendala dan menentukan asumsi. Mereka dapat memilih, membandingkan dan mengevaluasi strategi pemecahan
masalah yang tepat untuk menangani masalah yang kompleks terkait dengan model ini. Siswa pada tingkat ini dapat
bekerja secara strategis menggunakan pemikiran dan penalaran yang luas, berkembang dengan baik keterampilan,
5 607 8,4% 1,5%
representasi terkait sesuai, karakterisasi simbolik dan formal, dan wawasan yang berkaitan dengan situasi ini. Mereka
mulai merenungkan pekerjaan mereka dan dapat merumuskan dan berkomunikasi interpretasi dan penalaran mereka.

Di Level 4, siswa dapat bekerja secara efektif dengan model eksplisit untuk situasi konkret kompleks yang mungkin
melibatkan kendala atau panggilan untuk membuat asumsi. Mereka dapat memilih dan mengintegrasikan representasi yang
berbeda, termasuk simbolik, menghubungkan mereka langsung ke aspek situasi dunia nyata. Siswa pada tingkat ini dapat
4 545 18,6% 5,3% memanfaatkan jangkauan terbatas mereka keterampilan dan dapat alasan dengan beberapa wawasan, dalam konteks
langsung. Mereka dapat membangun dan berkomunikasi penjelasan dan argumen berdasarkan interpretasi mereka,
argumen dan tindakan.

Pada Level 3, siswa dapat melaksanakan prosedur jelas digambarkan, termasuk mereka yang membutuhkan keputusan
berurutan. interpretasi mereka cukup suara untuk menjadi dasar untuk membangun sebuah model sederhana atau untuk memilih
dan menerapkan masalah sederhana - strategi pemecahan. Siswa pada tingkat ini dapat menafsirkan dan menggunakan
representasi berdasarkan sumber-sumber informasi yang berbeda dan alasan langsung dari mereka. Mereka biasanya
3 482 24,8% 12,6% menunjukkan beberapa kemampuan untuk menangani persentase, pecahan dan bilangan desimal, dan untuk bekerja dengan
hubungan proporsional. solusi mereka mencerminkan bahwa mereka telah terlibat dalam interpretasi dasar dan penalaran.

Di Level 2, siswa dapat menafsirkan dan mengenali situasi dalam konteks yang memerlukan tidak lebih dari
inferensi langsung. Mereka dapat mengekstrak informasi yang relevan dari satu sumber dan menggunakan
2 420 22,5% 21,6% modus representasi tunggal. Siswa pada tingkat ini dapat mempekerjakan dasar algoritma, formula, prosedur
atau konvensi untuk memecahkan masalah yang melibatkan seluruh nomor. Mereka mampu membuat
interpretasi literal dari hasil.

Di Level siswa 1a dapat menjawab pertanyaan-pertanyaan yang melibatkan konteks akrab di mana semua informasi
yang relevan hadir dan pertanyaan didefinisikan dengan jelas. Mereka mampu mengidentifikasi informasi dan untuk
1a 358 14,9% 26,3% melaksanakan prosedur rutin sesuai dengan instruksi langsung dalam situasi yang eksplisit. Mereka dapat melakukan
tindakan yang hampir selalu jelas dan ikuti segera dari rangsangan yang diberikan.

Di Level 1b siswa dapat memahami pertanyaan yang melibatkan konteks sehari-hari di mana semua informasi yang

8,5% 32,4% relevan secara jelas diberikan dan didefinisikan dalam teks sintaksis pendek sederhana. Mereka mampu mengikuti
1b *
instruksi dengan jelas ditentukan. Mereka dapat melakukan langkah pertama dari solusi dua-langkah masalah.
(Persentase (Persentase
siswa mencetak siswa mencetak
bawah Level 1 di bawah Level 1 di Pada Tingkat 1c siswa dapat memahami pertanyaan yang melibatkan sederhana, konteks sehari-hari di mana semua informasi
PISA 2015) PISA 2015) yang relevan secara jelas diberikan dan didefinisikan dalam teks sintaksis sederhana yang sangat singkat. Mereka mampu
1c *
mengikuti instruksi dengan jelas ditentukan tunggal. Mereka dapat memecahkan masalah terbatas pada satu langkah atau operasi.

Catatan: * Akan tersedia setelah studi utama.

72
 Untuk mendapatkan informasi yang berguna untuk Tingkat ini 1b baru dan 1c, sangat penting bahwa konteks dan bahasa tidak
mengganggu matematika yang dinilai. Untuk tujuan ini, konteks dan bahasa harus dipertimbangkan dengan cermat.

Konteks untuk kedua 1b dan 1c harus situasi yang siswa hadapi setiap hari. Contoh konteks ini mungkin termasuk
uang, suhu, makanan, waktu, tanggal, berat, ukuran dan jarak. Semua item harus konkret dan tidak abstrak. Fokus item
harus matematika saja. Pemahaman konteks seharusnya tidak mengganggu kinerja dari item.

Sama pentingnya adalah untuk memiliki semua item yang dirumuskan dalam istilah yang paling sederhana. Kalimat harus singkat dan langsung.
kalimat majemuk, benda majemuk dan kalimat bersyarat harus dihindari. Kosakata yang digunakan dalam barang-barang harus diperiksa dengan teliti
untuk memastikan bahwa siswa akan memiliki pemahaman yang jelas tentang apa yang sedang dibutuhkan. Selain itu, perawatan khusus akan
diberikan untuk memastikan bahwa tidak ada kesulitan ekstra ditambahkan karena beban teks berat atau dengan konteks yang asing bagi siswa
berdasarkan latar belakang budaya mereka.

Item yang dirancang untuk Level 1c hanya harus meminta satu langkah atau operasi. Namun, penting untuk dicatat bahwa satu langkah
atau operasi tidak terbatas pada langkah aritmatika. Langkah ini mungkin ditunjukkan oleh membuat pilihan atau mengidentifikasi beberapa
informasi. Semua bagian dari siklus pemodelan dapat dan harus digunakan untuk mengukur kemampuan matematika siswa di Tingkat 1b dan 1c.

Pengujian melek matematika di antara out-of-sekolah penduduk

Untuk out-of-sekolah penduduk, item pilihan terfokus pada skala pada atau di bawah Level 2 dengan penekanan pada
ujung bawah skala dalam hal distribusi barang-barang. Proses seleksi adalah sama dengan yang untuk penduduk di sekolah:
cakupan dari semua proses dipertahankan dan konteks dari item ditinjau untuk memastikan kesesuaian untuk apa individu akan
bertemu dalam konteks out-of-sekolah.

Box modus 3.2 Pengiriman

penilaian berbasis sekolah PISA-D adalah berbasis kertas, sementara out-of-sekolah penilaian dilakukan pada komputer tablet. Agar dapat
dibandingkan antara tes, instrumen berbasis tablet untuk PISA-D dibentuk oleh subkelompok dari item yang digunakan untuk penilaian berbasis
kertas. Semua barang-barang tersebut pada awalnya dirancang untuk penilaian berbasis kertas, sehingga ketika pindah ke pengiriman berdasarkan
tablet, perawatan diambil untuk menjaga perbandingan antara penilaian. The PISA 2015 kerangka menjelaskan beberapa faktor yang harus
dipertimbangkan ketika transposing item dari kertas ke mode komputer. Unsur-unsur ini juga diperhitungkan ketika merancang out-of-sekolah
instrumen untuk PISA-D.

jenis item: Komputer menyediakan berbagai peluang bagi desainer item tes, termasuk format baru item (misalnya drag-and-drop, hotspot). Karena
PISA-D basis tablet tes menggunakan kelompok sub item membentuk tes berbasis kertas, ada sedikit kesempatan untuk mengeksploitasi jenis item
yang inovatif dan mayoritas format respon tetap tidak berubah.

presentasi Stimulus: Sebuah fitur teks tetap didefinisikan dalam membangun adalah bahwa “sejauh atau jumlah teks yang segera terlihat untuk pembaca”.
Jelas, itu tidak mungkin, baik di atas kertas dan di layar, untuk memiliki teks yang panjang ditampilkan pada satu halaman atau layar. Untuk memungkinkan
untuk ini dan masih memenuhi konstruk teks tetap, pagination digunakan untuk teks daripada bergulir. Teks yang mencakup lebih dari satu halaman disajikan
secara utuh sebelum siswa melihat pertanyaan pertama.

kemampuan IT: Sama seperti penilaian berbasis kertas mengandalkan satu set keterampilan dasar untuk bekerja dengan bahan cetak, sehingga penilaian berbasis komputer
bergantung pada satu set informasi dan komunikasi mendasar teknologi (ICT) keterampilan untuk menggunakan komputer. Ini termasuk pengetahuan tentang hardware dasar
(misalnya keyboard dan mouse) dan konvensi dasar (misalnya panah untuk bergerak maju dan tombol khusus untuk menekan untuk menjalankan perintah). Tujuannya adalah
untuk menjaga keterampilan tersebut ke tingkat inti minimal dalam penilaian berbasis tablet.

73
Contoh item untuk mengatasi PISA-D kerangka matematika diperpanjang

Item berikut menggambarkan Tingkat kemampuan 1a, 1b dan 1c. Dalam setiap kasus tugas yang terlibat dijelaskan dan penjelasan yang
diberikan tentang mengapa item tersebut sesuai tingkat kemahiran tertentu.

Sampel butir 1

Heiko memiliki pacelength yang 0,5 meter. Menggunakan rumus ini, berapa banyak langkah per menit, n, tidak Heiko mengambil setiap menit?

Untuk item ini, siswa hanya perlu mengganti nilai-nilai ke dalam rumus dan memecahkan. Sejak pacelength diberikan (0,5 meter),
mahasiswa hanya perlu melengkapi langkah operasional tunggal. Mengalikan kedua sisi persamaan dengan 0,5 memberikan nilai n 70. ini
membahas proses menambahkan “melakukan perhitungan sederhana.” Seorang siswa yang hanya menggantikan nilai-nilai benar akan
memenuhi persyaratan kemahiran 1c, sementara seorang mahasiswa yang juga melakukan langkah operasional dengan benar akan
memenuhi persyaratan kemahiran 1b.

Sampel item 2

Mei-Ling menemukan bahwa nilai tukar antara dolar Singapura dan rand Afrika Selatan adalah

1 SGD = 4,2 ZAR

Mei-Ling berubah 3000 dolar Singapura ke Rand Afrika Selatan pada kurs ini. Pilih metode yang benar dari orang-orang yang terdaftar.
kemudian menghitung n, jumlah rand Afrika Selatan Mei-Ling yang diterima setelah pertukaran.

Untuk item ini, siswa diberikan 4 metode untuk memecahkan n. Dua metode ini akan menghasilkan nilai yang benar untuk n. Harapannya
adalah bahwa siswa akan dapat memilih salah satu metode yang benar dan kemudian memecahkan nilai n. Ini membahas proses
menambahkan “memilih model yang sesuai dari daftar.” Jika seorang siswa dapat memilih salah satu metode yang benar, persyaratan
untuk kemahiran 1c terpenuhi. Jika mahasiswa juga mampu memecahkan n benar, persyaratan untuk kemahiran 1b terpenuhi.

74
 Sampel item 2

Apa jumlah sepeda di ribuan zeds yang dijual oleh perusahaan pada tahun 1998?

Untuk item ini, siswa diberikan grafik dan diminta untuk menjawab pertanyaan tentang hal itu. Ini membahas bagian kedua
dari proses “membuat diagram matematika, grafik, dan konstruksi dan penggalian informasi matematika dari mereka.” Mahasiswa
itu melakukan satu, satu langkah dengan mengambil informasi dari grafik. Ini akan memenuhi persyaratan kemahiran 1c.

Sampel butir 3

Nick ingin membuka teras persegi panjang rumah barunya dengan batu bata. Teras memiliki panjang 5,25 meter dan lebar 3,00 meter. Satu
kotak dari batu bata dapat membuka 2 meter persegi.

Menghitung jumlah kotak dari batu bata Nick kebutuhan untuk seluruh teras.

Untuk item ini, mahasiswa harus melakukan dua langkah untuk tiba pada suatu solusi yang tepat. Pertama siswa harus menemukan area
teras. Kemudian untuk langkah kedua, mahasiswa harus membagi jumlah meter persegi dengan 2 untuk menemukan jumlah total kotak batu
bata. Ini membahas beberapa proses dalam memahami apa yang harus dilakukan, menyusun strategi, dan melakukan perhitungan. Dengan
pemberian kredit parsial untuk mahasiswa yang hanya berhasil menemukan daerah, kemampuan 1b ditujukan. Kemahiran 1a ditujukan jika
seorang siswa tidak baik langkah dengan benar.

75
Item sampel 4

Susan suka untuk membangun blok menggunakan kubus kecil seperti yang ditunjukkan dalam diagram berikut:

Susan akan membangun blok seperti yang ditunjukkan pada Diagram A di bawah:

Berapa banyak kubus kecil Susan akan perlu untuk membangun blok yang ditunjukkan pada Diagram A?

Untuk item ini, siswa perlu menentukan jumlah kubus kecil yang dibutuhkan untuk membangun blok yang lebih besar. Dalam
melakukan hal ini, proses “menerapkan fakta matematika, aturan, algoritma, dan struktur ketika menemukan solusi” ditujukan. Karena ini
adalah sederhana, satu langkah masalah, memenuhi persyaratan kemahiran 1c.

Contoh angka 5

gambar merupakan salah satu halaman dari kalender.

Berapa banyak waktu akan berlalu pada hari itu dari matahari terbit sampai matahari terbenam?

SEBUAH. 12 jam dan 52 menit

B. 13 jam dan 8 menit
C. 13 jam dan 32 menit
D. 13 jam dan 52 menit

Untuk item ini, mahasiswa harus menentukan waktu berlalu. Untuk mengatasi ini berhasil, siswa harus mengakui modifikasi
dengan algoritma pengurangan normal ketika regrouping. Karena pengakuan ini diperlukan, meskipun itu adalah salah satu langkah
operasional tunggal, ada proses pemikiran yang membuat ini dari menjadi 1c 1b atau. Ini lebih dari item 1a tradisional.

76
Sampel barang 6

Untuk item ini, semua informasi yang disediakan oleh gambar. Pertanyaan pertama adalah di kemampuan Tingkat 1c karena tes pemahaman
konsep suatu daerah. Siswa yang hanya bisa berhubungan dengan daerah ketika formula yang terlibat akan mengalami kesulitan dengan item ini,
karena lebih memfokuskan pada penalaran dan pengakuan. Tidak ada rumus yang diperlukan. Pertanyaan kedua, masih di kemahiran Tingkat 1c,
pergi sedikit lebih dalam dan menguji pemahaman dari unit daerah. Sekali lagi, orang-orang yang memahami konsep daerah akan menghitung kotak;
mereka yang memahami daerah hanya melalui rumus akan mengalami kesulitan.

Sampel butir 7

Untuk item ini, mahasiswa harus menunjukkan pemahaman tentang konsep volume. Hal ini tidak memerlukan perhitungan sama
sekali, hanya penalaran sederhana. Ini adalah barang 1b kemampuan Level, karena ada pemodelan tersembunyi di sini. Kami tidak melihat
kubus besar dalam gambar. Pertanyaan kedua membutuhkan perhitungan. Siswa yang pergi dengan “akal sehat” biasanya memilih
jawaban yang salah. Mahasiswa harus mengabaikan nya penilaian intuitif dan memilih cara matematika berurusan dengan masalah. Item ini
kemahiran Tingkat 1b.

77
 CATATAN

1. Di beberapa negara, “alat-alat matematika” dapat juga mengacu pada prosedur matematika mapan seperti algoritma.
Untuk keperluan kerangka PISA, “alat-alat matematika” hanya merujuk alat fisik dan digital diuraikan dalam bagian ini.

78
 REFERENSI

Bennett, RE (2003), Penilaian secara online dan komparatif dari Arti Score, Penelitian
Memorandum, Educational Testing Service, Princeton, NJ.

Bennett, RE, J. Braswell, A. Oranje, B. Sandene, B. Kaplan dan F. Yan (2008), “Apakah itu penting jika saya mengambil
matematika saya menguji di komputer? Sebuah studi empiris kedua efek mode NAEP”, Journal of Technology, Belajar,
dan Penilaian, Vol. 6/9.

Umum Inti Negara Standar Initiative (2010), Standar Negara Inti umum untuk Matematika, umum
inisiatif Standar Negara inti, Washington DC,
www.corestandards.org/assets/CCSSI_Math%20Standards.pdf .

Devlin, K. (1994), Matematika: Ilmu pola: Pencarian untuk pesanan dalam hidup, pikiran dan
alam semesta, WH Freeman American Library Scientific, Washington, DC.

Educational Testing Service (2008), Penilaian secara online di Matematika dan Menulis: Laporan dari
Proyek penilaian berbasis teknologi NAEP, Educational Testing Service, Princeton, NJ.

Hoyles, C., A. Wolf, S. Molyneux-Hodgson dan P. Kent (2002), Keterampilan Matematika di Tempat Kerja:
Laporan akhir untuk Teknologi Sains dan Dewan Matematika, Project Report, Institute of Education, University
of London, Sains, Teknologi dan Dewan Matematika, London,
http://eprints.ioe.ac.uk/1565/1/Hoyles2002MathematicalSkills.pdf .

Mason, B., M. Patry dan D. Bernstein (2001), “Pemeriksaan kesetaraan antara non-adaptif
berbasis komputer dan pengujian tradisional”, Jurnal Pendidikan Computing Research, Vol. 1/24, pp. 29-39.

Moore, D. (1997), “pedagogi Baru dan konten baru: Kasus statistik”, Internasional statistik
Ulasan, Vol. 2/65, pp. 123-137.

Dewan Nasional Guru Matematika (2000), Prinsip dan standar untuk matematika sekolah,
Dewan Nasional Guru Matematika, Reston, VA, www.nctm.org/standards/ .

Niss, M. (2003), “kompetensi matematika dan pembelajaran matematika: Proyek Denmark Kom”,
di A. Gagatsis dan S. Papastavridis (eds.), Konferensi Mediterania 3 pada pendidikan matematika,
The Hellenic matematika Masyarakat dan Siprus Mathematical Society, Athena, pp. 115-124,
http://w3.msi.vxu.se/users/hso/aaa_niss.pdf .

Niss, M., W. Blum dan P. Galbraith (2007), “Pengantar”, dalam W. Blum, P. Galbraith, H.-W. Henn dan M.
Niss, (eds.) Pemodelan dan aplikasi dalam pendidikan matematika ( 14 ICMI Study), Spring, New York, pp. 3-32.

Niss, M. dan T. HojGaard (eds.) (2011), “Kompetensi dan pembelajaran matematika: Ide dan inspirasi
untuk pengembangan matematika mengajar dan belajar di Denmark”, Departemen Laporan Pendidikan No 485,
Roskilde University, Roskilde,
https://pure.au.dk/portal/files/41669781/THJ11_MN_KOM_in_english.pdf .

Niss, M. dan TH Jensen (2002), “Kompetencer og matematiklæring: Ideer og inspirasi til udvikling af
matematikundervisning i Danmark, uddannelsesstyrelsens temahæfteserie”, No. 18, Departemen Pendidikan,
Copenhagen, http://pub.uvm.dk/2002/kom/.

79
OECD (2016), PISA 2015 Penilaian dan Kerangka Analisis: Sains, Membaca, Matematika dan
Melek Finansial, PISA, OECD Publishing, Paris, http://dx.doi.org/10.1787/9789264255425-en .

OECD (2014), Laporan Teknis Survei Keterampilan Dewasa (PIAAC), pra-publikasi, OECD, Paris,
www.oecd.org/site/piaac/_Technical%20Report_17OCT13.pdf .

OECD (2013), PISA 2012 Penilaian dan Kerangka Analisis: Matematika, Membaca, Ilmu,
Problem Solving dan Melek Finansial, PISA, OECD Publishing, Paris,
http://dx.doi.org/10.1787/9789264190511-en .

OECD (2010), Persiapan Sukses: Bagaimana pengetahuan dan keterampilan pada usia 15 bentuk kehidupan masa depan di Kanada,
PISA, OECD Publishing, Paris, www.OECD.org/dataOECD/59/35/44574748.pdf .

OECD (2004), The PISA 2003 Kerangka Penilaian: Matematika, Membaca, Ilmu sains dan Masalah
Pemecahan Pengetahuan dan Keterampilan, OECD Publishing, Paris, http://dx.doi.org/10.1787/9789264101739en .

Otoritas Kualifikasi dan Kurikulum (2007), Matematika: Program studi untuk kunci tahap 3 dan
target pencapaian, Kualifikasi dan Kurikulum Otoritas, London,
http://media.education.gov.uk/assets/files/pdf/q/mathematics%202007%20programme%20of%20stu dy% 20for% 20key%
20stage% 203.pdf

Richardson, M., J. Baird, J. Ridgway, M. Ripley, D. Shorrocks-Taylor dan M. Swan (2002), “Menantang
pikiran? persepsi siswa tentang tes kelas dunia berbasis komputer pemecahan masalah”, di
Komputer di Perilaku Manusia, Vol. 18/6, hlm. 633-649.

Sandene, B. et al. (2005), Penilaian secara online di Matematika dan Menulis: Laporan dari NAEP
Teknologi Berbasis Assessment Project, Penelitian dan Pengembangan Series ( NCES 2005-457), Departemen Pendidikan AS,
Pusat Nasional untuk Statistik Pendidikan, Kantor Percetakan Pemerintah AS, Washington, DC.

Stacey, K. dan D. Wiliam (2013), “Teknologi dan penilaian dalam matematika”, di MA (Ken) Clements,
A. Uskup, C. Keitel, J. Kilpatrick dan F. Leung (eds), Ketiga International Handbook of Mathematics
Education, Spring, New York, pp.721-752.

Steen, L. (1990), Di bahu Giants: Pendekatan baru untuk berhitung, National Academy Press,
Washington DC.

Turner, R. dan RJ Adams (2012) “Beberapa driver tes item yang kesulitan dalam matematika: Analisis
kompetensi rubrik”, makalah yang disajikan pada pertemuan tahunan American Educational Research Association (AERA),
13-17 April, Vancouver, http://research.acer.edu.au/PISA/7/ .

Turner, R., J, Dossey, W. Blum dan M. Niss (2013), “Menggunakan kompetensi matematika untuk memprediksi barang
kesulitan dalam PISA”, di M. Prenzel, M. Kobarg, K. Schöps dan S. Rönnebeck (eds.), Penelitian tentang PISA: hasil
penelitian dari PISA penelitian Conference 2009, Springer, New York, pp.23-27.

Watson, JM dan R. Callingham (2003), “melek statistik: Sebuah membangun hirarki yang kompleks”, statistika
Pendidikan Jurnal Penelitian, Vol. 2/2, pp. 3-46.

Wang, S., H. Jiao, MJ Young, TE Brooks dan J. Olson (2007), “Sebuah meta-analisis dari efek mode pengujian
di kelas K-12 tes matematika”, Pendidikan dan Psikologis Pengukuran, Vol. 67, hlm. 219-
238.

80
 BAB 4. PISA UNTUK PENGEMBANGAN ILMU KERANGKA

Bab ini mendefinisikan “literasi sains” yang dinilai dalam Program Penilaian Siswa Internasional (PISA) dan
ekstensi untuk kerangka ilmu PISA yang telah dirancang untuk PISA untuk Pembangunan (PISA-D) proyek. Ini
menggambarkan jenis konteks, pengetahuan dan kompetensi tercermin dalam masalah ilmu PISA-D ini, dan
menyediakan beberapa item sampel. Bab ini juga membahas bagaimana kinerja siswa dalam ilmu diukur dan
dilaporkan.

81
Apa yang baru di PISA-D? Ekstensi untuk kerangka literasi sains PISA

Bab ini menyajikan kerangka penilaian untuk ilmu pengetahuan di PISA-D dan menunjukkan bagaimana secara khusus membahas
kebutuhan dan konteks menggunakan PISA untuk menilai kompetensi siswa dalam jangkauan yang lebih luas dari negara. Bab ini menjelaskan
bagaimana PISA 2015 kerangka ilmu pengetahuan telah diperpanjang untuk memberikan informasi lebih lanjut mengenai kinerja siswa di tingkat
yang lebih rendah dari kemampuan. Sementara PISA-D ini komponen out-ofschool tidak termasuk domain ilmu pengetahuan, kerangka ini berlaku
untuk siswa yang berada di sekolah serta untuk 15-year-olds yang di luar sekolah.

PISA menetapkan tingkat dasar - kemampuan Level 2, pada skala dengan 6 sebagai tingkat tertinggi dan 1b terendah - di mana
individu mulai menunjukkan kompetensi yang akan memungkinkan mereka untuk berpartisipasi secara efektif dan produktif dalam kehidupan
sebagai mahasiswa, pekerja dan warga. Ekstensi dibuat untuk kerangka ilmu PISA-D merupakan upaya untuk mendapatkan informasi lebih
lanjut tentang siswa yang saat ini tampil di atau di bawah Level 1. PISA-D dibangun di atas kerangka ilmu PISA 2015, memperluas ke belum
tingkat yang lebih rendah dari kinerja (1c ) untuk mengumpulkan data yang tepat pada keterampilan ilmu para pemain terendah. Ekstensi ini
telah dicapai dengan menjelaskan bagaimana harapan dari tiga kompetensi - Jelaskan fenomena ilmiah, Evaluasi dan desain penyelidikan
ilmiah, dan Menafsirkan data dan bukti ilmiah - dapat membantu membedakan perbedaan antara tingkat 1a, 1b, dan 1c siswa berdasarkan
pada peningkatan, tetapi terbatas, tuntutan kognitif. Secara umum, semua tingkat 1 item membuat tuntutan kurang luas pada pengetahuan
siswa, dan membutuhkan pengolahan yang kurang kognitif. Dalam rangka memberikan kejelasan yang lebih besar, dokumen tersebut juga
menjelaskan apa jenis kompetensi dan menampilkan pemahaman tidak diharapkan.

Bab ini menambahkan elemen untuk menunjukkan apa itu masuk akal untuk menilai dan apa yang diharapkan dari siswa yang
mungkin tampil di Tingkat 1 dan 2 pada timbangan PISA, menunjukkan bahwa penilaian pada tingkat ini harus dibatasi, sedapat mungkin,
untuk item yang membuat terendah tingkat permintaan kognitif. Selain itu, untuk mengurangi tuntutan linguistik dan beban kognitif dari setiap
item, perhatian harus dibayar untuk menyederhanakan bahasa barang apapun dan menghapus teks asing.

Kerangka ilmu PISA-D menganut gagasan inti literasi sains, seperti yang didefinisikan oleh PISA.
1999, 2004 dan 2006 kerangka PISA telah diuraikan konsepsi literasi sains sebagai konstruk sentral untuk penilaian ilmu
pengetahuan. Dokumen-dokumen ini telah membentuk konsensus yang luas di kalangan pendidik ilmu konsep literasi sains.
Kerangka untuk PISA 2015 memurnikan dan meluas konstruk sebelumnya, khususnya dengan menggambar pada kerangka PISA
2006 yang digunakan sebagai dasar untuk penilaian pada tahun 2006, 2009 dan 2012. Pada 2015 ilmu adalah domain utama, dan
PISA-D tidak memiliki domain utama. Jadi bagian-bagian yang tidak relevan dengan kerangka PISA-D - dan karenanya banyak
diskusi tentang sikap - telah dihilangkan atau dibuat singkat dalam kerangka ini.

hal literasi sains baik di tingkat nasional dan internasional sebagai manusia menghadapi tantangan besar dalam menyediakan air yang
cukup dan makanan, pengendalian penyakit, menghasilkan energi yang cukup dan adaptasi perubahan iklim (UNEP, 2012). Banyak dari masalah
ini timbul, namun, di tingkat lokal di mana individu mungkin dihadapkan dengan keputusan tentang praktek-praktek yang mempengaruhi kesehatan
dan makanan sendiri pasokan mereka, penggunaan yang tepat dari bahan-bahan dan teknologi baru, dan keputusan tentang penggunaan energi.
Berurusan dengan semua tantangan ini akan memerlukan kontribusi besar dari ilmu pengetahuan dan teknologi. Namun, sebagaimana didalilkan
oleh Komisi Eropa, solusi untuk dilema politik dan etika yang melibatkan ilmu pengetahuan dan teknologi “tidak bisa menjadi subyek perdebatan
diberitahu kecuali orang-orang muda memiliki kesadaran ilmiah tertentu” (Komisi Eropa, 1995, hal.28). Selain itu, “ini tidak berarti mengubah
semua orang menjadi ahli ilmiah, tetapi memungkinkan mereka untuk memenuhi peran tercerahkan dalam membuat pilihan yang mempengaruhi
lingkungan mereka dan memahami dalam arti luas implikasi sosial dari perdebatan antara para ahli” (ibid. Hal.28) . Mengingat bahwa pengetahuan
ilmu pengetahuan dan teknologi berbasis ilmu pengetahuan kontribusi signifikan terhadap kehidupan pribadi, sosial, dan profesional individu,
pemahaman tentang ilmu pengetahuan dan teknologi dengan demikian pusat ‘kesiapan untuk hidup’ orang muda.

82
 Konsep literasi sains dalam kerangka kerja ini mengacu pada pengetahuan tentang ilmu pengetahuan dan teknologi sciencebased, meskipun ilmu
pengetahuan dan teknologi berbeda dalam tujuan mereka, proses dan produk. Technology berupaya solusi optimal untuk masalah manusia, dan mungkin ada
lebih dari satu solusi optimal. Sebaliknya, ilmu berupaya jawaban untuk pertanyaan spesifik tentang, dunia material alami. Namun demikian, keduanya erat terkait.
Misalnya, pengetahuan ilmiah baru mengarah ke pengembangan teknologi baru (memikirkan kemajuan dalam ilmu material yang menyebabkan perkembangan
transistor pada tahun 1948). Demikian juga, teknologi baru dapat menyebabkan pengetahuan ilmiah baru (berpikir bagaimana pengetahuan tentang alam semesta
telah berubah melalui pengembangan teleskop yang lebih baik). Individu membuat keputusan dan pilihan yang mempengaruhi arah teknologi baru
(mempertimbangkan keputusan untuk mendorong lebih kecil, mobil lebih efisien bahan bakar). Ilmiah individu melek karena itu harus mampu membuat pilihan yang
lebih. Mereka juga harus mampu mengenali bahwa, sementara ilmu pengetahuan dan teknologi sering menjadi sumber solusi, paradoks, mereka juga dapat dilihat
sebagai sumber risiko, menghasilkan masalah baru yang hanya dapat diselesaikan melalui penggunaan ilmu pengetahuan dan teknologi. Oleh karena itu, individu
harus mampu menimbang manfaat dan risiko menerapkan pengetahuan ilmiah untuk diri mereka sendiri dan masyarakat. Mereka juga harus mampu mengenali
bahwa, sementara ilmu pengetahuan dan teknologi sering menjadi sumber solusi, paradoks, mereka juga dapat dilihat sebagai sumber risiko, menghasilkan
masalah baru yang hanya dapat diselesaikan melalui penggunaan ilmu pengetahuan dan teknologi. Oleh karena itu, individu harus mampu menimbang manfaat
dan risiko menerapkan pengetahuan ilmiah untuk diri mereka sendiri dan masyarakat. Mereka juga harus mampu mengenali bahwa, sementara ilmu pengetahuan
dan teknologi sering menjadi sumber solusi, paradoks, mereka juga dapat dilihat sebagai sumber risiko, menghasilkan masalah baru yang hanya dapat diselesaikan melalui penggunaa

literasi sains juga membutuhkan tidak hanya pengetahuan tentang konsep dan teori ilmu tetapi juga pengetahuan tentang prosedur
umum dan praktik yang berhubungan dengan penyelidikan ilmiah dan bagaimana ini memungkinkan ilmu untuk maju. Oleh karena itu,
individu yang secara ilmiah melek memiliki pengetahuan tentang konsep-konsep utama dan ide-ide yang membentuk dasar dari pemikiran
ilmiah dan teknologi; bagaimana pengetahuan tersebut telah diturunkan; dan sejauh mana pengetahuan tersebut dibuktikan dengan bukti
atau penjelasan teoritis.

Tidak diragukan lagi, banyak tantangan abad ke-21 akan membutuhkan solusi inovatif yang memiliki dasar dalam pemikiran
ilmiah dan penemuan ilmiah. Masyarakat akan membutuhkan kader ilmuwan terdidik untuk melakukan penelitian dan menumbuhkan
inovasi yang akan menjadi penting untuk memenuhi tantangan ekonomi, sosial dan lingkungan yang dihadapi dunia.

Untuk semua alasan ini, literasi sains dianggap menjadi kompetensi kunci (Rychen dan Salganik,
2003) dan didefinisikan dalam hal kemampuan untuk menggunakan pengetahuan dan informasi secara interaktif - yang “pemahaman tentang bagaimana
[pengetahuan ilmu] mengubah cara seseorang dapat berinteraksi dengan dunia dan bagaimana hal itu dapat digunakan untuk mencapai tujuan yang lebih
luas” (ibid.:10). Dengan demikian, itu merupakan tujuan utama untuk pendidikan sains untuk semua siswa. Oleh karena itu, pandangan literasi sains yang
membentuk dasar untuk 2015 penilaian internasional siswa 15 tahun merupakan respon terhadap pertanyaan: Apa yang penting bagi orang-orang muda
untuk tahu, nilai dan dapat dilakukan dalam situasi yang melibatkan ilmu pengetahuan dan teknologi?

Bab ini disusun dalam bagian berikut. Bagian pertama, “Mendefinisikan literasi sains,” jelas teoretis dari penilaian ilmu
PISA, termasuk definisi formal dari literasi sains membangun dan menggambarkan tiga kompetensi yang dibutuhkan untuk
literasi sains. Bagian kedua, “Pengorganisasian domain ilmu pengetahuan,” menggambarkan empat aspek yang saling
berkaitan yang membentuk definisi literasi sains: konteks, kompetensi, pengetahuan dan sikap. Bagian ketiga, “Menilai
literasi sains”, menguraikan pendekatan yang dilakukan untuk menerapkan unsur-unsur dari kerangka dijelaskan
sebelumnya, termasuk permintaan kognitif, karakteristik tes, pelaporan kemampuan, pengujian literasi sains antara
out-of-sekolah populasi dan contoh item untuk menangani Kerangka PISA-D diperpanjang.

Mendefinisikan literasi sains

pemikiran terkini tentang hasil yang diinginkan dari ilmu pendidikan berakar kuat dalam keyakinan bahwa pemahaman ilmu
pengetahuan adalah sangat penting sehingga harus menjadi fitur pendidikan setiap orang muda (Asosiasi Amerika untuk Kemajuan
Ilmu Pengetahuan, 1989; Confederacion de sociedades Cientificas de España, 2011; Fensham, 1985; Millar dan Osborne, 1998;
National Research Council, 2012 Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik
Deutschland [KMK], 2005;

83
Taiwan Departemen Pendidikan, 1999). Memang, di banyak negara ilmu merupakan elemen wajib kurikulum sekolah dari
TK sampai selesainya pendidikan wajib.

Banyak dokumen dan pernyataan kebijakan yang dikutip di atas memberikan keunggulan untuk pendidikan kewarganegaraan.
Namun, banyak dari kurikulum sains sekolah di seluruh dunia didasarkan pada pandangan bahwa tujuan utama dari pendidikan sains
harus persiapan generasi berikutnya ilmuwan (Millar dan Osborne, 1998). Kedua gol tidak selalu kompatibel. Upaya untuk mengatasi
ketegangan antara kebutuhan mayoritas siswa yang tidak akan menjadi ilmuwan dan kebutuhan minoritas yang akan menyebabkan
penekanan pada pengajaran ilmu pengetahuan melalui penyelidikan (National Academy of Science, 1995; National Research Council,
2000), dan model kurikulum baru (Millar, 2006) yang membahas kebutuhan baik kelompok. Penekanan dalam kerangka kerja ini dan
kurikulum yang terkait tidak terletak pada menghasilkan individu yang akan “produsen” pengetahuan ilmiah, yaitu para ilmuwan masa
depan; bukan, itu adalah pada mendidik semua orang muda untuk menjadi informasi, pengguna kritis pengetahuan ilmiah.

Untuk memahami dan terlibat dalam diskusi kritis tentang isu-isu yang melibatkan ilmu pengetahuan dan teknologi membutuhkan tiga
kompetensi domain-spesifik. Yang pertama adalah kemampuan untuk menyediakan rekening penjelas dari fenomena alam, artefak teknis dan
teknologi dan implikasinya bagi masyarakat. Seperti kemampuan memerlukan pengetahuan tentang ide-ide dasar dari ilmu pengetahuan dan
pertanyaan-pertanyaan yang membingkai praktek dan tujuan ilmu pengetahuan. Yang kedua adalah pengetahuan dan pemahaman penyelidikan
ilmiah untuk: mengidentifikasi pertanyaan yang dapat dijawab oleh penyelidikan ilmiah; mengidentifikasi apakah prosedur yang tepat telah
digunakan; dan mengusulkan cara-cara di mana pertanyaan-pertanyaan tersebut mungkin akan menjawab. Yang ketiga adalah kompetensi
untuk menafsirkan dan mengevaluasi data dan bukti ilmiah dan mengevaluasi apakah kesimpulan dibenarkan. Demikian, dan PISA-D didefinisikan
oleh tiga kompetensi untuk:

• menjelaskan fenomena ilmiah

• menafsirkan data dan bukti ilmiah

• mengevaluasi dan merancang penyelidikan ilmiah.

Semua kompetensi ini membutuhkan pengetahuan. Menjelaskan fenomena ilmiah dan teknologi, misalnya, menuntut pengetahuan
tentang isi ilmu pengetahuan (selanjutnya, konten pengetahuan). Kompetensi kedua dan ketiga, bagaimanapun, memerlukan lebih dari
pengetahuan tentang apa yang dikenal; mereka bergantung pada pemahaman tentang bagaimana pengetahuan ilmiah didirikan dan
tingkat kepercayaan dengan yang diadakan. Beberapa berpendapat untuk mengajar apa yang berbeda-beda telah disebut “sifat ilmu”
(Lederman,
2006), “ide-ide tentang ilmu pengetahuan” (Millar dan Osborne, 1998) atau “praktek ilmiah” (National Research Council, 2012).
Mengenali dan mengidentifikasi fitur yang menjadi ciri penyelidikan ilmiah memerlukan pengetahuan tentang prosedur standar
yang mendasari metode yang beragam dan praktek yang digunakan untuk membangun pengetahuan ilmiah (selanjutnya,
pengetahuan prosedural). Akhirnya, kompetensi memerlukan pengetahuan epistemik - pemahaman tentang alasan untuk praktek
umum penyelidikan ilmiah, status klaim pengetahuan yang dihasilkan, dan arti dari istilah dasar, seperti teori, hipotesis dan data.

Kedua pengetahuan prosedural dan epistemik yang diperlukan untuk mengidentifikasi pertanyaan yang setuju untuk penyelidikan
ilmiah, untuk menilai apakah prosedur yang tepat telah digunakan untuk memastikan bahwa klaim dibenarkan, dan untuk membedakan
isu-isu ilmiah dari hal-hal nilai atau pertimbangan ekonomi. definisi literasi sains mengasumsikan bahwa, sepanjang hidup mereka,
individu akan perlu untuk memperoleh pengetahuan, bukan melalui penyelidikan ilmiah, tetapi melalui penggunaan sumber daya seperti
perpustakaan dan internet. pengetahuan prosedural dan epistemic sangat penting untuk memutuskan apakah banyak klaim pengetahuan
dan pemahaman yang meliputi media kontemporer didasarkan pada penggunaan prosedur yang tepat dan dibenarkan.

84
 Kotak 4.1 Pengetahuan ilmiah: PISA 2015 terminologi

Dokumen ini didasarkan pada pandangan pengetahuan ilmiah sebagai terdiri dari tiga elemen dibedakan tetapi terkait. Yang pertama ini dan yang
paling akrab adalah pengetahuan tentang fakta-fakta, konsep-konsep, ide-ide dan teori-teori tentang dunia alam bahwa ilmu pengetahuan telah ditetapkan.
Misalnya, bagaimana tanaman mensintesis molekul kompleks menggunakan cahaya dan karbon dioksida atau sifat partikel materi. jenis pengetahuan disebut
sebagai “ pengetahuan konten ”Atau‘pengetahuan tentang isi ilmu pengetahuan’.

Pengetahuan tentang prosedur yang menggunakan para ilmuwan untuk membangun pengetahuan ilmiah disebut sebagai “ pengetahuan
prosedural ”. Ini adalah pengetahuan tentang praktik dan konsep yang penyelidikan empiris didasarkan seperti mengulangi pengukuran untuk
meminimalkan kesalahan dan mengurangi ketidakpastian, kontrol variabel, dan prosedur standar untuk mewakili dan komunikasi data (Millar, Lubben,
Gott, dan Duggan, 1995 ). Baru-baru ini telah diuraikan sebagai satu set “konsep bukti” (Gott, Duggan, dan Roberts, 2008).

Selanjutnya, memahami ilmu sebagai praktek juga memerlukan “ pengetahuan epistemik ”Yang mengacu pada pemahaman tentang peran
konstruksi tertentu dan mendefinisikan fitur penting untuk proses pembangunan pengetahuan dalam ilmu (Duschl, 2007). pengetahuan epistemik
meliputi pemahaman tentang fungsi yang pertanyaan, pengamatan, teori, hipotesis, model, dan argumen bermain dalam ilmu; pengakuan dari berbagai
bentuk penyelidikan ilmiah; dan review peran rekan bermain dalam membangun pengetahuan yang dapat dipercaya.

Sebuah diskusi yang lebih rinci dari tiga bentuk-bentuk pengetahuan disediakan di bagian nanti pengetahuan ilmiah dan dalam Angka 4.5, 4.6
dan 4.7.

Orang-orang membutuhkan semua tiga bentuk pengetahuan ilmiah untuk melakukan tiga kompetensi keaksaraan ilmiah.
PISA 2015 dan PISA-D fokus pada menilai sejauh mana 15-year-olds yang mampu menampilkan tiga kompetensi tersebut
secara tepat dalam dalam berbagai pribadi, konteks lokal / nasional (dikelompokkan dalam satu kategori) dan global. (Untuk
tujuan penilaian PISA, kompetensi ini hanya diuji menggunakan pengetahuan bahwa siswa 15 tahun dapat diperkirakan
mungkin sudah diperoleh.) Perspektif ini berbeda dari banyak program sains sekolah yang didominasi oleh pengetahuan konten
. Sebaliknya, kerangka kerja ini didasarkan pada pandangan yang lebih luas dari jenis pengetahuan ilmu yang dibutuhkan
warga terlibat penuh.

Selain itu, perspektif berbasis kompetensi juga mengakui bahwa ada unsur afektif untuk menampilkan siswa
kompetensi tersebut: sikap atau disposisi siswa terhadap ilmu pengetahuan akan menentukan tingkat ketertarikan mereka,
mempertahankan pertunangan mereka, dan dapat memotivasi mereka untuk mengambil tindakan ( Schibeci, 1984).
Dengan demikian, orang yang melek ilmiah biasanya akan memiliki kepentingan dalam topik ilmiah; terlibat dengan isu-isu
terkait ilmu; memiliki kepedulian terhadap isu-isu teknologi, sumber daya dan lingkungan hidup; dan merefleksikan
pentingnya ilmu dari perspektif pribadi dan sosial. Persyaratan ini tidak berarti bahwa individu tersebut tentu dibuang
menuju menjadi ilmuwan sendiri bukan, orang tersebut mengakui bahwa ilmu pengetahuan,

Pertimbangan ini menyebabkan definisi literasi sains digunakan dalam PISA 2015 dan PISA-D (Lihat Kotak 4.2).
Penggunaan istilah “melek ilmiah”, bukan “ilmu”, menggarisbawahi pentingnya bahwa PISA tempat penilaian sains pada
penerapan pengetahuan ilmiah dalam konteks situasi kehidupan nyata.

85
 Kotak 4.2 2015 definisi literasi sains

literasi sains adalah kemampuan untuk terlibat dengan isu-isu terkait ilmu pengetahuan, dan dengan ide-ide ilmu pengetahuan, sebagai warga reflektif.

Seseorang melek ilmiah bersedia untuk terlibat dalam wacana beralasan tentang ilmu pengetahuan dan teknologi, yang memerlukan kompetensi untuk:

• Menjelaskan fenomena ilmiah - mengakui, menawarkan dan mengevaluasi penjelasan untuk berbagai fenomena alam dan teknologi.

• Menafsirkan data dan bukti ilmiah - menganalisis dan mengevaluasi data, klaim dan argumen dalam berbagai representasi dan
menarik kesimpulan ilmiah yang sesuai.

• Mengevaluasi dan merancang penyelidikan ilmiah - menggambarkan dan menilai penyelidikan ilmiah dan mengusulkan cara-cara menangani
pertanyaan ilmiah.

Kompetensi yang dibutuhkan untuk literasi sains

Kompetensi 1: Jelaskan fenomena ilmiah

Pencapaian budaya ilmu pengetahuan telah mengembangkan satu set teori penjelasan yang telah mengubah pemahaman kita tentang
alam (dalam dokumen ini, “alam” mengacu pada fenomena yang terkait dengan objek atau kegiatan yang terjadi di hidup atau dunia materi) ,
seperti gagasan bahwa siang dan malam disebabkan oleh Bumi berputar, atau gagasan bahwa penyakit dapat disebabkan oleh
mikroorganisme yang tak terlihat. Selain itu, pengetahuan tersebut telah memungkinkan kita untuk mengembangkan teknologi yang mendukung
kehidupan manusia, misalnya, mencegah penyakit atau memungkinkan komunikasi manusia yang cepat di seluruh dunia. Kompetensi untuk
menjelaskan fenomena ilmiah dan teknologi dengan demikian bergantung pada pengetahuan tentang ide-ide penjelas utama ilmu pengetahuan.

Menjelaskan fenomena ilmiah, bagaimanapun, membutuhkan lebih dari kemampuan untuk mengingat dan menggunakan teori-teori, ide-ide jelas,
informasi dan fakta (pengetahuan konten). Menawarkan penjelasan ilmiah juga memerlukan pemahaman tentang bagaimana pengetahuan tersebut telah
diturunkan dan tingkat kepercayaan kita mungkin pegang tentang klaim ilmiah apapun. Untuk kompetensi ini, individu membutuhkan pengetahuan tentang
bentuk-bentuk standar dan prosedur yang digunakan dalam penyelidikan ilmiah untuk memperoleh pengetahuan tersebut (pengetahuan prosedural) dan
pemahaman tentang peran dan fungsi dalam membenarkan pengetahuan yang dihasilkan oleh ilmu pengetahuan (pengetahuan epistemic).

Kompetensi 2: Menginterpretasikan data dan bukti ilmiah

Menafsirkan data adalah suatu kegiatan inti dari semua ilmuwan bahwa beberapa pemahaman dasar dari proses ini adalah penting untuk
literasi sains. Awalnya, interpretasi data dimulai dengan mencari pola, membangun tabel sederhana dan visualisasi grafis, seperti pie chart, grafik
batang, scatterplots atau diagram Venn. Pada tingkat yang lebih tinggi, memerlukan penggunaan lebih set data yang kompleks dan penggunaan
alat-alat analisis yang ditawarkan oleh spreadsheet dan paket statistik. Ini akan salah, namun, untuk melihat kompetensi ini hanya sebagai
kemampuan untuk menggunakan alat ini. Sebuah tubuh besar pengetahuan yang diperlukan untuk mengenali apa yang merupakan bukti yang dapat
diandalkan dan valid dan bagaimana untuk menyajikan data secara tepat.

Para ilmuwan membuat pilihan tentang bagaimana untuk mewakili data dalam grafik, diagram atau, semakin, dalam simulasi kompleks atau
visualisasi 3D. Setiap hubungan atau pola kemudian harus dibaca menggunakan pengetahuan tentang pola standar. Apakah ketidakpastian telah
diminimalkan dengan teknik statistik standar juga harus diperhatikan. Semua ini mengacu pada tubuh pengetahuan prosedural. Individu melek huruf
secara ilmiah juga bisa diharapkan untuk memahami ketidakpastian yang merupakan fitur yang melekat pada semua pengukuran, dan salah satu
yang

86
kriteria untuk mengekspresikan kepercayaan temuan adalah menentukan probabilitas bahwa temuan mungkin terjadi secara kebetulan.

Hal ini tidak cukup, namun, untuk memahami prosedur yang telah diterapkan untuk mendapatkan data set. Individu
melek ilmiah harus mampu untuk menilai apakah mereka sesuai dan klaim berikutnya dibenarkan (pengetahuan epistemic).
Misalnya, banyak set data dapat ditafsirkan dalam berbagai cara. Argumentasi dan kritik sangat penting untuk menentukan
yang merupakan kesimpulan yang paling tepat.

Apakah itu teori-teori baru, cara baru pengumpulan data, atau interpretasi segar data lama, argumentasi adalah cara
yang ilmuwan dan teknolog gunakan untuk membuat kasus mereka untuk ide-ide baru. Ketidaksepakatan di antara para
ilmuwan adalah normal, tidak luar biasa. Menentukan interpretasi adalah yang terbaik membutuhkan pengetahuan ilmu
(pengetahuan konten). Konsensus pada ide-ide ilmiah kunci dan konsep telah dicapai melalui proses ini kritik dan
argumentasi (Longino, 1990). Memang, itu adalah disposisi kritis dan skeptis terhadap semua bukti empiris bahwa banyak
akan melihat sebagai ciri khas dari ilmuwan profesional. Individu melek ilmiah memahami fungsi dan tujuan dari argumen
dan kritik dan mengapa mereka sangat penting untuk pembangunan pengetahuan dalam ilmu pengetahuan. Sebagai
tambahan,

Kompetensi 3: Evaluasi dan desain penyelidikan ilmiah

literasi sains menyiratkan bahwa siswa memiliki beberapa pemahaman tentang tujuan penyelidikan ilmiah, yaitu untuk menghasilkan pengetahuan yang
dapat diandalkan tentang dunia alam (Ziman, 1979). Data yang dikumpulkan dan diperoleh dengan observasi dan eksperimen, baik di laboratorium atau di
lapangan, mengarah pada pengembangan model dan hipotesis jelas yang memungkinkan prediksi yang kemudian dapat diuji secara eksperimental. Ide-ide baru,
bagaimanapun, umumnya membangun pengetahuan sebelumnya. Para ilmuwan sendiri jarang bekerja dalam isolasi; mereka adalah anggota dari kelompok
penelitian atau tim yang terlibat, nasional dan internasional, bekerja sama luas dengan rekan-rekan. klaim pengetahuan baru selalu dianggap sementara dan
mungkin kurang pembenaran ketika mengalami peer review kritis - mekanisme melalui mana masyarakat ilmiah menjamin objektivitas pengetahuan ilmiah
(Longino, 1990). Oleh karena itu, para ilmuwan memiliki komitmen untuk menerbitkan atau melaporkan temuan mereka dan metode yang digunakan dalam
memperoleh bukti mereka. Melakukan hal memungkinkan studi empiris, setidaknya pada prinsipnya, untuk direplikasi dan hasil dikonfirmasi atau menantang.
Namun, pengukuran tidak pernah bisa benar-benar tepat; mereka semua mengandung tingkat kesalahan. Banyak dari karya ilmuwan eksperimental demikian
dikhususkan untuk menyelesaikan ketidakpastian dengan mengulang pengukuran, pengumpulan sampel yang lebih besar, membangun instrumen yang lebih
akurat, dan menggunakan teknik statistik yang menilai tingkat kepercayaan dalam hasil. direplikasi dan hasil dikonfirmasi atau menantang. Namun, pengukuran
tidak pernah bisa benar-benar tepat; mereka semua mengandung tingkat kesalahan. Banyak dari karya ilmuwan eksperimental demikian dikhususkan untuk
menyelesaikan ketidakpastian dengan mengulang pengukuran, pengumpulan sampel yang lebih besar, membangun instrumen yang lebih akurat, dan
menggunakan teknik statistik yang menilai tingkat kepercayaan dalam hasil. direplikasi dan hasil dikonfirmasi atau menantang. Namun, pengukuran tidak pernah
bisa benar-benar tepat; mereka semua mengandung tingkat kesalahan. Banyak dari karya ilmuwan eksperimental demikian dikhususkan untuk menyelesaikan ketidakpastian dengan m

Selain itu, ilmu pengetahuan telah mapan prosedur yang merupakan dasar dari percobaan apapun untuk membangun
sebab dan akibat. Penggunaan kontrol memungkinkan ilmuwan untuk mengklaim bahwa setiap perubahan dalam hasil yang
dirasakan dapat dikaitkan dengan perubahan dalam satu fitur tertentu. Kegagalan untuk menggunakan teknik seperti mengarah
ke hasil yang mana efek dikacaukan dan tidak bisa dipercaya. Demikian juga, percobaan double-blind memungkinkan para
ilmuwan untuk mengklaim bahwa hasil belum dipengaruhi baik oleh subyek percobaan, atau oleh eksperimen sendiri. Ilmuwan
lain, seperti ahli taksonomi dan ekologi, terlibat dalam proses identifikasi pola yang mendasari dan interaksi di alam yang
menjamin pencarian untuk penjelasan. Dalam kasus lain, seperti evolusi, lempeng tektonik atau perubahan iklim,

Fasilitas dengan kompetensi ini mengacu pada pengetahuan konten, pengetahuan tentang prosedur yang umum digunakan dalam
ilmu (pengetahuan prosedural), dan fungsi prosedur ini dalam membenarkan klaim diajukan oleh ilmu (pengetahuan epistemic).
pengetahuan prosedural dan epistemic melayani dua fungsi. Pertama, pengetahuan tersebut diperlukan oleh individu untuk menilai
penyelidikan ilmiah dan memutuskan apakah

87
mereka telah mengikuti prosedur yang tepat dan apakah kesimpulan dibenarkan. Kedua, individu yang memiliki pengetahuan ini
harus dapat mengusulkan, setidaknya dalam arti luas, bagaimana pertanyaan ilmiah mungkin diselidiki dengan tepat.

Evolusi definisi literasi sains di PISA

Pada PISA 2000 dan 2003, literasi sains didefinisikan sebagai:

“... kapasitas untuk menggunakan pengetahuan ilmiah, untuk mengidentifikasi pertanyaan dan untuk menarik kesimpulan berbasis bukti
untuk memahami dan membantu membuat keputusan tentang dunia alam dan perubahan yang dibuat untuk itu melalui aktivitas manusia.”
(OECD, 2000, 2004)

Pada tahun 2000 dan 2003, definisi tertanam pengetahuan dari ilmu pengetahuan dan pemahaman tentang ilmu dalam satu istilah
“pengetahuan ilmiah”. Definisi 2006 dipisahkan dan diuraikan istilah “pengetahuan ilmiah” dengan membaginya menjadi dua komponen:
“pengetahuan dari sains”dan“pengetahuan tentang
ilmu”(OECD, 2006). Kedua definisi mengacu pada penerapan pengetahuan ilmiah untuk pemahaman, dan membuat informasi
keputusan tentang, dunia alam. Pada PISA 2006, definisi ditingkatkan dengan penambahan pengetahuan tentang hubungan antara
ilmu pengetahuan dan teknologi - sebuah aspek yang diasumsikan tetapi tidak diuraikan dalam definisi 2003.

“Untuk keperluan PISA, literasi sains mengacu pada individu:

• pengetahuan ilmiah dan penggunaan pengetahuan itu untuk mengidentifikasi pertanyaan, memperoleh pengetahuan baru,
menjelaskan fenomena ilmiah dan menarik kesimpulan berdasarkan bukti tentang isu-isu terkait ilmu pengetahuan.

• Pemahaman tentang ciri-ciri ilmu pengetahuan sebagai bentuk pengetahuan manusia dan penyelidikan.

• Kesadaran tentang bagaimana ilmu pengetahuan dan teknologi bentuk material, lingkungan intelektual dan budaya kita.

• Kesediaan untuk terlibat dalam isu-isu terkait ilmu pengetahuan, dan dengan ide-ide ilmu pengetahuan, sebagai warga reflektif.”(OECD, 2006)

Ide-ide ini telah berevolusi lebih lanjut dalam definisi PISA 2015 literasi ilmiah. Perbedaan utama adalah bahwa gagasan
“pengetahuan tentang ilmu”telah ditetapkan lebih jelas dan dibagi menjadi dua komponen - pengetahuan prosedural dan
pengetahuan epistemik.

Pada tahun 2006, kerangka PISA juga diperluas untuk mencakup aspek sikap tanggapan siswa terhadap isu-isu
ilmiah dan teknologi dalam membangun literasi ilmiah. Pada tahun 2006, sikap diukur dalam dua cara: melalui kuesioner
siswa dan melalui item tertanam dalam tes siswa. Perbedaan yang ditemukan antara hasil dari pertanyaan tertanam dan
orang-orang dari kuesioner latar belakang sehubungan dengan “kepentingan dalam ilmu” untuk semua siswa dan
perbedaan gender dalam masalah ini (OECD, 2009; lihat juga: Drechsel, Carstensen dan Prenzel, 2011). Lebih penting,
item tertanam diperpanjang panjang tes. Oleh karena itu, dalam PISA 2015, aspek sikap hanya diukur melalui kuesioner
siswa; tidak ada tertanam item sikap. PISA-D tidak termasuk pengukuran sikap terhadap ilmu pengetahuan pembelajaran.

Adapun konstruksi diukur dalam domain ini, yang pertama ( “minat dalam ilmu pengetahuan”) dan ketiga ( “kesadaran lingkungan”) tetap
sama seperti tahun 2006. Yang kedua ( “dukungan untuk penyelidikan ilmiah”) telah diubah menjadi ukuran “menghargai pendekatan ilmiah
untuk pertanyaan”, yang pada dasarnya perubahan dalam terminologi untuk lebih mencerminkan apa yang diukur.

88
 Selain itu, konteks di PISA 2015 telah berubah dari “personal, sosial dan global” dalam penilaian 2006 untuk “personal,
lokal / nasional dan global” untuk membuat judul lebih koheren.

Pengorganisasian domain ilmu pengetahuan

The PISA 2015 definisi literasi sains yang digunakan dalam PISA-D terdiri dari empat aspek yang saling terkait (lihat Gambar 4.1
dan 4.2).

Gambar 4.1 Aspek kerangka penilaian literasi sains untuk PISA 2015

konteks Pribadi, lokal / nasional dan global isu, baik saat ini dan sejarah, yang menuntut beberapa pemahaman ilmu
pengetahuan dan teknologi.

Pengetahuan An understanding of the major facts, concepts and explanatory theories that form the basis of scientific knowledge. Such
knowledge includes knowledge of both the natural world and technological artefacts (content knowledge), knowledge of how
such ideas are produced (procedural knowledge), and an understanding of the underlying rationale for these procedures and
the justification for their use (epistemic knowledge).

Competencies The ability to explain phenomena scientifically, interpret data and evidence scientifically,
and .evaluate and design scientific enquiry.

Attitudes A set of attitudes towards science indicated by an interest in science and technology, valuing scientific approaches to
enquiry where appropriate, and a perception and awareness of environmental issues.

Figure 4.2 Inter-relations between the four aspects

Contexts of assessment items

PISA 2015 and PISA-D assesses scientific knowledge in contexts that are relevant to the science curricula of participating
countries. Such contexts are not, however, restricted to the common aspects of participants’ national curricula. Rather, the
assessment requires evidence of the successful use of the three competencies required for scientific literacy in situations set in
personal, local/national and global contexts.

Assessment items are not limited to school science contexts. In the PISA 2015 and PISA-D scientific literacy assessment, the
items focus on situations relating to the self, family and peer groups (personal), to the community (local and national), and to life
across the world (global). Technology-based topics may be used as a common context. Some topics may be set in historical
contexts, which are used to assess students’ understanding of the processes and practices involved in advancing scientific
knowledge.

89
 Figure 4.3 shows how science and technology issues are applied within personal, local/national and global settings. The
contexts are chosen in light of their relevance to students’ interests and lives. The areas of application are: health and disease,
natural resources, environmental quality, hazards, and the frontiers of science and technology. They are the areas in which
scientific literacy has particular value for individuals and communities in enhancing and sustaining quality of life, and in developing
public policy.

Figure 4.3 Contexts in the PISA 2015 and PISA-D scientific literacy assessment

Personal Local/National Global

Health and disease Maintenance of health, Control of disease, social Epidemics, spread of
accidents, nutrition transmission, food choices, infectious diseases
community health

Natural resources Personal consumption of Maintenance of human Renewable and nonrenewable

materials and energy populations, quality of life, natural systems, population
security, production and growth, sustainable use of
distribution of food, energy supply species

Environmental quality Environmentally friendly actions, Population distribution, Biodiversity, ecological

use and disposal of materials disposal of waste, sustainability, control of
and devices environmental impact pollution, production and loss of
soil/biomass

Hazards Risk assessments of Rapid changes (e.g. earthquakes, Climate change, impact of
lifestyle choices severe weather), slow and modern communication
progressive changes (e.g. coastal
erosion, sedimentation), risk
assessment

Frontiers of science and Scientific aspects of hobbies, New materials, devices and Extinction of species, exploration
technology personal technology, music processes, genetic of space, origin and structure of
and sporting activities modifications, health the universe
technology, transport

The PISA science assessment is not an assessment of contexts. Rather, it assesses competencies and knowledge in specific
contexts. These contexts are chosen on the basis of the knowledge and understanding that students are likely to have acquired by
the age of 15.

Sensitivity to linguistic and cultural differences is a priority in item development and selection, not only for the sake of the
validity of the assessment, but also to respect these differences among participating countries.

Scientific competencies

Figures 4.4a, 4.4b and 4.4c provide a detailed description of how students may display the three competencies required for
scientific literacy. The set of scientific competencies in Figures 4.4a, 2.4b and
4.4c reflects a view that science is best seen as an ensemble of social and epistemic practices that are common across all
sciences (National Research Council, 2012). Hence, all these competencies are framed as actions. They are written in this manner
to convey the idea of what the scientifically literate person both understands and is capable of doing. Fluency with these practices
is, in part, what distinguishes the expert scientist from the novice. While it would be unreasonable to expect a 15-year-old student
to have the expertise of a scientist, a scientifically literate student can be expected to appreciate the role and significance of these
practices and try to use them.

90
 Figure 4.4a PISA 2015 and PISA-D scientific competencies: Explain phenomena scientifically

Explain phenomena scientifically

Recognise, offer and evaluate explanations for a range of natural and technological phenomena demonstrating the ability to:

• Recall and apply appropriate scientific knowledge.

• Identify, use and generate explanatory models and representations.

• Make and justify appropriate predictions.

• Offer explanatory hypotheses.

• Explain the potential implications of scientific knowledge for society.

Demonstrating the competency of explaining phenomena scientifically requires students to recall the appropriate content
knowledge in a given situation and use it to interpret and explain the phenomenon of interest. Such knowledge can also be used to
generate tentative explanatory hypotheses in contexts where there is a lack of knowledge or data. A scientifically literate person is
expected to be able to draw on standard scientific models to construct simple representations to explain everyday phenomena, such
as why antibiotics do not kill viruses, how a microwave oven works, or why gases are compressible but liquids are not, and use
these to make predictions. This competency includes the ability to describe or interpret phenomena and predict possible changes. In
addition, it may involve recognising or identifying appropriate descriptions, explanations and predictions.

For the purposes of assessing students who perform at Level 1, a more detailed description of this competency is defined
beneath for PISA-D. All level 1 students should be able to demonstrate some ability to explain phenomena scientifically.

Explain phenomena scientifically for Level 1c

Recognise explanations for a limited range of the most simple natural and technological phenomena demonstrating the ability
to:

• Recall appropriate scientific knowledge

Explain phenomena scientifically for Level 1b

Recognise explanations for a range of simple or familiar natural and technological phenomena demonstrating the ability to:

• Identify an explanatory model or representation

• Recognise the potential implications of scientific knowledge for society and individuals

Explain phenomena scientifically for Level 1a

Recognise explanations for a range of simple or familiar natural and technological phenomena demonstrating the ability to:

• Make appropriate predictions

• Recognise an appropriate explanatory hypothesis
• Recognize simple causal or correlational relationships

At Level 1c students can be required to:

91
 • Identify what are the elements of a standard representation that are used in science. For instance, a question might
present an unlabelled diagram of an object and students could be asked to add the appropriate labels from a list provided
by the question.

• Recall appropriate scientific knowledge but not apply such knowledge. For instance, a student might be asked to identify
which scientific phenomenon is being described in an item.

At Level 1b students can be required to:

• Recall appropriate scientific knowledge but not to apply such knowledge. For instance, a question might ask which
one of several familiar scientific concepts from a list would explain a simple phenomenon described at the beginning
of the question.

• Use a familiar piece of scientific knowledge. For instance, a question about the freezing point of water might ask students
to determine whether water will freeze in a given context.

At Level 1a students can be required to:

• Make a simple prediction but not justify it. For instance, a question might ask which of several predictions might be
correct, or students could be asked to predict the reading of an ammeter on a simple circuit where the reading on one
ammeter is provided and the other is not.

• To identify from a list what the evidence is that supports a particular claim, e.g. that a rock is a sedimentary rock or that a
whale is a mammal rather than a fish.

• Provide descriptive explanations of the properties of objects or substances – for instance that a rock must be sedimentary
because it can be easily scratched.

The following requirements, however, would be considered too advanced and beyond the scope of a Level 1 competency;
students would only be expected to attain partial credit on an item. Thus competency at this level would not require students to:

• Offer explanatory hypotheses or explain the potential implications of scientific knowledge for society

• Construct an explanation for why a given explanation might be flawed

• Offer explanatory hypotheses that require students to recall knowledge and draw an appropriate inference

• Provide a causal explanation for how a device works

• Identify an explanatory model in a question that requires the recall of more than two pieces of knowledge

• Provide explanations of unfamiliar phenomena

92
 Figure 4.4b PISA 2015 and PISA-D scientific competencies: Interpret data and evidence scientifically

Interpret data and evidence scientifically

Analyse and evaluate scientific data, claims and arguments in a variety of representations and draw appropriate conclusions,
demonstrating the ability to:
• Transform data from one representation to another.

• Analyse and interpret data and draw appropriate conclusions.

• Identify the assumptions, evidence and reasoning in science-related texts.

• Distinguish between arguments that are based on scientific evidence and theory and those based on other
considerations.

• Evaluate scientific arguments and evidence from different sources (e.g. newspapers, the Internet, journals).

A scientifically literate person should be able to interpret and make sense of basic forms of scientific data and evidence that
are used to make claims and draw conclusions. Displaying this competency may require all three forms of scientific knowledge.

Those who possess this competency should be able to interpret the meaning of scientific evidence and its implications to a
specified audience in their own words, using diagrams or other representations as appropriate. This competency requires the use of
mathematical tools to analyse or summarise data, and the ability to use standard methods to transform data into different
representations.

This competency also includes accessing scientific information and producing and evaluating arguments and conclusions
based on scientific evidence (Kuhn, 2010; Osborne, 2010). It may also involve evaluating alternative conclusions using evidence;
giving reasons for or against a given conclusion using procedural or epistemic knowledge; and identifying the assumptions made
in reaching a conclusion. In short, the scientifically literate individual should be able to identify logical or flawed connections
between evidence and conclusions.

The higher cognitive demand required to interpret data and evidence scientifically means that this competency is generally
above Level 1c. More detailed descriptions of this competency for levels 1a and 1b are provided below for PISA-D.

Interpret data and evidence scientifically for Level 1b

Recognise a specific scientific claim, justification or data set in a simple or familiar context, demonstrating the ability to:

• Identify the evidence, claim or justification in a science-related text

• Identify simple patterns in data

Interpret data and evidence scientifically for Level 1a

Recognise specific scientific data, claims, and justifications in simple or familiar contexts and identify an appropriate conclusion
demonstrating the ability to:

• Recognise an appropriate conclusion that can be drawn from a simple set of data

• Extract a specific piece of information from a scientific text

• Identify a non-scientific argument

• Interpret graphical and visual data

• Identify simple causal or correlational relationships

93
 At Level 1b students can be required to:

• Describe a simple trend in data, but not be asked to draw a conclusion based on the data. For instance, a question might
be asked to identify how temperatures have changed over a period of time when provided data in a graph or table.

• Identify a claim or evidence or a reason in a science-related text. Alternatively, students could be asked to identify
which is the claim, evidence or reasoning in a science text from a list that is provided.

At Level 1a students can be required to:

• State which one of several conclusions about a simple phenomenon that are drawn from a data set is the most appropriate
using a deduction requiring one step.

• Given a simple table, graph or other form of data representation, identify which conclusion or prediction is correct, e.g.
identifying trends in a graph where there is no extraneous information.

• Extract meaning from simple scientific texts, for instance, asking students to identify the states through which matter
moves, e.g. about solids, liquids and gases.

• Identify whether the conclusion drawn from a table of results, graph or other form of data is justified or not, e.g.
whether the interpretation drawn from a table of materials and the effect of a magnet on the material is correct.

However, the following requirements would be considered too advanced and beyond the scope of a Level 1 competency;
students would only be expected to attain partial credit on an item. Thus competency at this level would not require students to:

• Distinguish between arguments that are based on scientific evidence or scientific theories and those that are based on
other considerations.

• Evaluate two competing arguments from different sources (e.g. newspaper, Internet, journals).

• Analyse or interpret more than one data set in any question.

• Consider multiple pieces of evidence or multiple theories and whether the information supports one or more theories

Table 4.1 shows the desired distribution of items, by competency, for the PISA 2015 science assessment and for PISA-D.
For science, the desired distributions for PISA-D are for the school-based instrument only, as science is not included in the
out-of-school assessment.

94
 Figure 4.4c PISA 2015 and PISA-D scientific competencies: Evaluate and design scientific enquiry

Evaluate and design scientific enquiry

Describe and appraise scientific investigations and propose ways of addressing questions scientifically demonstrating the ability
to:
• Identify the question explored in a given scientific study.

• Distinguish questions that could be investigated scientifically.

• Propose a way of exploring a given question scientifically.

• Evaluate ways of exploring a given question scientifically.

• Describe and evaluate how scientists ensure the reliability of data, and the objectivity and generalizability of
explanations.

The competency of evaluating and designing scientific enquiry is required to evaluate reports of scientific findings and
investigations critically. It relies on the ability to distinguish scientific questions from other forms of enquiry or recognise questions
that could be investigated scientifically in a given context. This competency requires a knowledge of the key features of a scientific
investigation – for example, what things should be measured, what variables should be changed or controlled, or what action
should be taken so that accurate and precise data can be collected. It requires an ability to evaluate the quality of data, which, in
turn, depends on recognising that data are not always completely accurate. It also requires the ability to determine whether an
investigation is driven by an underlying theoretical premise or, alternatively, whether it seeks to determine patterns.

A scientifically literate person should also be able to recognise the significance of previous research when judging the value
of any given scientific enquiry. Such knowledge is needed to situate the work and judge the importance of any possible outcomes.
For example, knowing that the search for a malaria vaccine has been an ongoing programme of scientific research for several
decades, and given the number of people who are killed by malarial infections, any findings that suggested a vaccine would be
achievable would be of substantial significance.

Moreover, students need to understand the importance of developing a sceptical attitude towards all media reports in science.
They need to recognise that all research builds on previous work, that the findings of any one study are always subject to uncertainty,
and that the study may be biased by the sources of funding. This competency requires students to possess both procedural and
epistemic knowledge but may also draw on their content knowledge of science, to varying degrees.

The higher cognitive demand required to evaluate and design scientific enquiry means that this competency is generally
above Level 1c and attained only to a limited extent by Level 1b students. More detailed descriptions of this competency for levels
1a and 1b are provided below for PISA-D.

95
 Evaluate and design scientific enquiry for Level 1b

Appraise simple scientific investigations, demonstrating the ability to:

• Carry out a simple scientific procedure when provided explicit instructions

• Determine which of several variables is the dependent variable in an investigation

Evaluate and design scientific enquiry for Level 1a

Appraise simple scientific investigations and recognise ways of addressing questions scientifically, demonstrating the ability to:

• Identify the question explored in a simple scientific study

• Distinguish a question that is possible to investigate scientifically from one that is not
• Evaluate if one way of exploring a given question is scientifically appropriate
• Recognise appropriate measures for a scientific quantity (units appropriate for measuring)
• Identify a source of error in a measurement or a flaw in an experimental design

At Level 1b students can be required to:

• Determine which variables were changed, measured, or held constant when provided a description of a scientific
investigation.

• Identify the appropriate instrument or units to measure a quantity from a selection of different instruments or units.

At Level 1a students can be required to:

• Identify the question that is being answered in a simple scientific investigation in which only one factor is varied at a
time, for instance, by describing a study and then asking the student to explain what question is being answered.

• Identify which of several actions it might be best to undertake to answer a simple scientific question. For instance the
question of “Where do woodlice live?” is best answered by pattern seeking, identification using criteria or fair testing.

• Propose specific measurements that might be needed to answer a simple scientific question. For instance, a question
might ask which of several variables should be measured to investigate whether the length of a pendulum affects the
time of swing. Alternatively a question might ask which of several variables should be controlled when conducting a
simple investigation.

• From a list of several actions, identify which actions would reduce the error in an experiment. Such questions should be
assessed using partial credit scoring.

• Identify a variable (dependent and independent variables and controlled variable) in a simple scientific enquiry that
should be controlled or should be varied to answer a given question.

• Identify a simple flaw in an experimental design, e.g. a failure to control variables, taking a single measurement or
measuring the wrong factor.

However, the following requirements would be considered too advanced and beyond the scope of a Level 1 competency;
students would only be expected to attain partial credit on an item. Thus competency at this level would not require students to:

96
 • Evaluate multiple ways of exploring a given question scientifically.

• Evaluate multiple ways that are proposed to ensure the reliability of data in an investigation.

• Explain why some data might be anomalous.

• Given a phenomenon, generate questions for investigation.

Table 4.1 Desired distribution of items, by competency

Competency Percentage of items in PISA Percentage of items in

2015 PISA-D
Explain phenomena scientifically 40-50 40-50
Interpret data and evidence scientifically 30-40 30-40
Evaluate and design scientific enquiry 20-30 20-30

The desired distribution specifies the blueprint for the selection of items according to important aspects of the domain frameworks.
Item selection is based on the assessment design as well as item characteristics related to a number of framework aspects,
including competency, content, type of knowledge, and response formats, as well as consideration of the items’ psychometric
properties and appropriateness for this assessment. Following the assessment, the actual distributions of items across the
framework aspects will be described in relation to the desired distributions. The extent to which the item pool for the assessment
meets the framework specifications will be discussed in the technical report in the context of practical constraints in the item
selection process.

Scientific knowledge

Content knowledge

Given that only a sample of the content domain of science can be assessed in the PISA 2015 and PISA-D scientific literacy
assessment, clear criteria are used to guide the selection of the knowledge that is assessed. The criteria are applied to knowledge
from the major fields of physics, chemistry, biology, earth and space sciences, and require that the knowledge:

• has relevance to real-life situations

• represents an important scientific concept or major explanatory theory that has enduring utility

• is appropriate to the developmental level of 15-year-olds.

It is thus assumed that students have some knowledge and understanding of the major explanatory ideas and theories of
science, including an understanding of the history and scale of the universe, the particle model of matter, and the theory of
evolution by natural selection. These examples of major explanatory ideas are provided for illustrative purposes; there has been
no attempt to list comprehensively all the ideas and theories that might be considered fundamental for a scientifically literate
individual.

Figure 4.5 shows the content knowledge categories and examples selected by applying these criteria. Such knowledge is
required for understanding the natural world and for making sense of experiences in personal, local/national, and global contexts. The
framework uses the term “systems” instead of “sciences” in the descriptors of content knowledge. The intention is to convey the idea
that citizens have to understand concepts from the physical and life sciences, and earth and space sciences, and how they apply in
contexts where the elements of knowledge are interdependent or interdisciplinary. Things viewed as subsystems at one scale may be
viewed as whole systems at a smaller scale. For example, the circulatory system can be

97
seen as an entity in itself or as a subsystem of the human body; a molecule can be studied as a stable configuration of atoms but
also as a subsystem of a cell or a gas. Thus, applying scientific knowledge and exhibiting scientific competencies requires a
determination of which system and which boundaries apply in any particular context.

Figure 4.5 Knowledge of the content of science

Physical systems that require knowledge of:

• Structure of matter (e.g. particle model, bonds)

• Properties of matter (e.g. changes of state, thermal and electrical conductivity)

• Chemical changes of matter (e.g. chemical reactions, energy transfer, acids/bases)

• Motion and forces (e.g. velocity, friction) and action at a distance (e.g. magnetic, gravitational and electrostatic forces)

• Energy and its transformation (e.g. conservation, dissipation, chemical reactions)

• Interactions between energy and matter (e.g. light and radio waves, sound and seismic waves)

Living systems that require knowledge of:

• Cells (e.g. structures and function, DNA, plant and animal)

• The concept of an organism (e.g. unicellular and multicellular)

• Humans (e.g. health, nutrition, subsystems such as digestion, respiration, circulation, excretion, reproduction and their
relationship)

• Populations (e.g. species, evolution, biodiversity, genetic variation)

• Ecosystems (e.g. food chains, matter and energy flow)

• Biosphere (e.g. ecosystem services, sustainability)

Earth and space systems that require knowledge of:

• Structures of the Earth systems (e.g. lithosphere, atmosphere, hydrosphere)

• Energy in the Earth systems (e.g. sources, global climate)

• Change in Earth systems (e.g. plate tectonics, geochemical cycles, constructive and destructive forces)

• Earth’s history (e.g. fossils, origin and evolution)

• Earth in space (e.g. gravity, solar systems, galaxies)

• The history and scale of the universe and its history (e.g. light year, Big Bang theory)

Table 4.2 shows the desired distribution of items, by content of science, for PISA 2015 and PISA-D.

Table 4.2 Desired distribution of items, by content

System Percentage of items in PISA Percentage of items in

2015 PISA-D
Physical 36 36
Living 36 36
Earth and space 28 28
Total 100 100

98
Procedural knowledge

A fundamental goal of science is to generate explanatory accounts of the material world. Tentative explanatory accounts are
first developed and then tested through empirical enquiry. Empirical enquiry relies on certain well-established concepts, such as the
notion of dependent and independent variables, the control of variables, types of measurement, forms of error, methods of
minimising error, common patterns observed in data, and methods of presenting data.

It is this knowledge of the concepts and procedures that are essential for scientific enquiry that underpins the collection,
analysis and interpretation of scientific data. Such ideas form a body of procedural knowledge that has also been called
“concepts of evidence’ (Gott, Duggan and Roberts, 2008; Millar et al., 1995). One can think of procedural knowledge as
knowledge of the standard procedures scientists use to obtain reliable and valid data. Such knowledge is needed both to
undertake scientific enquiry and engage in critical reviews of the evidence that might be used to support particular claims. It is
expected, for instance, that students will know that scientific knowledge has differing degrees of certainty associated with it, and
so can explain why there is a difference between the confidence associated with measurements of the speed of light (which has
been measured many times with ever more accurate instrumentation) and measurements of fish stocks in the North Atlantic or
the mountain lion population in California. The examples listed in Figure 4.6 convey the general features of procedural
knowledge that may be tested.

Figure 4.6. PISA 2015 and PISA-D procedural knowledge

Procedural knowledge

• The concept of variables, including dependent, independent and control variables;

• Concepts of measurement e.g. quantitative (measurements), qualitative (observations), the use of a scale, categorical and
continuous variables.

• Ways of assessing and minimising uncertainty, such as repeating and averaging measurements.

• Mechanisms to ensure the replicability (closeness of agreement between repeated measures of the same quantity) and
accuracy of data (the closeness of agreement between a measured quantity and a true value of the measure).

• Common ways of abstracting and representing data using tables, graphs and charts, and using them appropriately.

• The control-of-variables strategy and its role in experimental design or the use of randomised controlled trials to avoid
confounded findings and identify possible causal mechanisms.

• The nature of an appropriate design for a given scientific question, e.g. experimental, field-based or pattern-seeking.

Epistemic knowledge

Epistemic knowledge refers to an understanding of the role of specific constructs and defining features essential to the
process of knowledge building in science (Duschl, 2007). Those who have such knowledge can explain, with examples, the
distinction between a scientific theory and a hypothesis or a scientific fact and an observation. They know that models, whether
representational, abstract or mathematical, are a key feature of science, and that such models are like maps rather than accurate
pictures of the material world. These students can recognise that any particle model of matter is an idealised representation of
matter and can explain how the Bohr model is a limited model of what we know about the atom and its constituent parts. They
recognise that the concept of a “theory” as used in science is not the same as the notion of a “theory” in everyday language,
where it is used as a synonym for a “guess” or a

99
“hunch”. Procedural knowledge is required to explain what is meant by the control-of-variables strategy; epistemic knowledge is
required to explain why the use of the control-of-variables strategy or the replication of measurements is central to establishing
knowledge in science.

Scientifically literate individuals also understand that scientists draw on data to advance claims to knowledge, and that
argument is a commonplace feature of science. In particular, they know that some arguments in science are
hypothetico-deductive (e.g. Copernicus’ argument for the heliocentric system), some are inductive (the conservation of energy),
and some are an inference to the best explanation (Darwin’s theory of evolution or Wegener’s argument for moving continents).
They also understand the role and significance of peer review as the mechanism that the scientific community has established for
testing claims to new knowledge. As such, epistemic knowledge provides a rationale for the procedures and practices in which
scientists engage, a knowledge of the structures and defining features that guide scientific enquiry, and the foundation for the
basis of belief in the claims that science makes about the natural world.

Figure 4.7 represents what are considered to be the major features of epistemic knowledge necessary for scientific literacy.

Figure 4.7 PISA 2015 and PISA-D epistemic knowledge

Epistemic knowledge

The constructs and defining features of science. That is:

• The nature of scientific observations, facts, hypotheses, models and theories.

• The purpose and goals of science (to produce explanations of the natural world) as distinguished from technology (to
produce an optimal solution to human need), and what constitutes a scientific or technological question and appropriate
data.

• The values of science, e.g. a commitment to publication, objectivity and the elimination of bias.

• The nature of reasoning used in science, e.g. deductive, inductive, inference to the best explanation (abductive), analogical
and model-based.

The role of these constructs and features in justifying the knowledge produced by science. That is:

• How scientific claims are supported by data and reasoning in science.

• The function of different forms of empirical enquiry in establishing knowledge, their goal (to test explanatory hypotheses or
identify patterns) and their design (observation, controlled
experiments, correlational studies).

• How measurement error affects the degree of confidence in scientific knowledge.

• The use and role of physical, system and abstract models and their limits.

• The role of collaboration and critique, and how peer review helps to establish confidence in scientific claims.

• The role of scientific knowledge, along with other forms of knowledge, in identifying and addressing societal and
technological issues.

Epistemic knowledge is most likely to be tested pragmatically in a context where a student is required to interpret and answer
a question that requires some of this type of knowledge rather than assessing directly whether they understand the features
detailed in Figure 4.7. For example, students may be asked to identify whether the conclusions are justified by the data, or what
piece of evidence best supports the hypothesis advanced in an item and explain why.

Table 4.3 describes the desired distribution of items by type of knowledge for PISA 2015 and PISAD .

100
 Table 4.3 Desired distribution of items, by type of knowledge

Knowledge Percentage of items in PISA Percentage of items in

2015 PISA-D
Content 54-66 54-66
Procedural 19-31 19-31
Epistemic 10-22 10-22

The desired balance, by percentage of items, among the three knowledge components – content, procedural and epistemic –
for PISA 2015 and PISA-D is shown in Table 4.4. 1

Table 4.4 Desired distribution of items for knowledge

Knowledge types Percentage of items in PISA Percentage of items in

2015 PISA-D
Total over systems (physical, li ving, earth and space)
Content 54-66 54-66
Procedural 19- 31 19- 31
Epistemic 10-22 10-22
Total over knowledge types 100 100

Assessing scientific literacy

Cognitive demand

A key new feature of the PISA 2015 framework that will also be used in PISA-D is the definition of levels of cognitive demand
within the assessment of scientific literacy and across all three competencies of the framework. In assessment frameworks, item
difficulty, which is empirically derived, is often confused with cognitive demand. Empirical item difficulty is estimated from the
proportion of test-takers who solve the item correctly, and thus assesses the amount of knowledge held by the test-taker
population, whereas cognitive demand refers to the type of mental processes required (Davis and Buckendahl, 2011). Care needs
to be taken to ensure that the depth of knowledge required, i.e. the cognitive demand test items, is understood explicitly by the item
developers and users of the PISA framework. For instance, an item can have high difficulty because the knowledge it is testing is
not well known, but the cognitive demand is simply recall. Conversely, an item can be cognitively demanding because it requires
the individual to relate and evaluate many items of knowledge – each of which is easily recalled. Thus, not only should the PISA
test instrument discriminate in terms of performance between easier and harder test items, the test also needs to provide
information on how students across the ability range can deal with problems at different levels of cognitive demand (Brookhart and
Nitko, 2011).

The competencies are articulated using a range of terms defining cognitive demand through the use of verbs such as
“recognise”, “interpret”, “analyse” and “evaluate”. However, in themselves these verbs do not necessarily indicate a hierarchical
order of difficulty that is dependent on the level of knowledge required to answer any item. Various classifications of cognitive
demand schemes have been developed and evaluated since Bloom's Taxonomy was first published (Bloom, 1956). These have
been largely based on categorisations of knowledge types and associated cognitive processes that are used to describe
educational objectives or assessment tasks.

Bloom’s revised Taxonomy (Anderson and Krathwohl, 2001) identifies four categories of knowledge
– factual, conceptual, procedural and meta-cognitive. This categorisation considers these forms of knowledge to be
hierarchical and distinct from the six categories of performance used in Bloom’s first taxonomy – remembering, understanding,
applying, analysing, evaluating and creating. In Anderson and

101
Krathwohl’s framework, these two dimensions are now seen to be independent of each other, allowing for lower levels of knowledge
to be crossed with higher order skills, and vice versa.

A similar framework is offered by Marzano and Kendall's Taxonomy (2007), which also provides a two-dimensional framework
based on the relationship between how mental processes are ordered and the type of knowledge required. The use of mental
processes is seen as a consequence of a need to engage with a task with meta-cognitive strategies that define potential
approaches to solving problems. The cognitive system then uses either retrieval, comprehension, analysis or knowledge utilisation.
Marzano and Kendall divide the knowledge domain into three types of knowledge, information, mental procedures and
psychomotor, compared to the four categories in Bloom's revised Taxonomy. Marzano and Kendall argue that their taxonomy is an
improvement upon Bloom’s Taxonomy because it offers a model of how humans actually think rather than simply an organising
framework.

A different approach is offered by Ford and Wargo (2012), who offer a framework for scaffolding dialogue as a way of
considering cognitive demand. Their framework uses four levels that build on each other: recall, explain, juxtapose and evaluate.
Although this framework has not been specifically designed for assessment purposes, it has many similarities to the PISA 2015
definition of scientific literacy and the need to make more explicit references to such demands in the knowledge and competencies.

Another schema can be found in the framework based on Depth of Knowledge developed by Webb (1997) specifically to
address the disparity between assessments and the expectations of student learning. For Webb, levels of depth can be determined
by taking into account the complexity of both the content and the task required. His schema consists of four major categories: level 1
(recall), level 2 (using skills and/or conceptual knowledge), level 3 (strategic thinking) and level 4 (extended thinking). Each category
is populated with a large number of verbs that can be used to describe cognitive processes. Some of these appear at more than one
level. This framework offers a more holistic view of learning and assessment tasks and requires an analysis of both the content and
cognitive process demanded by any task. Webb’s Depth of Knowledge (DOK) approach is a simpler but more operational version of
the SOLO Taxonomy (Biggs and Collis, 1982) which describes a continuum of student understanding through five distinct stages of
prestructural, unistructural, multistructural, relational and extended abstract understanding.

All the frameworks described briefly above have served to develop the knowledge and competencies in the PISA 2015 and
PISA-D Framework s . In drawing up such a framework, it is recognised that there are challenges in developing test items based on a
cognitive hierarchy. The three main challenges are that:

a) Too much effort is made to fit test items into particular cognitive frameworks, which can lead
to poorly developed items.

b) Intended items (with frameworks defining rigorous, cognitively demanding goals) may differ
from actual items (which may operationalise the standard in a much less cognitively demanding way).

c) Without a well-defined and understood cognitive framework, item writing and development
often focuses on item difficulty and uses a limited range of cognitive processes and knowledge types, which are
then only described and interpreted post hoc, rather than building from a theory of increasing competency.

The approach taken in this framework is to use an adapted version of Webb’s Depth of Knowledge grid (Webb, 1997)
alongside the desired knowledge and competencies. As the competencies are the central feature of the framework, the cognitive
framework needs to assess and report on them across the student ability range. Webb’s Depth of Knowledge Levels offer a
taxonomy for cognitive demand that requires items to identify both the cognitive demand from the verbal cues that are used, e.g.
analyse, arrange, compare, and the expectations of the depth of knowledge required.

102
 Figure 4.8 PISA 2015 and PISA-D Framework for Cognitive Demand

The grid in Figure 4.8 provides a framework for mapping items against the two dimensions of knowledge and competencies. In
addition, each item can also be mapped using a third dimension based on a depth-of-knowledge taxonomy. This provides a means
of operationalising cognitive demand as each item can be categorised as making demands that are:

• Low
Carry out a one-step procedure, for example recall a fact, term, principle or concept, or locate a single point of
information from a graph or table.

• Medium
Use and apply conceptual knowledge to describe or explain phenomena, select appropriate procedures involving two or
more steps, organise/display data, interpret or use simple data sets or graphs.

• High
Analyse complex information or data; synthesise or evaluate evidence; justify; reason, given various sources; develop a
plan or sequence of steps to approach a problem.

Table 4.5. shows the real distribution of items by depth of knowledge for PISA 2015 (there was no desired
distribution specified for the depth of knowledge categories). Since the PISA-D assessment design calls for a greater proportion
of items measuring the lower end of the scale, this criterion will presumably affect the distribution of items across the three
categories of depth of knowledge. Compared to the distribution of items in the PISA 2015 assessment, there will likely be a
greater proportion of items classified as ‘Low’ or ‘Medium’ depth of knowledge than in the ‘High’ category in the PISA-D
assessment.

103
 Table 4.5 Distribution of items by depth of knowledge

Depth of knowledge Percentage of items in PISA Percentage of items in

2015 PISA-D

Low 8 Not yet available

Medium 30 Not yet available

High 61 Not yet available

Total 100 100

Items that merely require recall of one piece of information make low cognitive demands, even if the knowledge itself might be
quite complex. In contrast, items that require recall of more than one piece of knowledge, and require a comparison and evaluation
of the competing merits of their relevance would be seen as having high cognitive demand. The difficulty of any item, therefore, is a
combination both of the degree of complexity and range of knowledge it requires, and the cognitive operations that are required to
process the item.

Therefore, the factors that determine the demand of items assessing science achievement include:

• The number and degree of complexity of elements of knowledge demanded by the item.

• The level of familiarity and prior knowledge that students may have of the content, procedural and epistemic
knowledge involved.

• The cognitive operation required by the item, e.g. recall, analysis, evaluation.

• The extent to which forming a response is dependent on models or abstract scientific ideas.

This four-factor approach allows for a broader measure of scientific literacy across a wider range of student ability.
Categorising the cognitive processes required for the competencies that form the basis of scientific literacy together with a
consideration of the depth of knowledge required offers a model for assessing the level of demand of individual items. In addition,
the relative simplicity of the approach offers a way to minimise the problems encountered in applying such frameworks. The use
of this cognitive framework also facilitates the development of an a priori definition of the descriptive parameters of the reporting
proficiency scales (see Figure 4.10).

Test characteristics

Figure 4.9 is a variation of Figure 4.2 that presents the basic components of the PISA framework for the 2015 scientific literacy
assessment in a way that can be used to relate the framework with the structure and the content of assessment units. This may be
used as a tool both to plan assessment exercises and to study the results of standard assessment exercises. As a starting point to
construct assessment units, it shows the need to consider the contexts that will serve as stimulus material, the competencies required
to respond to the questions or issues, the knowledge central to the exercise, and the cognitive demand.

104
 Figure 4.9 A tool for constructing and analysing assessment units and items

A test unit is defined by specific stimulus material, which may be a brief written passage, or text accompanying a table, chart,
graph or diagram. In units created for PISA 2015, the stimulus material may also include non-static stimulus material, such as
animations and interactive simulations. The items are a set of independently scored questions of various types, as illustrated by the
examples already discussed. Further examples can be found at the PISA website ( www.oecd.org/pisa/ ).

PISA uses this unit structure to facilitate the use of contexts that are as realistic as possible, reflecting the complexity of
real-life situations, while making efficient use of testing time. Using situations about which several questions can be posed, rather
than asking separate questions about a larger number of different situations, reduces the overall time required for a student to
become familiar with the material in each question. However, the need to make each score point independent of others within a unit
needs to be taken into account. It is also necessary to recognise that, because this approach reduces the number of different
assessment contexts, it is important to ensure that there is an adequate range of contexts so that bias due to the choice of contexts
is minimised.

PISA 2015 test units require the use of all three scientific competencies and draw on all three forms of science knowledge. In
most cases, each test unit assesses multiple competencies and knowledge categories. Individual items, however, assess only one form
of knowledge and one competency.

The need for students to read texts in order to understand and answer written questions on scientific literacy raises an issue of
the level of reading literacy that are required. Stimulus material and questions use language that is as clear, simple and brief, and as
syntactically simplified as possible while still conveying the appropriate meaning. The number of concepts introduced per paragraph
are limited. Questions within the domain of science that assess reading or mathematical literacy are avoided.

In PISA-D, for a better measurement of items at proficiency levels 1 and 2, items should only make the lower-level cognitive
demands of recalling or recognizing appropriate knowledge, understanding the meaning of texts, applying that knowledge, and
very simple data analysis drawing on either factual knowledge or foundational concepts (Anderson and Krathwohl, 2001; Webb
1997). In addition, whatever proficiency level they measure, items and language should wherever possible be simplified to reduce
the cognitive load demanded of students (Sweller, 1994).

Response formats

Three classes of items will be used to assess the competencies and scientific knowledge identified in the framework. About
one-third of the items will be in each of the three classes in PISA 2015 and PISA-D :

• simple multiple choice: items calling for

105
 • selection of a single response from four options

• selection of a “hot spot”, an answer that is a selectable element within a graphic or text.

• complex multiple choice: items calling for

• responses to a series of related “Yes/No” questions that are treated for scoring as a single item (the typical format
in 2006)

• selection of more than one response from a list

• constructed response: items calling for written or drawn responses.

• Constructed-response items in scientific literacy typically call for a written response ranging from a phrase to a
short paragraph (e.g. two to four sentences of explanation). A small number of constructed-response items call
for drawing (e.g. a graph or diagram). In a computer-based assessment, any such items is supported by simple
drawing editors that are specific to the response required.

Reporting proficiency in science in PISA-D

To achieve the aims of PISA, scales must be developed to measure student proficiency. A descriptive scale of levels of
competence needs to be based on a theory of how the competence develops, not just on a post-hoc interpretation of what items of
increasing difficulty seem to be measuring. The 2015 draft framework therefore defined explicitly the parameters of increasing
competence and progression, allowing item developers to design items representing this growth in ability (Kane, 2006; Mislevy and
Haertel,
2006). Although comparability with the 2006 scale descriptors (OECD, 2007) has been maximised in order to enable trend
analyses, the new elements of the 2015 framework, such as depth of knowledge, have also been incorporated. The scales have
also been extended by the addition of a level “1b” to specifically address and provide a description of students at the lowest level of
ability who demonstrate minimal scientific literacy and would previously not have been included in the reporting scales. The scales
for the 2015 Framework therefore propose more detailed and more specific descriptors of the levels of scientific literacy, and not an
entirely different model as shown in Figure 4.10. For PISA-D, the table describing the performance level expectations has been
extended to include a new Level 1c.

The proposed level descriptors are based on the PISA 2015 Results Volume I (OECD, 2016) and offer
a qualitative description of the differences between levels of performance. The factors used to determine the demand of items
assessing science achievement that have been incorporated into this outline of the proficiency scales include:

• The number and degree of complexity of elements of knowledge demanded by the item

• The level of familiarity and prior knowledge that students may have of the content, procedural and epistemic
knowledge involved

• The cognitive operation required by the item, e.g. recall, analysis, evaluation

• The extent to which forming a response is dependent on models or abstract scientific ideas

106
 Figure 4.10 Summary description of the eight levels of science proficiency in PISA-D

Level Lower Percentage of Percentage of Descriptor

score students across students across 23
limit OECD countries at middle- and
each proficiency low-income
level in PISA 2015 countries at each
proficiency level in
PISA 2015

At Level 6, students can draw on a range of interrelated scientific ideas and concepts from the physical,
life and earth and space sciences and use content, procedural and epistemic knowledge in order to
offer explanatory hypotheses of novel scientific phenomena, events and processes or to make
predictions. In interpreting data and evidence, they are able to discriminate between relevant and
irrelevant information and can draw on knowledge external to the normal school curriculum. They can
6 708 1.1% 0.1%
distinguish between arguments that are based on scientific evidence and theory and those based on
other considerations. Level 6 students can evaluate competing designs of complex experiments, field
studies or simulations and justify their choices.

At Level 5, students can use abstract scientific ideas or concepts to explain unfamiliar and more
complex phenomena, events and processes involving multiple causal links. They are able to apply
more sophisticated epistemic knowledge to evaluate alternative experimental designs and justify their
choices and use theoretical knowledge to interpret information or make predictions. Level 5 students
5 633 6.7% 0.8%
can evaluate ways of exploring a given question scientifically and identify limitations in interpretations
of data sets including sources and the effects of uncertainty in scientific data.

At Level 4, students can use more complex or more abstract content knowledge, which is either
provided or recalled, to construct explanations of more complex or less familiar events and processes.
They can conduct experiments involving two or more independent variables in a constrained context.
They are able to justify an experimental design, drawing on elements of procedural and epistemic
4 559 19.0% 5.0%
knowledge. Level 4 students can interpret data drawn from a moderately complex data set or less
familiar context, draw appropriate conclusions that go beyond the data and provide justifications for
their choices.

At Level 3, students can draw upon moderately complex content knowledge to identify or construct
explanations of familiar phenomena. In less familiar or more complex situations, they can construct
explanations with relevant cueing or support. They can draw on elements of procedural or epistemic
3 484 27.2% 15.5% knowledge to carry out a simple experiment in a constrained context. Level 3 students are able to
distinguish between scientific and non-scientific issues and identify the evidence supporting a
scientific claim.

At Level 2, students are able to draw on everyday content knowledge and basic procedural knowledge
to identify an appropriate scientific explanation, interpret data, and identify the question being
addressed in a simple experimental design. They can use basic or everyday scientific knowledge to
2 410 24.8% 28.3%
identify a valid conclusion from a simple data set. Level 2 students demonstrate basic epistemic
knowledge by being able to identify questions that could be investigated scientifically.

At Level 1a, students are able to use basic or everyday content and procedural knowledge to recognise
or identify explanations of simple scientific phenomenon. With support, they can undertake structured
scientific enquiries with no more than two variables. They are able to identify simple causal or
1a 335 15.7% 31.5% correlational relationships and interpret graphical and visual data that require a low level of cognitive
demand. Level 1a students can select the best scientific explanation for given data in familiar personal,
local and global contexts.

At Level 1b, students can use basic or everyday scientific knowledge to recognise aspects of familiar or
simple phenomenon. They are able to identify simple patterns in data, recognise basic scientific terms
1b 261 4.9% 15.7%
and follow explicit instructions to carry out a scientific procedure.

0.6%
3.1%
(percentage of
(percentage of
students At Level 1c, students can use an element of basic or everyday scientific fact to identify a correct
1c * students scoring
scoring below scientific explanation.
below Level 1b in
Level 1b in PISA
PISA 2015)
2015)

Note: * Will be available after the main study.

107
 Items at the newly created Level 1c should be familiar to students’ everyday lives or draw on ideas that permeate
contemporary culture. All items should, whenever possible, attempt to draw on macroscopic phenomena that students may have
experienced or observed or learned in the curriculum. Equally important is to have all items formulated in the simplest possible
language. Sentences should be short and direct. Lengthy sentences, compound nouns, and complex phrasing should be avoided.
Vocabulary used in the items must be carefully examined to avoid the use of academic language and, wherever possible, simplify
the scientific language. Wherever possible, the cognitive processing should only require one-step reasoning and use simple data or
descriptions.

In order to enter Level 1c performance a student must have the foundational skills required to:

• Read and comprehend simple sentences

• Use numeracy and basic computation

• Understand the basic components of tables and graphs

• Apply the basic procedures of scientific enquiry

• Interpret simple data sets

Testing scientific literacy in the out-of-school population

The scientific literacy domain is not included in the out-of-school PISA-D assessment due to practical reasons related with the
instrument. On one hand, the total test allows a maximum of 50 minutes, which is not enough time to include an assessment of three
domains, so it became necessary to choose only two. In deciding, it was taken into account that reading and mathematics literacy
are considered as foundational skills and necessary for the development of scientific literacy skills. In addition, the target population
was also considered. Science is the domain with the strongest link to school, so the least appropriate for a group that by definition
has been exposed to less formal schooling. Thus, it was decided that reading and mathematics were the domains that should be
included in the assessment for out-of-school 14 to 16 yearolds.

Examples of items for addressing the extended PISA-D science framework

The following items illustrate the types of questions that can be asked of students at Level 1.

Sample item 1: Death of Bee Colonies – Level 1A

Scientists believe there are many causes why bee colonies die. One possibility is an insecticide that may cause bees to lose their
sense of direction outside the hive.

Researchers tested whether this insecticide leads to the death of bee colonies. In a number of hives, they added the insecticide to the
food of the bees for three weeks. All of the hives were given the same amount of food but the food had different amounts of
insecticide in. Some hives were not given any insecticide.

None of the colonies died immediately. However, by week 14, some of the hives were empty. The following graph records the
results:

108
What did the experiment test? Choose one of the responses below:

A. The experiment tested the effect of insecticide on the resistance of bees over time.
B. The experiment tested the effect of varying amounts of insecticide on the number of empty hives
found over time.
C. The experiment tested the effect of the death of bee colonies on the resistance of bees to
insecticide.
D. The experiment tested the effect of the death of bee colonies on the concentration of the
insecticide.

Framework Categories 2015 Framework Extension

Competency Evaluate and Design Scientific Enquiry

Full Description of Competency Students must identify a question being asked in a simple scientific enquiry where
only one factor is being varied at a time

Knowledge Evaluate and Design Scientific Enquiry

Context Local/National-Environmental Quality

Cognitive Demand Low

Item format Multiple Choice

109
Sample item 2: Fossil Fuels – Level 1A

Many power plants burn fuel that gives off carbon dioxide. Adding more carbon dioxide into the air has a negative impact on the
climate. There are different strategies to reduce the amount of carbon dioxide added to the air.

One such strategy is to burn biofuels instead of fossil fuels.

Another strategy involves trapping some of the carbon dioxide emitted by power plants and storing it deep underground or in the
ocean. This strategy is called carbon capture.

Using biofuels does not have the same effect on levels of carbon dioxide in the air as using fossil fuels. Which of the statements
below best explains why?

A. Biofuels do not release carbon dioxide when they burn.

B. Plants used for biofuels absorb carbon dioxide from the air as they grow.
C. As they burn, biofuels take in carbon dioxide from the air.
D. The carbon dioxide released by power plants using biofuels has different chemical properties than
that released by power plants using fossil fuels.

Framework Categories 2015 Framework Extension

Competency Explain Phenomena Scientifically

Full Description of Competency Identify scientific concept appropriate to explain a

phenomenon

Knowledge-System Content-Physical

Context Global Natural Resources

Cognitive Demand Low

Item format Multiple Choice

110
Sample Item 3: Meteoroids and Craters - Level 1b

Framework Categories 2015 Framework Extension

Competency Interpret Data and Evidence Scientifically

Full Description of Competency Given a simple set of observations, draw a correct inference

Knowledge Earth and Space

Context Global

Cognitive Demand Low

Item format Multiple Choice

111
Sample item 4: Groundwater Extraction and Earthquakes-Level 1b

The map above shows the levels of stress in Earth’s crust in a region. Four locations within the region are identified as A, B, C, and D.
Each location is on or near a fault that runs through the region.

Which of the following correctly rank risk of earthquake from lowest to highest? Choose one of the answers below:

A. D, B, A, C
B. A, C, B, D
C. D, B, C, A
D. A, D, C, B

Framework Categories 2015 Framework Extension

Competency Interpret Data and Evidence Scientifically

Full Description of Competency Given a simple chart identify which conclusion is correct

Knowledge-System Procedural

Context Local/National-Hazards

Cognitive Demand Low

Item format Multiple Choice

112
 NOTES

1. Because Science was the main domain in PISA 2015 this was reported separately for the three systems (physical, living, and
earth and space). Since there are no subscales reported for PISA-D, the desired distribution for knowledge types is the total over
all systems.

113
 REFERENCES

American Association for the Advancement of Science. (1989). Science for all Americans: A Project 2061
report on literacy goals in science, mathematics and technology. Washington, DC: Author.

Anderson, L. W., & Krathwohl, D. R. (2001). A taxonomy for learning, teaching and assessing: A revision
of Bloom's taxonomy of educational objectives. London, England: Longman.

Bandura, A. (1997). Self-efficacy: The exercise of control. New York: W. H. Freeman and Company.

Biggs, J., & Collis, K. (1982). Evaluating the quality of learning: The SOLO taxonomy. New York, NY:
Academic Press.

Bloom, B. S. (Ed.). (1956). Taxonomy of educational objectives: The classification of educational goals
Handbook 1, Cognitive domain. London, England: Longmans.

Bøe, M. V., Henriksen, E. K., Lyons, T., & Schreiner, C. (2011). Participation in science and technology:
Young people and achievement-related choices in late-modern societies. Studies in Science Education, 47(1),
37-72.

Bogner, F., & Wiseman, M. (1999). Toward measuring adolescent environmental perception. European
Psychologist 4(3).

Brookhart, S. M., & Nitko, A. J. (2011). Strategies for constructing assessments of higher order thinking
skills. In G. Schraw & D. R. Robinson (Eds.), Assessment of higher order thinking skills (pp. 327-
359). Charlotte, NC: IAP.

Confederacion de Sociedades Cientificas de España. (2011). Informe ENCIENDE. Enseñanza de las

Ciencias en la Didáctica Escolar para edades tempranas en España. Madrid, Spain: Author.

Davis, S. L., & Buckendahl, C. W. (2011). Incorporating cognitive demand in credentialing examinations.
In G. Schraw & D. R. Robinson (Eds.), Assessment of higher order thinking skills (pp. 327-359). Charlotte, NC: IAP.

Drechsel, B., Carstensen, C., & Prenzel, M. (2011). The role of content and context in PISA interest scales
– A study of the embedded interest items in the PISA 2006 science assessment. International Journal of Science Education,
33(1), 73-95.

Duschl, R. (2007). Science education in three-part harmony: Balancing conceptual, epistemic and social
learning goals. Review of Research in Education, 32, 268-291.

Eagles, P. F. J., & Demare, R. (1999). Factors influencing children’s environmental attitudes. Journal of
Environmental Education, 30(4).

European Commission. (1995). White paper on education and training: Teaching and learning—towards
the learning society. Luxembourg: Office for Official Publications in European Countries.

Fensham, P. (1985). Science for all: A reflective essay. Journal of Curriculum Studies, 17(4), 415-435.

114
Ford, M. J., & Wargo, B. M. (2012). Dialogic framing of scientific content for conceptual and epistemic
understanding. Science Education, 96(3), 369-391.

Gardner, P. L. (1975). Attitudes to science. Studies in Science Education, 2, 1-41.

Gott, R., Duggan, S., & Roberts, R. (2008). Concepts of evidence. University of Durham. Downloaded
from www.dur.ac.uk/rosalyn.roberts/Evidence/cofev.htm , Sept 23, 2012.

Kane, M. (2006). Validation. In R L. Brennan (Ed.), Educational measurement (4th ed.; pp. 17-64).
Westport, CT: American Council on Education, Praeger Publishers.

Klopfer, L. E. (1976). A structure for the affective domain in relation to science education. Science
Education, 60(3), 299-312.

Kuhn, D. (2010). Teaching and learning science as argument. [10.1002/sce.20395]. Science Education,
94(5), 810-824.

Lederman, N. G. (2006). Nature of science: Past, present and future. In S. Abell & N. G. Lederman (Eds.),
Handbook of research on science education (pp. 831-879). Mahwah, NJ: Lawrence Erlbaum.

Longino, H. E. (1990). Science as social knowledge. Princeton, NJ: Princeton University Press.

Marzano, R. J., & Kendall, J. S. (2007). The new taxonomy of educational objectives. Thousand Oaks,
CA: Corwin Press.

Millar, R. (2006). Twenty first century science: Insights from the design and implementation of a scientific
literacy approach in school science. International Journal of Science Education, 28(13), 1499-1521.

Millar, R., Lubben, F., Gott, R., & Duggan, S. (1995). Investigating in the school science laboratory:
Conceptual and procedural knowledge and their influence on performance. Research Papers in Education, 9(2),
207-248.

Millar, R., & Osborne, J. F. (Eds.). (1998). Beyond 2000: Science education for the future. London,
England: King's College.

Mislevy, R. J., & Haertel, G. D. (2006). Implications of evidence-centered design for educational testing.
Educational Measurement: Issues and Practice, 25(4), 6–20.

National Academy of Science. (1995). National science education standards. Washington, DC: National
Academy Press.

National Research Council. (2000). Inquiry and the national science education standards. Washington DC:
National Academy Press.

National Research Council. (2012). A framework for K-12 science education: Practices, crosscutting
concepts, and core ideas. Washington, DC: Committee on a Conceptual Framework for New K-12 Science Education
Standards, Board on Science Education, Division of Behavioral and Social Sciences and Education.

OECD. (1999). Measuring student knowledge and skills: A new framework for assessment. Paris, France:
Author.

115
OECD. (2000). Measuring student knowledge and skills: The PISA 2000 assessment of reading,
mathematical and scientific literacy. Paris, France: Author.

OECD. (2003). The PISA 2003 assessment framework: Mathematics, reading, science and problem solving
knowledge and skills. Paris, France: Author.

OECD. (2006). The PISA 2006 assessment framework for science, reading and mathematics. Paris, France:
Author.

OECD. (2007). PISA 2006: Science competencies for tomorrow's world: Volume 1: Analysis. Paris,
France: Author.

OECD. (2009). PISA 2006 technical report. Paris, France: Author.

OECD. (2016). PISA 2015 Results (Volume I): Excellence and Equity in Education, OECD Publishing,
Paris. DOI: http://dx.doi.org/10.1787/9789264266490-en

Ormerod, M. B., & Duckworth, D. (1975). Pupils’ attitudes to science. Slough, England: National
Foundation for Education Research.

Osborne, J. F. (2010). Arguing to learn in science: The role of collaborative, critical discourse. Science,
328, 463-466.

Osborne, J. F., Simon, S., & Collins, S. (2003). Attitudes towards science: A review of the literature and its
implications. International Journal of Science Education, 25(9), 1049–1079.

Rickinson, M. (2001). Learners and learning in environmental education: A critical review of the evidence.
Environmental Education Research, 7(3).

Rychen, D. S., & Salganik, L. H. (Eds.). (2003). Definition and selection of key competencies: Executive
summary. Göttingen, Germany: Hogrefe.

Schibeci, R. A. (1984). Attitudes to Science: An update. Studies in Science Education, 11, 26-59.

Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland
(KMK) (2005). Bildungsstandards im Fach Biologie für den Mittleren Schulabschluss (Jahrgangsstufe 10).

Tai, R. H., Qi Liu, C., Maltese, A. V., & Fan, X. (2006). Planning early for careers in science. Science,
312, 1143-1145.

Taiwan Ministry of Education. (1999). Curriculum outlines for ‘Nature science and living technology’.
Taipei, Taiwan: Ministry of Education.

UNESCO (2003). UNESCO and the international decade of education for sustainable development (2005–
2015). UNESCO International Science, Technology and Environmental Education Newsletter, Vol.
XXVIII, no. 1–2. Paris, France: UNESCO.

UNESCO (2005). International implementation scheme for the UN decade of education for sustainable
development. Paris, France: UNESCO.

116
United Nations Environment Programme. (2012). 21 issues for the 21st century: Result of the UNEP
foresight process on emerging environmental issues. Nairobi, Kenya: Author.

Weaver, A. (2002), Determinants of environmental attitudes: A five-country comparison. International

Journal of Sociology, 32(1).

Webb, N. L. (1997). Criteria for alignment of expectations and assessments in mathematics and science
education. Washington, DC: Council of Chief State School Officers and National Institute for Science Education
Research Monograph.

Wiliam, D. (2010). What counts as evidence of educational achievement? The role of constructs in the
pursuit of equity in assessment. Review of Research in Education, 34, 254-284.

Ziman, J. (1979). Reliable knowledge. Cambridge, England: Cambridge University Press.

117
CHAPTER 5. PISA FOR DEVELOPMENT CONTEXTUAL QUESTIONNAIRES FRAMEWORK

This chapter describes the framework and core content for the PISA for Development (PISA-D) contextual
questionnaires, for both the school-based assessment and the out-of-school assessment. The chapter presents
the content and aims of the instruments for students who were in school and in grade 7 or higher at the time of
the assessment, who were in school but in a grade lower than grade 7, and also for youth who were out of school.
The chapter also describes the teacher and school questionnaires that are used for the school-based assessment
and the instruments used for the out-of-school population: a questionnaire for the parents or the person most
knowledgeable about the youth, and a household observation questionnaire.

118
 As noted in Chapter 1, the focus of the PISA contextual questionnaires is on understanding how measures of student
performance at age 15 are related to various aspects of school and classroom practice as well as to other related factors, such
as economic, social and cultural context. The PISA-D questionnaires include these aspects and also cover a broader set of
well-being outcomes and risk and protective factors, taking into account differences in life experiences of children in middle- and
lowincome countries, both of those who are in school and those who are not.

The PISA-D questionnaire framework uses the Educational Prosperity model (Willms, 2015) as an over-arching
framework. It incorporates lessons from other international studies, inputs from the participating countries and many elements
from the PISA questionnaires.

A review of the experience of middle- and low-income countries participating in PISA 2000 to 2015 shows that the PISA
questionnaires do not always capture the most relevant contextual factors for these countries. For example, questions about
school infrastructure and teaching and learning materials are related to student performance in high-income countries, but are
often unrelated to differences in performance in middle-income countries (Lockheed, Bruer and Shadrova, 2015). In addition, the
measure of economic, social and cultural status used by PISA does not adequately capture lower levels of parental education and
income or the risk factors associated with poverty that are more frequent in low-income countries.

PISA-D enhances the contextual questionnaires to better measure factors that are more strongly related to student
performance in middle- and low-income countries while maintaining comparability with PISA on a set of core indicators. For
example, the questionnaires collect more detailed data on students’ language of instruction at school, language at home and their
socioeconomic status, as measured by home possessions and parents’ education, literacy skills and participation in the labour
force. The questionnaires also identify additional indicators of educational success beyond performance on the PISA test. These
indicators are measured, for example, through questions about educational attainment, health and wellbeing, and student
engagement in learning.

In addition to assessing student performance, PISA-D introduces an out-of-school assessment to collect data on youth that
have not been eligible to sit the PISA school-based test. The out-of-school instruments gather much of the same data as the
school-based instruments as well as data on barriers to school attendance and factors that may impede students’ progress through
school.

The PISA-D school-based instruments include student, teacher and school questionnaires. In contrast, PISA distributes
questionnaires to students and schools and offers countries four optional questionnaires, including a computer familiarity
questionnaire, an educational career questionnaire, a parent questionnaire and a teacher questionnaire. The PISA-D instruments for
the out-of-school population include a youth interview, a questionnaire for their parents or the person most knowledgeable about the
youth, and a household observation questionnaire that is completed by an interviewer.

This chapter presents the framework for the PISA-D contextual questionnaires. The first section defines the core of the
PISA-D contextual assessment, explaining 1) the Education Prosperity framework that shaped the enhancements made to the
contextual questionnaires for PISA-D, 2) the model for assessing equality and equity, 3) the approach to including the
out-of-school population, 4) the potential of PISA-D to inform education policy, and 5) the selection and organisation of the core
content of the PISAD instruments. The second section of this chapter explores the full breadth of policy issues to be covered,
structured in 14 modules and one complementary category, and explains how the modules have been implemented in PISA-D.
The second section also includes a comparison of the policy issues covered by PISA-D and PISA, highlighting similarities and
differences.

119
Defining the core of contextual assessment in PISA-D

The PISA-D framework is an adapted version of the Education Prosperity approach. It takes into account the goals of
PISA-D, lessons from past PISA cycles and other international studies, recommendations from research literature and the
priorities of the participating countries. This overarching framework maintains that policy makers in middle- and low-income
countries need to be informed principally on the Prosperity Outcomes, Foundations for Success and student-level demographic
factors for monitoring performance of their education system and assessing equality and equity of outcomes that are described in
this document. In addition, the questionnaires include several teacher, school and system-level background measures that provide
a context for the Prosperity Outcomes. The framework also proposes an approach for equality and equity for both the in-school
and out-of-school populations. This framework is discussed below, specifying the constructs and measures and providing
arguments that support the choice of core content for PISA-D.

Educational Prosperity

The PISA-D questionnaire framework draws on the Educational Prosperity model (Willms, 2015) that follows a life-course
approach to assessing children’s outcomes, considering the effects of several factors over a student or youth’s lifetime. The
capacity of a society to develop young peoples’ literacy skills and well-being depends on its ability to provide the right kinds of
human and material resources to support healthy development from conception to childhood and beyond. Educational Prosperity
refers to the success of the education system in developing children’s cognitive skills and their social, emotional, physical and
spiritual well-being. The term “prosperity” simply refers to the condition of experiencing success or thriving (Willms, 2015).

Educational Prosperity, as applied in PISA-D, considers development from conception to adolescence as the result of
individuals’ personal characteristics, their actions, their culture and the contexts in which they live (Mayer, 2009). It identifies a set of
key outcomes, called “Prosperity Outcomes”, for each of six stages of development, and a set of family, institutional and community
factors, called “Foundations for Success”, which drive these outcomes. The stages, which are described in Annex B, are prenatal,
early development (ages 0 to 2), pre-primary (ages 3 to 5), early primary (ages 6 to 9), late primary and lower secondary (ages 10
to 15), and upper secondary (ages 16 to 18). Both the school-based and out-of-school components of PISA-D focus on the
Prosperity Outcomes and the Foundations for Success for the fifth stage of the Educational Prosperity framework, while the
out-of-school component also collects some data on earlier stages.

The approach has three explicit links to national and local policy and practice. First, it allows countries to align data collection
with explicit goals at all levels of the system, from the Minister and his or her staff to the front-line educators, students and parents.
The challenge for countries is to maintain a focus on the alignment between data and policy goals. Second, the data collected with
this approach has immediate implications for educational policies that involve decisions about the allocation of resources and its
implications for equity. Countries will have reliable data on a wide set of prosperity outcomes as well as the foundation factors.
With reliable data on differences across groups in outcomes and access to foundations countries will be able to determine whether
poor and marginalised populations are given equal opportunities to succeed at school and beyond. Third, the data collected will
enable countries to set targets consistent with the UN Education 2030 framework and monitor progress towards them. Many policy
issues in middle- and low-income countries concern long-standing structural features of schools, such as the incidence of grade
repetition or the choice of the language of instruction for minority groups. Making progress in reaching the Education 2030 goals
will require confronting these issues on the basis of solid evidence on how these structural features of education systems relate to
the achievement and well-being of students on average and of specific groups at risk. Comparable data from other countries facing
similar

120
policy changes can also facilitate the identification of policy options that can yield the desired results. With the Education
Prosperity framework, PISA-D provides an infrastructure for analysing relationships between trends in outcomes and policy
changes. The descriptive evidence from PISA usefully complements experimental policy evaluations and more qualitative
assessments of the implementation of policy reforms.

Prosperity Outcomes

The framework for PISA-D conceptualises success as something cumulative, emphasising that development at age 15 is a
product of children’s environments and experiences since birth. The PISA contextual questionnaires framework emphasises
understanding how measures of student performance, attitudes and beliefs at age 15 are related to various aspects of student
background, and school and classroom practice. The PISA-D framework proposes a wider set of cognitive and non-cognitive
outcomes and foundation factors to better measure the life experiences of in and out-of-school of children in middleand
low-income countries. The Prosperity Outcomes include measures of academic performance, educational attainment,
engagement at school, and health and well-being.

The Educational Prosperity model was adapted to fit with the needs of the PISA-D participating countries, taking account
of analysis of the results of middle- and low-income countries in PISA questionnaires, reviews of relevant international and
regional studies and consultation with representatives of the participating countries.

The Educational Prosperity model distinguishes four processes that determine how success accumulates from one stage
to the next: biological embedding, Foundations for Success, cumulative development and institutional selection. The
Foundations for Success are described below, while a description of the other processes is available in Annex C, and a
description of the effects associated with each of the four processes along the Educational Prosperity pathway is available in
Annex D.

Foundations for Success

The Foundations for Success are factors that affect children’s outcomes at each stage of development. For example, from age
2 to age 5, children’s development is affected by parents’ engagement with the child and intra-family relations as well as by the
quality of care at home and in early childhood centres. They are considered to be universal in that they are necessary conditions for
success at each stage of development. The selection of the foundation factors was based on theory and a large body of research
that provides evidence of the effects of each factor on student outcomes.

Three additional criteria were considered in determining which factors to include as Foundations for Success: the factors
must be potent, proximal, and pervasive. A “potent” factor is one that has a strong correlation with an outcome or set of outcomes.
For example, the quality of classroom instruction is arguably the most important driver of student outcomes during the schooling
period (Anderson, 2004; Rosenshine, 2010, Kyriakides, Christoforou and Charalambous, 2013; Creemers and Kyriakides, 2006).

A “proximal” factor is close to the outcome in the sense that its relationship with the outcome is not mediated through some
other factor. For example, the quality of classroom instruction has a direct, positive relationship on student outcomes, without any
intervening factors. “Principal leadership” is also an important factor and several studies have shown that it is correlated with
student outcomes. However, it is not proximal because the “effects” of principal leadership are mediated through the
school-related foundations factors, namely inclusive context, quality instruction, learning time and material resources. Thus, a
jurisdiction may allocate resources to improving principal leadership, but this would only result in improved outcomes if it leads to
improvements in quality instruction, increased learning time, and so on.

121
 A “pervasive” factor is positively correlated with a wide range of outcomes, although the strength of the correlation may vary
with each outcome. For example, the effects associated with an “inclusive school context” not only affect student’s academic
performance, but also their educational attainment, their health and well-being, and their social, institutional and intellectual
engagement.

Equality and equity

The terms “equality” and “equity” have been used by researchers and policy makers to denote several different concepts.
These include, for example, the achievement gap between low- and high-status groups, differences in access to schooling, and the
segregation of students into different types of schools and school programmes. Willms (2011) argued in the OECD’s 2011 Education
at a Glance ( OECD, 2011), that equality and equity should be defined as separate concepts and measured with a consistent
approach.

PISA-D defines inequality as differences among sub-populations in the distribution of their educational outcomes, while the
measure of equity, a normative concept, requires also an assessment of fairness based on the observed differences among
sub-populations in their access to the resources and schooling processes that affect schooling outcomes. Equality is therefore
measured by the differences among groups in the distribution of Prosperity Outcomes, which are performance, attainment, health
and well-being and student engagement. Equity, on the other hand, also has to do with ensuring that all children benefit in the
same way from school, and requires measures of whether children from different groups have fair access to the five foundations of
success, which are inclusive environments, quality instruction, learning time, material resources and family and community support.
Unfair access to the foundation factors increases inequalities in outcomes. For example, not providing the right level of support to
disadvantaged children to attend schools regularly will inevitably result in socioeconomic inequalities in attainment and
performance. Equity is a normative concept that is best assessed in relative terms – by comparing the levels of inequality in
outcomes and in access to the foundations of success to those achieved by other countries, in comparable circumstances.

If we consider equality and equity in reading performance for students from differing socioeconomic backgrounds, for
example, equality is assessed by examining the relationship between reading performance and socioeconomic status, while equity
is assessed by also examining the relationship between socioeconomic status and the foundation factors that are considered core
to learning how to read.

The PISA-D questionnaires collect information on several demographic factors that impact equality and equity and are relevant
to both the in-school and the out-of-school populations. The framework focuses in particular on gender, disability, immigrant
background, socioeconomic status and poverty and language. This model is characterised in Figure 5.1 (modified from Willms,
Tramonte, Duarte and Bos, 2012).

122
 Figure 5.1 A model for assessing equality and equity

When discussing equity it is important to always consider fairness and equality together with the need for quality. For
example, a risk of policies focusing on equality without quality would be an education system where students from all social
backgrounds have access to equally low quality education and perform equally poorly.

Assessing the out-of-school population

The first benchmark to assess equality and equity is whether all children are given the same opportunities to be in school
and stay at school to acquire the skills they need for life. Some of the unique features of PISA-D are that it gathers information on
how many youth are in school at ages 14 to 16 and the reasons why some youth have left school at that age. It also allows for the
combination of data for the in-school and out-of-school populations.

PISA is aimed at 15-year-old students that are in grade 7 or above, leaving a large population of middle- and low-income
countries out of the assessment. PISA-D incorporates these youth in the assessment through the out-of-school component which
is conducted through a household survey. This component assesses 14-16-year-olds that are either not in school, or in school
but in grade 6 or below, which represents approximately one-third of youth in the participating countries. Through its two
components PISA-D includes students who are in school (those in grade 7 or above through the schoolbased component, those
who are in grade 6 or below through the out-of-school component) and youth who are not in school. The youth that are
out-of-school includes those that have never enrolled and those with some schooling, ranging from a few months to several
years.

Box 5.1 Definition of access to schooling

The term “access” in education generally refers to whether schooling is freely available to children in a jurisdiction. The emphasis is on the provision
of schooling, and it is incumbent upon governments and educational institutions to ensure that schools are available locally and that educational
policies do not create barriers for attending school. In practical terms, however, “access” is gauged simply by measures of school attendance (e.g.
UNESCO
Institute for Statistics, 2006). This approach takes into account not only the supply of schooling, but also the cultural,

123
social, religious, political and economic factors that affect the demand for schooling. In striving to improve school attendance, several governments
have turned to demand-side initiatives, such as the provision of free meals, cash transfers to families which are conditional upon their child’s
attendance, and vouchers designed to increase school choice (Patrinos, 2007). Some definitions of “access” also incorporate the quality of school
provision and in some cases are attached to a desired outcome. For example, the UN Sustainable Development Goal 4.1 states: “By 2030, ensure
that all girls and boys complete free, equitable and quality primary and secondary education leading to relevant and effective learning outcomes”
(United Nations, 2016). The statement calls not only for equal opportunities to attend school, but also equality of outcomes (relevant and effective
learning outcomes) and equity of school provision (quality primary and secondary education).

The Educational Prosperity model and the approach taken in PISA-D identify two types of access: access as an outcome, which depends on
both demand and supply and measured by attainment and learning outcomes; and access as a condition for success, which depends on supply and
measured by the Foundations for Success related to the quality of schooling.

The PISA-D framework includes four key aspects of school quality: inclusive environments, quality instruction, learning
time and material resources. A prerequisite to benefit from all school-related Foundations for Success is to be in school;
therefore, access pertains to equity: do children from various sub-populations differ in their access to inclusive environments,
quality instruction, learning time and material resources?

The PISA-D framework also includes academic performance and educational attainment, which refers to the extent to which
children participate in school at various stages of their life-course and whether they are successful in making transitions from one
stage of schooling to the next. Thus, access also has to do with equality: do children from various sub-populations differ in their
distribution of attainment and performance?

PISA-D also includes measures pertaining to the barriers to attending school for out-of-school children, which can help
discern the extent to which access is predominantly a supply- or demand-side issue for each country.

In general, out-of-school youth tend to be poorer than those attending school – many of them are in the lowest quintile. They
are mainly from rural settings, and more likely to be girls. Youth with disabilities and those belonging to minority ethnic, linguistic
or religious groups are also more likely to be out-ofschool. All of these factors are usually confounded with poverty (Carr-Hill,
2015).

PISA-D’s approach to measuring ESCS and poverty is especially important for the out-of-school population, as poverty is one
of the main reasons, if not the main reason, for being out of school. As with the questionnaire for students attending school, the
youth interview includes an extensive set of questions relevant to poverty and language spoken at home. The youth interview also
includes several questions relevant to the demand for schooling, including questions about their work experience and support for
their family as well as questions concerning perceived barriers to schooling.

The life-course approach assumes children’s attainment is determined by various events and family circumstances that
begin at conception and continue through to age 15. The questionnaire completed by the person most knowledgeable (PMK)
about the youth asks about some elements of the early life-course foundations, such as the nutrition and health of the biological
mother during pregnancy, and the engagement of the family during the preschool years. This provides data about the first four
stages of development relevant to the accumulated effects of these factors on school attendance at ages 14 to 16.

124
Selecting and organising the core content

The instruments

The questionnaires for the school students include: a student questionnaire with 49 questions, a teacher questionnaire with
33 questions administered to the majority of teachers in each school, and a school questionnaire with 28 questions.

The field trial for the out-of-school youth include: an in-person interview with 102 questions, a questionnaire with 22
questions for the person most knowledgeable about the youth, and a household observation schedule completed by the
interviewer. At the time of this publication the data for the out-ofschool component main study was not yet available.

The distribution of questions across the elements of the Educational Prosperity model is shown in Figure 5.2, with red dots
indicating questions that can be linked with PISA 2015 and blue dots indicating questions that are new to PISA-D.

125
 Figure 5.2 Questions in the PISA-D questionnaires

PISA-D Field Trial - Number of Questions

Strand B Strand B Strand B Strand C Strand C Strand C

Person Most
Student Teacher School Youth
Knowledgeable Household
Prosperity
Outcomes

Educational ••••••••••
•••• ••••
Attainment •••••••••

Health and wellbeing

•••• ••••

Student
• •• •
engagement

Foundations for
Success Inclusive
environments
•••• •• •••• •••

Quality instruction ••• • •

Learning time ••••• • •• ••

Material resources •••••• •••••

Family and
• • •• • •
community support

Demographic factors to
assess
equity and equality

Gender • •

Language spoken at
•••• ••• ••••••
home

Disability • ••

Immigrant status • ••••

• • • • • • • • • •
• • • • • • • • • •
••••••••
Socioeconomic status • • • • • • • • • •
•••••••••• •• •••••••••• ••••••••••
and poverty • • • • • • • • • •
••
• • • • • • • • • •
• • • • • • • •

•••••••••• ••••••••
Context factors •••••• •••••••
••••••••• ••••

126
 Total 49 33 28 102 22 17

Note: In the case of the out-of-school component, the instruments described correspond to the field trial because the main study instruments were not available at the
time of this publication.

The questions for the PISA-D questionnaires were drawn mainly from PISA and complemented with questions from other
international and regional studies or that were developed in consultation with the PISA-D participating countries. The criteria for
selecting and developing items included the fit with the Educational Prosperity model, relevance as confirmed through analysis of
the results of middle- and lowincome countries in PISA questionnaires and reviews of relevant international and regional studies
and consultation with representatives of the participating countries as well as maintaining links with PISA

2015.

All the items in the questionnaires were tested in a field trial. Questions were not retained for the main study if their
psychometric properties (e.g. reliability, unidimensionality, completion of items and consistency across cultures) were inadequate.
When there were two versions of a particular question, only one question was retained. To be retained for the main study
questions also had to meet at least one of the following conditions:

1. Relevant to the measurement of ESCS common to PISA 2015 or new measures required to
extend the scale to lower values of ESCS and to collect information on poverty;

2. Required for a measure of material resources;

3. Relevant for comparability with PISA 2015;

4. Required for coverage of all domains of the Educational Prosperity framework; or

5. Relevant to the classification of students into the five key sub-populations.

Core content for assessing Educational Prosperity

As noted above, the conceptual framework for the PISA-D questionnaires includes fourteen modules. These include four
Prosperity Outcomes, five Foundations for Success, and five student demographic background factors relevant to assessing equality
and equity (see Figure 5.2 above). It also includes a set of questions grouped under the category of context information that
complement the variables included in the Educational Prosperity approach.

The content of these modules is discussed below.

Assessing Prosperity Outcomes

As noted above, Prosperity Outcomes include: academic performance, educational attainment, health and well-being and student
engagement. These are each described briefly below.

Academic performance

The measures of academic performance in PISA-D are based on the assessments of performance in reading, mathematics and
science. The frameworks for these assessments are described in Chapters 2, 3 and 4.

127
Educational attainment

Educational attainment – how far students go in school – is a key outcome for middle- and lowincome countries that sits
alongside measures of academic performance. Many of the key policy questions of middle- and low-income countries pertain to
students’ and families’ demand for education, which depends on students’ early learning experiences and their perceptions of
its relevance, quality and longterm benefits. In many middle- and low-income countries, students do not attend school beyond
the primary level.

A salient feature of middle- and low-income countries is that the distribution of 15-year-old students stretches well below
grades 9 or 10. Another salient feature is that even though formally education might be technically compulsory, a large proportion of
15-year-old youth have dropped out. The primary aim in measuring attainment is to gain a better understanding of students’
pathways to their current level of attainment and to also understand the reason for abandoning school, when this has happened.

Information about attainment is collected through all PISA-D questionnaires except for the teacher questionnaire and the
household observations questionnaire, which is answered by the out-of-school youth interviewer. Like PISA, the PISA-D student
and out-of-school youth questionnaires include questions about grade, early childhood education attendance and grade repetition;
and the school questionnaire asks about grade retention policies and academic support services. PISA-D explores educational
attainment in greater depth than PISA by asking students and out-of-school youth about long-term absenteeism and reasons for
missing school for long periods. PISA-D further investigates the experience of out-of-school youth with questions about whether
they work, their profession, hours worked per week, and wage or salary. Also unique to PISA-D, the parent questionnaire asks
about their educational expectations for the out-of-school youth and factors that could hinder the youth’s completion of compulsory
education. 1

The approach used by PISA-D to assess educational attainment is inspired by the framework set out by UIS and UNICEF
(2005), which have been used to characterise the entire school-age population. In PISA-D they will be used to describe the levels
of attainment of age 15 youth who are in school, and 1416-year-olds who are out of school.

Data from students’ current grade level, or in the case of out-of-school students the last grade completed, as well as data
on students’ birthdate and information on grade repetition, will be used to construct an ordinal variable describing five levels of
attainment:

1. On-track. Students are in their expected grade, given their birthdate; that is, they started school
on schedule and have not repeated a grade. In most cases, this would be grades 9 or 10.

2. One year below expected grade. These students have usually repeated a grade or were out of
school for a prolonged period. They would typically be in grades 8 or 9.

3. Two or three years below expected grade. In most cases, these students have repeated two or
three grades, but some may have started late or simply faded in and out of school for a year. They would typically be in
grades 7 or 8.

4. Enrolled in school but are four or five grades below the expected grade. In most cases, these
students will have repeated more than three times, but some may have started late or simply faded in and out of school
for one year or more. They would typically be in grades 5 or 6.

5. Not attending school, and their highest grade attained was five or more years below
expected grade. These students are not attending school, and their highest grade attained was

128
 below grade 5 or A subcategory might have to be added to include children who are currently not attending school but who
finalised grades 7, 8 or 9.

For those with attainment levels 2 through 5 the analyses will be extended to discern the stage of schooling when they fell
off-track by one or more grades.

Health and well-being

The concept of well-being is very broad, and typically refers to the quality of people’s life. Diener (2006) defines subjective
well-being as “an umbrella term for the different valuations people make regarding their lives, the events happening to them, their
bodies and minds, and the circumstances in which they live” (p. 400). PISA 2015 uses the following definition of well-being, that
extends beyond students’ subjective appraisal of their life quality: “Students’ well-being refers to the psychological, cognitive,
social and physical functioning and capabilities that students need to live a happy and fulfilling life” (OECD,

2017).

This module is based on the New South Wales Department of Education and Communities framework for student well-being
(New South Wales Department of Education and Communities, 2015) that considers the following five domains: emotional,
physical, social, cognitive, and spiritual well-being. The health and wellbeing module focuses on the first two of these domains,
while social and cognitive wellbeing are included in other modules. Spiritual wellbeing is not included in the PISA-D framework.

Emotional well-being is the affective component of well-being – people’s reactions to their experiences. It can be positive,
such as people’s overall rating of their happiness as used in the World Happiness Report (Helliwell, Layard, and Sachs, 2012),
or negative, such as people’s feelings of anxiety, depression, or fear. As in PISA, the PISA-D student and out-of-school youth
questionnaires ask about general life satisfaction. PISA-D includes measures of anxiety and depression and questions about
their physical and mental health during the past year.

Children’s physical health is the key element of physical well-being. It is particularly important in middle- and low-income
countries as children’s health in these countries is more often compromised in ways that affect their educational outcomes due to
hunger; physical and emotional abuse; chronic illnesses such as asthma, bronchitis, diabetes or epilepsy; and acute illnesses that
cause children to miss school and fall behind (Carlson et al., 2008; MacLellan, Taylor and Wood, 2008). While PISA collects
information on students’ nutrition and physical activity, PISA-D asks about respondents’ overall perception of their health and about
their mental health during the past year.

Social well-being pertains to students’ sense of belonging and their connectedness to others. In this framework, it is covered
by elements of the student engagement and inclusive environment modules, primarily focusing on students’ sense of belonging at
school and their connectedness to others at school.

One of the elements of cognitive wellbeing is academic performance. In this framework this is covered as the main
element of academic performance.

Box 5.2 Well-being in PISA 2015 and PISA-D

According to the Framework for the Analysis of Student Well-Being in the PISA 2015 Study (Borgonovi and Pál,
2016), the five dimensions of students’ well-being captured in PISA 2015 are:

Cognitive well-being: The cognitive dimension of students’ well-being refers to the skills and foundations students have to participate effectively in
today's society, as lifelong learners, effective workers and engaged citizens. It
comprises students’ proficiency in academic subjects, their ability to collaborate with others to solve problems and their

129
sense of mastery of school subjects. In PISA 2015 it is assessed as the level of subject-specific skills and competencies students have acquired, that
are measured through the PISA tests, and their self-beliefs in those subjects, that are measured through the questionnaires.

In PISA-D this is assessed through the tests and included in the academic performance module, which is considered a Prosperity Outcome.

Psychological well-being. The psychological dimension of students’ well-being includes students’ evaluations and views about life, their
engagement with school, and the goals and ambitions they have for their future. In PISA 2015 it includes students’ self-reported psychological
functioning, and covers life satisfaction – students’ overall evaluation about life in general – and three aspects of education related to psychological
functioning: 1) the goal setting and emotions related to students ’ career and educational expectations; 2) achievement motivation related to students’
appreciation of the educational opportunities they have, an engagement with learning and an interest in acquiring knowledge; and 3) test and learning
anxiety.

As in PISA, the PISA-D student and out-of-school youth questionnaires ask about general life satisfaction, and PISA-D includes a measure of
emotional distress (severe anxiety and depression) and questions about their physical and mental health during the past year in the health and
well-being module. Concerning education related elements, PISAD explores educational attainment in greater depth than PISA by asking students
and out-of-school youth about longterm absenteeism and reasons for missing school for long periods. PISA-D further investigates the experience of
outof-school youth with questions about whether they work, their profession, hours worked per week, and wage or salary. The out-of-school
component also gathers information about youth’s engagement in reading and writing literacy activities, such as how often they read a newspaper,
magazine or book, write a text or email, etc.

Physical well-being: The physical dimension of students’ well-being refers to students’ health status, engagement in physical exercise and the
adoption of healthy eating habits. PISA 2015 covers two aspects of students’ lifestyles: physical activity and eating habits.

PISA-D focuses on physical health and assesses it as part of the module health and well-being.

Social well-being: The social dimension of students’ well-being refers to the quality of their social lives including their relationship with their family,
their peers and their teachers (positive or negative), and how they perceive their social life in school (positive or negative), and how they perceive their
social life in school. PISA 2015 measures students’ sense of belonging at schooland their relationships with their teachers, their peers and their
parents.

PISA-D assesses social well-being within the student engagement and inclusive environment modules, primarily focusing on students’ sense of
belonging at school and their connectedness to others at school.

Material well-being: Material resources make it possible for families to better provide for their children’s needs and for schools to support students’
learning and healthy development. Households who live in poverty find it difficult to ensure that their children have access to the educational and
cultural resources they need to thrive in school and to realise their potential. Material resources make it possible for families to better provide for their
children’s needs and for schools to support students’ learning and healthy development. Households who live in poverty find it difficult to ensure that
their children have access to the educational and cultural resources they need to thrive in school and to realise their potential. Research shows a
strong link between material well-being in childhood and different dimensions of wellbeing in adulthood. Providing adequate resources to children is
important not only because it is a pre-requisite for successful development but also because teenagers in poverty do not have adequate living and
learning conditions to fulfil their personal goals. PISA contains a rich set of information on the types of resources students have at home and, most
importantly, at school: human resources, material resources extracurricular activities.

PISA-D assesses material well-being through the socioeconomic status and poverty module and also through questions on material resources of
schools. In both cases it creates new questions to better address the needs of middle-income countries.

The PISA 2015 questionnaire design does not attempt to clearly articulate and identify input and outcome indicators for the five well-being
dimensions, so some dimensions focus on well-being inputs others on outcomes, without an integrated measurement approach. This is coherent with
PISA-D classifying some of the PISA 2015 wellbeing factors as Prosperity Outcomes, others as Foundations for Success, and others as demographic
factors related with equity and equality.

130
Student engagement

The PISA studies have examined students’ interest and motivation in reading, mathematics and science, and their
participation in activities related to the subject. For example, the OECD report, Reading for Change: Performance and Engagement
across Countries examined students’ motivation and interest in reading, and the time students spend reading for pleasure and
reading diverse materials (OECD, 2002). PISA has also considered engagement more broadly, to refer to students’ attitudes
towards schooling and their participation in school activities (Willms, 2003).

Several studies have considered engagement to be a predictor of educational performance and attainment, and there is
strong evidence that engagement is correlated with both performance and attainment (Willms, 2003). However, in PISA-D it is
considered an important outcome in its own right, situated as a Prosperity Outcome alongside performance and attainment. A
strong case can be made that the direction of causation is reversed (from performance to engagement) at certain stages of the
school system. For example, children who do not make a successful transition from learning-to-read to reading-tolearn are more
likely to become disaffected from school during the late primary and lower secondary years. Moreover, engagement is seen “as a disposition
towards learning, working with others and functioning in a social institution” (Willms, 2003, p. 8), and as such is a key Prosperity
Outcome that leads to life-long learning and the likelihood of becoming a productive member of society.

Like PISA, the PISA-D student and out-of-school youth questionnaires include a measure of institutional engagement,
providing information on general attitudes towards school and learning outcomes as well as attitudes towards learning activities.
Out-of-school youth are asked about student engagement based on their experience when attending school; and their parents are
asked about their attitudes towards education as well.

The out-of-school component also gathers information about youth’s engagement in reading and writing literacy activities,
such as how often they read a newspaper, magazine or book, write a text or email, etc.

Assessing the Foundation of Success

As noted earlier in this chapter, the Foundations for Success are factors that affect children’s outcomes at each stage of
development. They are considered to be universal in that they are necessary conditions for success at each stage of
development. The selection of the foundation factors for PISA-D was based on theory and a large body of research that provides
evidence of the effects of each factor on student outcomes. The factors selected for PISA-D are: inclusive environments, quality
instruction, learning time, material resources, and family and community support. These factors are each described briefly below.
Some of the elements included in each factor are core to the factor, while other elements can be considered as supporting
content.

Inclusive environments

Inclusive environments are classrooms, schools and broader communities that value and support inclusion. “Inclusion is a
process of addressing and responding to the diversity of needs of all learners through increasing participation in learning, cultures
and communities, and reducing exclusion within and from education. It involves changes and modifications in content, approaches,
structures and strategies, with a common vision which covers all children of the appropriate age range and a conviction that it is the
responsibility of the regular system to educate all children” (UNESCO, 2005, p. 13). UNESCO’s (2009) policy guidelines provide a
schema for measuring aspects of inclusion relevant to teachers’ and principals’ attitudes and values.

131
 Inclusive environments are places in which all students can succeed. All means learners across the categorical boundaries of
disability, social class, gender, ethnicity, national origin, sexual orientation and religion. Succeed means succeeding in terms of
learning, as well as in terms of physical, social, emotional and spiritual outcomes (Willms, 2009). The provision of inclusive
environments is a foundation for Educational Prosperity in middle- and low-income countries as it concerns the opportunities for
children with disabilities; children from ethnic, linguistic and religious minorities; and girls to have equal access to schooling and a
complete school experience, including opportunities to learn, engage in the social life of the school, and feel accepted by their
peers and teachers.

Inclusive classroom and school practices affect students’ sense of belonging at school, their participation in the social life of
the school and their opportunities to learn. A reason for abandoning school is negative attitudes and responses to diversity and a
failure to provide necessary accommodations to meet special learning needs. The metrics also needed to capture the attitudes and
practices of teachers and principals. Inclusion requires teachers to be ambassadors for inclusion in their community by embracing
and celebrating diversity, becoming skilled at meeting the needs of students with special needs and using new approaches to
assessing learning (Riehl, 2000). At the system level, inclusion is concerned with the extent to which students from different
sub-populations or ability are segregated into different schools or school programmes.

For the school-based component, PISA-D collects information on inclusion from students, teachers and school principals.
For the out-of-school component, it collects this information from the youth questionnaire, asking youth to describe their
experience when they attended school.

As in PISA, PISA-D asks students to report on their sense of belonging at school. PISA-D further explores school climate with
questions to students about the safety of their school, whether they feel safe at school and whether they have been sexually harassed
at school; out-of-school youth are asked these same questions based on their experiences when they attended school.

PISA-D asks teachers a set of questions about their attitudes and practices towards teaching students with low literacy levels.
Both PISA and PISA-D ask school principals about school policies concerning how students are admitted to the school and grouped
for instruction as well as about the diversity of the school. PISA-D also asks about their attitude towards grade retention.

Quality instruction

Quality of instruction is the most important driver of student performance, but arguably the most difficult to define and
measure. Anderson (2004) defined effective teachers as “those who achieve the goals they set for themselves or which they have
set for them by others (e.g. ministries of education, legislators and other government officials, school principals).” (p. 22). His
model assumes that teachers are aware of, understand and actively pursue goals; that they teach with a purpose – to facilitate
learning – material which they consider worthwhile; and that their goals are concerned directly or indirectly with student learning.
This perspective, that effective teachers are goal-oriented, is evident in virtually all of the contemporary models of effective
instruction (Coe, Aloisi, Higgins and Major, 2014).

The “delivery of the lesson” and “interacting with students” are at the centre of Anderson’s (2004) conceptual framework of
teacher effectiveness. Four other elements of his framework – standards, learning units, classroom climate and culture, and
classroom organisation and management – have effects that are mediated through lesson delivery and teacher-student
interactions. All six elements have direct effects on student learning and engagement. Teachers’ characteristics, including their
professional knowledge, expectations and leadership, and students’ characteristics, including their aptitudes, prior knowledge, and
attitudes and values, are positioned behind the six core elements of the framework. In the language of

132
Educational Prosperity presented above, they are distal factors that have their effects through the proximal core elements and thus
are included as contextual factors and not as a foundation for success in the PISA-D framework. This module is assessed through
questions to students, teachers and school principals and is not assessed for the out-of-school component. Similar to PISA, the
PISA-D student questionnaire includes measures on student-teacher interactions and assesses the classroom learning climate.
PISA-D adds new questions on lesson delivery to gather information on the structure of lessons and teaching practices in
mathematics lessons. PISA-D adds questions about their practices for teaching less able students. PISA-D also asks school principals
about teachers’ behaviours that could negatively impact on classroom climate.

Learning time

Learning time in middle- and low-income countries differs from that of high-income countries in several ways. In many cases,
children of middle- and low-income families start school at a later age, they miss many days of school during the primary school
period, and they are more likely to repeat grades. Many children work in part-time jobs outside the home from an early age.
Moreover, there appears to be considerable variation in class time devoted to the three core PISA subjects, and curriculum
coverage is not as deep. How learning time is measured in main PISA has changed through the cycles.

The school-based component of PISA-D captures learning time in and out of school. Similar to PISA, the PISA-D student
questionnaire asks about reasons for loss in learning time due to student truancy, though it extends this measure to collect
information about other reasons for missing school, such as being sick or having to look after others. PISA-D also collects
information on reasons for reduced teaching time and the time students take to travel from their home to school. PISA-D asks
teachers about the reasons they are absent and school principals about their policies regarding teacher absenteeism. PISA-D also
asks school principals about the reasons for and amount of instructional time lost during the last year, as does PISA. This module is
not assessed for the out-of-school component.

Material resources

Studies based on the Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación

(LLECE) data by Murillo and Román (2011) and Willms and Somers (2001) suggest that in middle- and low-income countries
school resources have substantial effects, even after taking into account the socioeconomic characteristics of students.

PISA-D’s school-based component used a schema set out by Murillo and Román (2011), which distinguishes between basic
services, didactic facilities and didactic resources:

• Basic services at the school include factors such as potable water, sewage services, bathrooms, electricity and
telephones.

• Didactic facilities refer to places other than the classroom, for teaching and learning. These include, for example,
school libraries, gymnasiums, art and music rooms, science laboratories, computer rooms and sports fields.

• Didactic resources can include very basic materials, such as textbooks and blackboards, through to computers in the
school, laptop computers for students and teachers, and quality books in the library.

Whereas PISA asks about principals’ perceptions of schools resources (lack or inadequate physical infrastructure, educational
material) and whether the school lacks resources and collects information on the availability of ICT resources and internet
connectivity, PISA-D questions to school principals focus on the

133
availability and condition of school infrastructure and facilities as well as the availability of textbooks. The questions in PISA-D also
distinguish between the availability of school resources and teachers’ use of school resources.

Family and community support

The nature and extent of family and community support differs among countries, not only because of cultural differences, but
also due to the large number of children living in poverty in many of the partner countries. PISA questionnaires include questions
pertaining to family’s static cultural capital, about the relations between parents and children, and between parents and other
parents.

In consultations with countries participating in PISA-D there was a demand for questions about community support. Small
and Newman (2001) describe two over-arching connections between community and families that are relevant for developing
measures of community support. One considers the socialisation of children, with neighbourhoods moulding children into certain
behavioural patterns. The other pertains to the access of resources that support parents in raising their children. This could
include, for example, literacy programmes, recreation facilities and programmes, or interventions to combat drug use and
violence. In PISA there have been traditionally few questions about the communities or neighbourhoods of students, though PISA
2015 includes a question to school principals about whether they identify and integrate resources from the community to
strengthen school programmes, family practices, and student learning and development.

For PISA-D, the community comprises local neighbourhoods nested within the school catchment area, which is defined with
geographic boundaries or by the area from which the school draws its students

PISA-D asks both students and out-of-school youth about the types of communication they have with their parents or someone
in their family, whereas PISA asks about the student-parent relationship in terms of emotional warmth, stimulation, etc.

PISA-D asks teachers about families’ involvement at school and asks school principals about how parent and community
members or organisations contribute to the school, whereas PISA gathers information about school policies for parental
involvement. PISA-D also asks parents of out-of-school youth about the type of support they provided to the youth in their early
years, while PISA countries that distribute the optional parent questionnaire ask parents of PISA students about the support they
provided to their children at the beginning of primary education and at age 15. PISA also asks parents about their participation in
school-related activities and whether there are factors that have prevented them from participating in the activities.

Student-level demographic factors for assessing equality and equity

PISA-D focuses on the following measures pertaining to students’ and families’ backgrounds that are particularly relevant
for low- and middle-income countries: gender, disability, immigrant status, socioeconomic status and poverty, and the language
spoken at home and the language of instruction at school. Though ethnicity is a variable related with being out-of-school, it was
not included as one of the five demographic factors because it is embedded within poverty, immigrant status, language spoken at
home and language of instruction. Similarly, living in a rural area is not included as a core demographic factor for assessing
equality and equity, as living in a rural area versus a larger community is confounded with student-level demographic factors. The
school-level questionnaire includes a variable pertaining to the size of the community, which can be used to determine rural status
of the school. This question is also part of the questionnaire for person most knowledgeable in the out-of-school component and
can be used to determine rural status at the youth level. Therefore, one can discern whether levels of performance

134
associated with rural status and other community types are attributable to student-level demographic factors and various
foundation factors, such as material resources or quality instruction.

For each category, a single dichotomous variable was constructed which can be used to provide summary indices of equality
and equity. However, broader measures were also developed to assess equality and equity in more detail, such as an extension to
the PISA measure of socioeconomic status. The measures are described below.

Gender

Like PISA, the PISA-D question on gender simply asks students and youth whether they are male or female. PISA-D does not
capture data about gender identity or sexual orientation.

Disability

PISA-D is the first PISA study to include self-reported measures pertaining to disability. The questions follow contemporary
approaches to disability, which emphasise the extent to which a disability limits people in doing certain activities in a particular
environment. For example, students are asked about whether a disability limited their participation in school activities, while
out-of-school youth are asked about whether they have a disability or medical condition that limits their daily activities.
Out-of-school youth who report having a disability are also asked about the nature of the disability.

Immigrant status

The measure of immigrant status is based on a long-standing approach used in PISA which is based on questions of students
and youth about where they and their parents were born.

Socioeconomic status and poverty

Socioeconomic status (SES) refers to the position of a person or family in a hierarchical social structure, based on their
access to, or control over, wealth, prestige and power (Mueller and Parcel, 1981; Dutton and Levine, 1989). Numerous studies
have shown that a person’s position on an SES hierarchy is related to a wide range of outcomes pertaining to their physical,
economic and social well-being. SES affects people’s educational opportunities, their access to certain labour markets, their
exposure to health and crime risks, and their lifetime earnings.

The literature on child development in middle- and low-income countries focuses mainly on the risk factors associated with
poverty, especially during the prenatal period and the early years. These include, for example, poor nutrition during pregnancy, a
lack of stimulation during the early years, and stressful living conditions.

The measure of SES in PISA, which is called the index of economic, social and cultural status (ESCS), does not
adequately capture lower levels of education and lower levels of income and wealth for the majority of students in middle- and
low-income countries. PISA-D will extend this measure to lower levels of SES, keeping the link with the PISA measure. PISA-D
will also gather specific information on poverty, and explore the possibility of developing a separate measure of it relevant to
Educational Prosperity.

The PISA-D field trial student and out-of-school youth questionnaires include a large number of questions pertaining to family
socioeconomic status and poverty, including the long-standing questions used in PISA which assess the highest educational level
of the parents, the highest occupational status of parents, and an index of home possessions, which has been adjusted to middle-
and low-income countries.

135
The questionnaire and interview also include new questions designed to capture youth’s experience of poverty, including
questions about material possessions, parents’ education and engagement in literacy activities, and more detailed information
about their parents’ occupation. Like PISA, information about school meals is collected through the PISA-D school questionnaire.

Poverty is expected to be a fundamental characteristic of the out-of-school population. Unique to PISA-D, parents provide
information about the out-of-school youth’s prenatal and early childhood living conditions; and the household observation
questionnaire includes questions about the youth’s housing and neighbourhood including questions that discern whether the
housing is in a rural or urban setting.

Language spoken at home and language of instruction

In several middle- and low-income countries, the students’ first language differs from the language of instruction at school.
Also, in some countries, the language of instruction during the primary grades, when children are learning to read, differs from the
official language of instruction after the third or fourth grade. A further issue, which is more difficult to capture with a survey, is that
in some schools, the teachers use the students’ native language, or some combination of the native language and the official
language of instruction.

PISA asks students, “What language do you speak at home most of the time?” This construct is extended for PISA-D in both
the school-based and out-of-school components to include questions about the language of instruction at school and the language
they first learnt to read. In addition, teachers are asked about which language they use during their lessons, as well as which
language they use when talking with students.

Context factors

For the in-school component the PISA-D school and teacher questionnaires also gather data on some teacher, school and
system-level background variables that are expected to help explain student outcomes. These variables were not included as one of
the previous modules because they are not directly linked to one of the modules, or are variables related to more than one modules,
or because are not universal, necessary, potent, proximal and pervasive to be included as one of the five foundations for success.
Some of the questions used to assess these variables come from PISA 2015 and others were created to fit the needs of middle- and
low-income countries.

Like PISA, PISA-D asks teachers about their age and sex, qualification, employment status, educational background, years
of experience and professional development activities. PISA-D gathers new information about whether the teacher teaches
multi-grade classrooms, holds multiple teaching jobs or works other jobs in addition to teaching, and a number of factors relevant
to their pre-service training, socioeconomic status, and health and well-being.

Like PISA, the PISA-D teacher questionnaire asks questions about school leadership at the school where they work and job
satisfaction. PISA-D adds a question about their satisfaction with specific aspects of their job, such as benefits and pay. Also unique
to PISA-D, the teacher questionnaire asks about the proportion of students in their class that lack the literacy and numeracy skills to
learn the curriculum.

School principals in both PISA and PISA-D are asked numerous questions on resources and management, including type of
school location community, number of students, average class size, school management and funding, as well as how many full-
and part-time teachers work at their school. PISA-D adds questions on school location and nearby hazards.

136
 As in PISA, the contextual information collected through the PISA-D questionnaires is complemented by system-level
data on contextual variables in educational systems. The system-level questionnaire used in PISA was adapted for use by
PISA-D countries, and both versions capture data on the structure of national programmes, national assessments and
examinations, instructional time, teacher training and salaries, educational finance (including enrolment), national accounts and
population data (UIS, 2016).

For the out-of-school component there is no data collected on teachers and school level background variables, however the
system-level data can provide relevant contextual information. Some background variables about the person who answers the person
most knowledgeable questionnaire is also collected.

NOTES

1. While PISA offers an optional parent questionnaire, it is distributed to the parents of students sitting the PISA test in school
and focuses on the parents’ perceptions of and involvement in their child’s school, their support for learning at home and
school choice; and it acquires information on basic characteristics of the early childhood education and care arrangements
of PISA participants, and reasons for attending or not attending early childhood education and care.

137
 REFERENCES

Anderson, L.W. (2004). Increasing teacher effectiveness ( 2nd ed). Paris: UNESCO International Institute
for Educational Planning.

Barker, D.J.P. (1994). The fetal origins of adult disease. Fetal and Maternal Medicine Review, 6, 71–80.

Barker, D.J.P. and Sultan, H. Y. (1995). Fetal programming of human disease. In M. A. Hanson, J. A. D.
Spencer and C. H. Rodeck (Ed.), The Fetus and Neonate, vol. 3, Growth, pp. 255-274. Cambridge: Cambridge University
Press.

Barr, R. G., Beek, P.J. and Calinoiu, N. (1999). Challenges to nonlinear modelling of infant emotion
regulation in real and developmental time. In G. J. P. Savelsbergh, H. van der Maas and P. van Geert (Eds.), Non-linear
developmental processes ( pp. 15-37). Amsterdam: Elsevier Science Publishers.

Barrington, B.L. and Hendricks, B. (1989). Differentiating characteristics of high school graduates,
dropouts and nongraduates. Journal of Educational Research, 82( 6), 309-319.

Bertram, T., Pascel, C., Bokhari, S., Gasper, M. and Holtermann, S. (2002). Early Excellence Centre Pilot
Programme second evaluation report 2000-2001 ( Research brief RB 361). London: DfES.

Borgonovi, F. and J. Pál (2016), A Framework for the Analysis of Student Well-Being in the PISA 2015
Study: Being 15 In 2015, OECD Education Working Papers, No. 140, OECD Publishing, Paris.
http://dx.doi.org/10.1787/5jlpszwghvvb-en

Boyce, W.T. and Kobor, M. S. (2015). Development and the epigenome: The ‘synapse’ of gene-
environment interplay. Developmental Science, 18( 1), 1-23.

Boyce, W.T., Sokolowski, M. B. and Robinson, G. E. (2012). Toward a new biology of social adversity.
PNAS, 109( 2), 17143-48.

Burchinal, M.R., Howes, C. and Kontos, S. (2002). Structural predictors of child-care quality in child-care
homes. Early Childhood Research Quarterly, 17, 87-105.

Burchinal, M.R., Peisner-Feinberg, E., Bryant, D. M. and Clifford, R. M. (2000). Children’s social and
cognitive development and child-care quality: Testing for differential associations related to poverty, gender or ethnicity. Applied
Developmental Science, 4, 149-165.

Burns, T., Köster, F., and Fuster, M. (2016), Education Governance in Action: Learning from Case
Studies, OECD Publishing, Paris. Coe, R., Aloisi, C., Higgins, S. and Major, L. E. (2014). What makes great teaching?
Review of the underpinning research. Durham University: Centre for Evaluation and Monitoring.

Carr-Hill, R. (2015), "PISA for development technical strand c: Incorporating out-of-school 15- year-olds
in the assessment", OECD Education Working Papers, No. 120, OECD Publishing, Paris. DOI: http://dx.doi.org/10.1787/5js0bsln9mg2-en

138
Coleman, M. and Vaughn, S. (2000). Reading interventions for students with emotional/behavioral
disorders. Behavioral Disorders, 25, 93-104.

Crane, J. (1991). The epidemic theory of ghettos and neighbourhood effects on dropping out and teenage
child bearing. American Journal of Sociology, 96( 5), 1226-1259.

Creemers, B.P M. and Kyriakides, L. (2006). Critical analysis of the current approaches to modelling
educational effectiveness: The importance of establishing a dynamic model. School Effectiveness and School
Improvement, 17, 347–366.

Currie, J. (2001). Early childhood education programs. Journal of Economic Perspectives, 15, 213-238.

Cynader, M. S. and Frost, B. J. (1999). Mechanisms of brain development: Neuronal sculpting by the
physical and social environment. In D. Keating and C. Hertzman (Eds.), Developmental health and the wealth of nations:
Social, biological and educational dynamics. ( pp. 153-184). New York: The Guilford Press.

Diener, E. (200 6). Guidelines for National Indicators of Subjective Well-Being and Ill-Being. Applied Research in Quality of
Life, 1, 151-157.

Dutton, D.B. and Levine, S. (1989). Overview, methodological critique, and reformulation. In J. P. Bunker,
D. S. Gomby and B. H. Kehrer (Eds.) Pathways to health ( pp. 29-69). Menlo Park, CA: The Henry
J. Kaiser Family Foundation.

Ensminger, M.E. and Slusarcick, A. L. (1992). Paths to high school graduation or dropout: A longitudinal
study of a first-grade cohort, Sociology of Education, 65( 2), 95-113.

Fagan, J. and Pabon, E. (1990). Contributions of delinquency and substance use to school dropout among
inner-city youth. Youth and Society, 21( 3), 306-354.

Francis, D.J., Shaywitz, S.E., Stuebing, K.K., Shaywitz, B.A. and Fletcher, J.M. (1996). Developmental
lag versus deficit models of reading disability: A longitudinal, individual growth curves analysis.
Journal of Educational Psycholo gy, 88, 3-17.

Gilbert, S., Barr, L., Clark, W., Blue, M. and Sunter, D. (1993). Leaving School: Results from a National
Survey Comparing School Leavers and High School Graduates 18 to 20 Years of Age. Ottawa: Statistics Canada and
Human Resources and Labour Canada, 81-575E.

Gunnar, M.R. (1998). Quality of early care and buffering of neuroendocrine stress reactions: Potential
effects on the developing human brain. Preventive Medicine: An International Journal Devoted to Practice and Theory, 27( 2),
208-211.

Hanushek, E.a. and Woessmann, L. (2015). The knowledge capital of nations: Education and the
economics of growth. Cambridge and London: MIT Press.

Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. New
York: Routledge.

Helliwell, J.F., Layard, R. and Sachs, J. (eds.) (2012), World Happiness Report, Earth Institute, New York,
Columbia University.

139
Howes, C., Phillips, D. A. and Whitebook, M. (1992). Teacher characteristics and effective teaching in
child care: Findings from the National Child Care Staffing Study. Child and Youth Care Forum, 21( 6), 399-414.

Janosz, M., LeBlanc, M., Boulerice, B. and Tremblay, R. (1997). Disentangling the weight of school
dropout predictors: A test on two longitudinal samples. Journal of Youth and Adolescence, 26( 6), 733-762.

Kagan, S.L. and Zigler, E.F. (1987). Early schooling: The national debate. New Haven, CT: Yale
University Press.

Kozminsky, E. and Kozminsky, L. (2001). How do general knowledge and reading strategies ability relate
to reading comprehension of high school students at different education levels? Journal of Research in Reading, 24( 2),
187-204.

Kyriakides, L., Christoforou, C. and Charalambous, C. Y. (2013). What matters for student learning
outcomes: A meta-analysis of studies exploring factors of effective teaching. Teaching and Teacher Education, 36, 143–152.

Leseman, P.P.M. (2002). Early childhood education and care for children from low-income or minority
backgrounds. Paris: Organization for Economic Co-operation and Development.

Liu, D., Diorio, J., Tannenbaum, B., Caldji, C., Francis, D., Freedman, A., Sharma, S., Pearson, D.,
Plotsky, P.M. and Meaney, M.J. (1997). Maternal care, hippocampal glucocorticoid receptors, and
hypothalamic-pituitary-adrenal responses to stress. Science, 277, 1659-62.

Lockheed, M., T. Prokic-Bruer and A. Shadrova (2015), The Experience of Middle-Income Countries
Participating in PISA 2000-2015, The World Bank, Washington, D.C./OECD Publishing, Paris. DOI: http://dx.doi.org/10.1787/9789264246195

Mayer, K.U. (2009). New directions in life course research. Annual Review of Sociology, 35, 413-33.

McEwan, B.S. (1998). Protective and damaging effects of stress mediators. New England Journal of
Medicine, 338, 171-179.

McEwan, B.S. and Schmeck, H.M. (1994). The Hostage Brain. New York: The Rockefeller Unversity
Press.

Morris, D., Bloodgood, J. and Perney, J. (2003). Kindergarten predictors of first and second-grade reading
achievement. The Elementary School Journal, 104( 2), 93-109.

Mueller, C. W. and Parcel, T.L. (1981). “Measures of Socioeconomic Status: Alternatives and
recommendations.” Child Development, 52, 13-30.

Murillo, F.J. and Román, M. (2011). School infrastructure and resources do matter: analysis of the
incidence of school resources on the performance of Latin American students. School Effectiveness and School Improvement,
22( 1), 29-50.

Nelson, E.E. and Panksepp, J. (1998). Brain substrates of infant-mother attachment: Contributions of
opioids, oxytocin, and norepinephrine. Neuroscience and Biobehavioral Reviews, 22, 437-452.

140
New South Wales Department of Education and Communities (2015). The wellbeing framework for
schools. Sydney: Department of Education and Communities.

Nonoyama-Tarumi, Y., Hughes, K. and Willms, J.D. (2015). The role of family background and school
resources on elementary school students’ mathematics achievement. Prospects, 45( 3), 305-24.

Nonoyama-Tarumi, Y. and Willms, J.D. (2010). The relative and absolute risks of disadvantaged family
background and low levels of school resources on student literacy. Economics of Education Review, 29( 2), 214-224.

O’Reilly, T. and McNamara, D. (2007). The impact of science knowledge, reading skill, and reading
strategy knowledge on more traditional “high-stakes” measures of high school students’ science achievement. American
Educational Research Journal, 44( 1), 161-196.

OECD (2002). Reading for change: Performance and engagement across countries: Results from PISA
2000, Paris: OECD.

OECD (2017), PISA 2015 Results (Volume III): Students' Well-Being, OECD Publishing, Paris.
DOI: http://dx.doi.org/10.1787/9789264273856-en

Patrinos, P.A. (2007). Demand-side financing in education. Paris: UNESCO International Institute for
Educational Planning.

Peisner-Feinberg, E.S. and Burchinal, M.R. (1997). Relations between preschool children's childcare
experiences and concurrent development: The cost, quality, and outcomes study. Merrill-Palmer Quarterly, 43, 451–477.

Peisner-Feinberg, E.S., Burchinal, M.R., Clifford, R.M., Culkin, M.L., Howes, C., Kagan, S.L. (2001). The
relation of preschool child-care quality to children’s cognitive and social developmental trajectories through second grade. Child
Development, 72, 1534-1553.

Ramey, C.T. and Ramey, S.L. (1998). Early intervention and early experience. American Psychologist, 53,
109-120.

Riehl, C.J. (2000). The principal’s role in creating inclusive schools for diverse students: A review of
normative, empirical, and critical literature on the practices of educational administration. Review of Educational Research,
70( 1), 55-81.

Rosenshine, B. (2010). Principles of instruction. International Academy of Education. Geneva: UNESCO

International Bureau of Education.

Rumberger, R.W. (1983). Dropping out of high school: The influence of race, sex and family background.
American Educational Research Journal, 20( 2), 199-220.

Schweinhart, L.J. and Weikart, D.P. (1998). Why curriculum matters in early childhood education.
Educational Leadership, 55, 57-60.

Shepard, L., Kagan, S.L. and Wurtz, E. (1998). Principles and recommendations for early childhood
assessments. Washington, DC: National Education Goals Panel.

Small, M.L. and Newman, K. (2001). Urban poverty after the truly disadvantaged: The rediscovery of the
family, the neighbourhood, and culture. Annual Review of Sociology, 27( 1), 23-45.

141
Snow, C.E., Burns, M.S. and Griffin, P. (1998). Preventing reading difficulties in young children.
Washington DC: National Academy Press.

Tramonte, L. and Willms, J.D. (2010). Cultural capital and its effects on education outcomes. Economics
of Education Review, 29( 2), 200-213.

Tramonte, L., Willms, J.D. and Gauthier, A. (2013). Engagement and Guidance: The Effects of Maternal
Parenting Practices on Children’s Development. Journal of Family Issues. DOI:
10.1177/0192513x13489959.

UNESCO (2005) Guidelines for Inclusion: Ensuring Access to Education for All. Paris: UNESCO.

UNESCO (2009). Policy guidelines on inclusion in education. Paris: UNESCO.

UNESCO Institute for Statistics and UNICEF (2005). Children Out of School: Measuring exclusion from
primary education. Montreal: UIS.

UNESCO Institute for Statistics (2006). Global Education Digest: Comparing Education Statistics across
the World. Montreal, Quebec, UIS.

UNESCO Institute of Statistics (2016), Making Education Count for Development: Data Collection and
Availability in Six PISA for Development Countries, PISA, OECD Publishing, Paris.
http://dx.doi.org/10.1787/9789264255449-en

United Nations (2016). Sustainable development knowledge platform.

Wehlage, G. G. and Rutter, R.A. (1986). Dropping out: how much do schools contribute to the problem?
Teachers College Record, 87( 3), 374-92.

Willms, J.D. (Ed.). (2002). Vulnerable Children: Findings from Canada’s National Longitudinal Survey of
Children and Youth. Edmonton, AB: University of Alberta Press.

Willms, J.D. (2003). Student engagement at school: A sense of belonging and participation. Paris:
Organization for Economic Cooperation and Development.

Willms, J.D. (2006). Learning divides: Ten policy questions about the performance and equity of schools
and schooling systems. Montreal: UNESCO Institute for Statistics.

Willms, J.D. (2009, October). Classroom Diversity and Inclusion: The Educational Advantage. Plenary
presentation at the Return to Salamanca – Global Conference on Inclusive Education. Salamanca, Spain.

Willms, J.D. (2010). School composition and contextual effects on student outcomes. Teachers College
Record, 112( 4), 1008-1037.

Willms, J.D. (2011). An analysis plan on educational equality and equity: Recommendations for the
OECD Education at a Glance. Paper prepared for the OECD NESLI INES Network for the collection and
adjudication of system-level descriptive information on educational structures, policies and practices (NESLI).
Fredericton: UNB-CRISP.

Willms, J.D. (2015). Educational Prosperity. Fredericton: The Learning Bar Inc.

142
Willms, J.D., Friesen, S. and Milton, P. (2009). What did you do in school today? Transforming
classrooms through social, academic, and intellectual engagement. ( First National Report) Toronto: Canadian Education
Association.

Willms, J.D. and Somers, M.-A. (2001). Family, classroom and school effects on children’s educational
outcomes in Latin America. International Journal of School Effectiveness and Improvement, 12( 4), 409-445.

Willms, J.D. and Tramonte, L. (2015). Towards the development of contextual questionnaires for PISA for
Development. Paris: OECD.

Willms, J.D., Tramonte, L., Duarte, J. and Bos, S. (2012). Assessing educational equality and equity with
large ‐ scale assessment data: Brazil as a case study. Washington: Inter ‐ American Development Bank.

Zill, N. (1999). “Promoting educational equity and excellence in kindergarten”, in R.C. Pianta and M. Cox
(Eds.), The Transition to kindergarten, ( pp. 67-105), Baltimore, MD: Brookes Publishing Co.

143
 ANNEX A. PISA FOR DEVELOPMENT EXPERTS AND SUPPORT STAFF

PISA-D expert group (DEG)

Jean-François Rouet (France), Reading Literacy Chair Zbigniew Marciniak
(Poland), Mathematical Literacy Chair Jonathan Osborne (USA), Scientific
Literacy Chair Takuya Baba, Country Expert (Japan) Nascira Ramia,
Country Expert (Ecuador) Njekwa Shula Mamunye, Country Expert
(Zambia)

Country representative experts

Thai Heng, Cambodia Non Dara,
Cambodia Ngor Penglong,
Cambodia
Héctor Fabian Arebalo Mosquera, Ecuador Daniel
Javier Wing Reyna, Ecuador Elizabeth Liendro,
Ecuador Nascira Ramia, Ecuador Georgina Afre,
Guatemala María José del Valle, Guatemala
Mamadou Bachir Diaham, Senegal Moussa Fall,
Senegal Oumar Bâ, Senegal Takuya Baba, Zambia

Njekwa Shula Mamunye, Zambia Menny

Sibukome Nachibinga, Zambia Felidah Mwanza
Kiwala, Zambia

Pearson support staff

John de Jong, Programme Director Dave Leach, Programme
Manager Clara Molina, Programme Coordinator Peter Foltz,
Content Lead, Reading Literacy Rick Wilmeth, Content Lead,
Mathematical Literacy

Michaela Viering , Content Lead, Scientific Literacy Mark

Robeck, Editorial Management

144
 ANNEX B. KEY ELEMENTS OF EACH OF THE SIX STAGES OF DEVELOPMENT

Prenatal period

The Prosperity Outcomes at this stage are a healthy pregnancy and delivery. The Foundations for Success include four
family factors: nutrition, no exposure to toxins, the mother’s physical health and the mother’s emotional health. A number of studies
have shown that poor nutrition during the prenatal period modifies the development of the unborn child, leading to low birth weight
and a greater susceptibility to coronary heart disease, obesity and diabetes later in life (Barker, 1994; Barker and Sultan, 1995).
The exposure of the foetus to environmental toxins or to alcohol or drugs can also compromise the healthy development of the
unborn child (Nelson and Panksepp, 1998). The mental and physical well-being of the mother also plays a key role (Liu et al.,
1997). The prevalence of healthy pregnancies and deliveries can be increased through the provision of prenatal care and primary
health care.

At this stage and in subsequent stages, the framework includes social capital and resources. The term “social capital” is
intended to capture positive socializing forces, such as trust amongst community members, social ties and networks connecting
people, the presence of strong adult role models, and actively engaged citizens.

Early development (birth to age 2)

The Prosperity Outcomes at this stage include language, cognitive and physical development. The key family foundations
include: breast-feeding and nutrition, the mother’s physical and emotional health, parenting skills and intra-family relations. These
factors can be supported with positive post-natal care and primary health care.

Pre-primary (ages 3 to 5)

The Prosperity Outcomes at this stage includes skills in five domains: awareness of self and environment, cognitive
development, language and communication, physical development, and social skills and approaches to learning. These outcomes
are consistent with frameworks set out by UNICEF and the United States Congress (Shepard, Kagan and Wurtz, 1998).

Three of the most important family factors affecting children’s development in these domains are family involvement,
especially reading to the child, positive intra-family relations and parenting styles (Willms, 2002). Children whose parents adopt an
“authoritative” parenting style, which incorporates being responsive to the child’s needs but also involves setting expectations for
positive behaviour, tend to have better outcomes in these domains (Tramonte, Willms and Gauthier, 2013).

Attendance in high-quality early childhood and care (ECEC) programmes has positive short-term outcomes and enduring
long-term benefits (Burchinal, Howes and Kontos, 2002; Currie, 2001; PeisnerFeinberg et al., 2001; Ramey and Ramey, 1998;
Schweinhart and Weikart, 1998), especially for children from less advantaged backgrounds (Burchinal, Peisner-Feinberg, Bryant and
Clifford, 2000). Several large national studies and many smaller local studies suggest that high-quality child care experiences are
related, albeit modestly, to child outcomes, even after adjusting for factors such as socioeconomic status (SES) and parental
child-rearing attitudes and practices (Howes, Phillips and Whitebook, 1992; Peisner-Feinberg and

145
Burchinal, 1997; Zill, 1999). Interventions are more effective when early learning programmes take place within a general
framework of anti-poverty and community development (Kagan and Zigler, 1987) and when programmes promote family
engagement alongside high-quality learning experiences for children (Bertram, Pascel, Bokhari, Gasper and Holtermann, 2002).
Programmes for children should be intensive, year-long and conducted by appropriately trained professionals (Leseman, 2002).

Early primary (ages 6 to 9)

After children enter school, there is another critical period that has a dramatic effect on their attainment and performance at
age 15. The timely transition from learning-to-read to reading-to-learn, which for most children occurs at about age 8 or 9, is
essential to academic success, school attainment and well-being (Snow, Burns and Griffin, 1998). During the primary school
years, from kindergarten to Grade
3, considerable emphasis is placed on the development of reading skills. Of course, children learn subjectmatter content and
acquire a wide range of skills while they are learning to read. But after Grade 3 there is a tacit assumption that children can read
fluently and comprehend curricular materials in subject domains such as health, social studies and science. The curriculum
changes: students are expected to learn the languages of subject domains and use that language to think critically, solve problems
and create new knowledge. The demands for strong reading skills increase as students make their way into the higher grades.
Students who lack fundamental reading skills fall further and further behind.

Late primary and lower secondary (ages 10 to 15)

After age 10, during the late primary and lower secondary years, the relationship between early reading skills and future
literacy skills is solidified (Francis, Shaywitz, Stuebing, Shaywitz and Fletcher, 1996; Kozminsky and Kozminsky, 2001), as is
the relationship between early literacy and social and emotional outcomes (Coleman and Vaughn, 2000). This is the
“reading-to-learn” period, during which students require strong literacy skills in all subjects in order to make inferences, monitor
comprehension and use higher-order skills, such as previewing, predicting and summarising (O’Reilly and McNamara,

2007). Students who have not made the transition from learning-to-read to reading-to-learn are unable to handle the demands for
understanding increasingly complex subject-matter content (Morris, Bloodgood and Perney, 2003).

Upper secondary (ages 16 to 18)

Completing secondary school is a key outcome at this stage. Longitudinal studies that have followed students through to the
school-leaving age have identified a number of demographic and school-related factors related to completion (Barrington and
Hendricks, 1989; Crane, 1991; Ensminger and Slusarcick, 1992; Fagan and Pabon, 1990; Gilbert, Barr, Clark, Blue and Sunter,
1993; Janosz, LeBlanc, Boulerice and Tremblay, 1997; Rumberger, 1983; Wehlage and Rutter, 1986). Literacy skills, grade
repetition, attendance, engagement and positive behaviours are among the most important determinants, and nearly all studies
emphasise the role of family socioeconomic status and parental engagement.

146
 ANNEX C. BIOLOGICAL EMBEDDING, CUMULATIVE DEVELOPMENT AND
INSTITUTIONAL SELECTION

Biological embedding

Children’s potential for success at school is affected by factors during the prenatal period that contribute to a healthy
pregnancy and a healthy delivery. Recent advances in neurobiology, molecular biology and genomics have provided compelling
evidence that children’s early experiences interact with their genetic disposition in ways that affect brain development as well as
other neurological and biological systems associated with healthy child development (Boyce, Sokolowski and Robinson, 2012).
Some of these biological processes are “biologically embedded” during the prenatal period through epigenetic processes in
which chemical signatures are attached to genes that predispose the child to either vulnerability or resilience (Boyce and Kobor,
2015).

At birth, children have billions of neurons and during the course of early development the neurons form connections called
synapses in response to environmental stimuli. As this occurs, many of the neurons that are not being used are pruned away. This
process of synapse formation and neuron pruning – the sculpting of the brain – is more rapid during certain critical periods of the
first two or three years of life (McEwan and Schmeck; 1994; Cynader and Frost, 1999). The notion that children’s early experiences
are biologically embedded is gaining further support from research showing that the development of children’s endocrine and
immune systems are also influenced by children’s environments during the early years (Barr, Beek and Calinoiu, 1999; Gunnar,
1998; McEwan, 1998).

Cumulative development

Children’s development and success is cumulative. For example, children develop their literacy skills in a cumulative way as
they move from one stage to the next. The rate at which they develop these skills depends on the strength and duration of their
exposure to the family, institution and community factors that comprise the Foundations for Success in the Educational Prosperity
model. For example, a child’s literacy skills at age 15 depends on his or her literacy skills at age 8, which is strongly affected by the
quality of instruction the child received during the primary grades. The increase in the child’s literacy skills from ages 9 to 18
depends on the quality of instruction he or she received during the late primary and secondary school years.

Institutional selection

When students are successful at one stage of development, their life-course may be altered if they are selected into certain
classes, school programmes or schools. For example, children who have strong reading and language skills are more likely to be
streamed into classes or school programmes where they benefit from positive peer interactions, a higher quality of instruction and
other factors that enable them to develop their skills at a faster pace. On the other hand, children who experience learning difficulties
at a particular stage are more likely to be streamed into lower ability classes and have less access to the factors that improve their
skills.

147
 ANNEX D. THE EDUCATIONAL PROSPERITY PATHWAY

Figure D.1 shows the effects associated with each of the four processes along the Educational Prosperity pathway. The
outcomes at birth are affected by the Foundations for Success (green arrows), which to some extent are biologically embedded
(orange arrows) through epigenetic processes. The age 2 outcomes are determined by a cumulative effect (purple arrows) and
the Foundations for Success associated with that stage, which include a foundation effect (green arrows) and an effect that is
biologically embedded through the sculpting of the brain during critical periods (orange arrows). We assume there are no
institutional selection effects at this stage. The age 5 outcomes are also determined by cumulative effects, foundation effects and
prior biologically embedded effects. In addition, there can be an institution selection effect (red arrows) if children’s outcomes at
age 5 are to some extent determined by their access to preschools with varying quality. The outcomes at age 10 and age 18 are
affected by the same factors. We assume that the “hard-wired” effects of biological embedding have diminished, although for
some outcomes the process of biological embedding continues through to adolescence.

Figure D.1 Four ways that success accumulates

Biological embedding (orange arrows), Foundations for Success (green arrows), cumulative effects (purple arrows),
and institutional selection effects (red arrows)

148