Anda di halaman 1dari 5

Faktor pengganggu dalam Administrasi Penilaian Pra - dan Posttest

Sebuah program yang berguna untuk mematuhi penilaian terhadap standar yang ditetapkan desain penelitian . Perlu dicatat , bagaimanapun, bahwa temuan penilaian yang uninterpretable tanpa adanya kelompok pembanding . Apa artinya , misalnya , untuk menemukan siswa yang memperoleh 60 poin pada tes standar kemampuan kognitif antara mahasiswa dan tahun lebih tua ? Data lebih relevan ketika kita membandingkan , misalnya, ilmu sosial untuk jurusan ilmu fisik atau di kampus kepada mahasiswa penduduk komuter . Bahkan di bawah kondisi ini, bagaimanapun , pengaruh lingkungan institutinal khusus pada pengembangan siswa ' tidak bisa menjadi discernet , karena penelitian ini tidak memberikan variasi pada dimensi ini . Untuk alasan ini, studi kelembagaan multi meskipun masalah logistik mereka dapat hadir , sangat dianjurkan . Pemilihan instrumen standar untuk penilaian pengembangan bakat harus dibimbing tidak hanya oleh cara di mana tes mendefinisikan conceps kunci tetapi juga oleh karakteristik uji seperti reliabilitas internal tes-tes ulang reliabilitas , dan konvergen dan validitas diskriminan . Bahkan ketika instrumen standar telah menetapkan reliabilitas dan validitas , namun cara di mana instrumen tersebut diberikan di lapangan adalah sangat penting untuk keakuratan dari temuan. Berbagai ancaman dapat mempengaruhi validitas internal , membangun, dan eksternal penelitian terapan . Ancaman terhadap validitas pra - dan penilaian posttes memberikan penjelasan alternatif untuk perubahan yang diamati pada nilai siswa , ada dengan meningkatkan kemungkinan bahwa perubahan tersebut merupakan artefak faktor yang tidak terkendali bukan hasil dari program pendidikan . Bagian ini secara singkat decribes yang mengacaukan potensi yang paling relevan untuk penilaian outcames dalam pendidikan tinggi .

sejarah Sejarah bisa menjadi ancaman " ketika efek yang diamati mungkin disebabkan karena suatu peristiwa yang (mengambil ) tempat antara pretest dan posttest , ketika acara ini tidak pengobatan kepentingan penelitian " . Penilaian hasil sangat rentan terhadap ancaman ini , terutama ketika jangka waktu yang cukup waktu berlalu antara pretest dan posttest . Sebagai contoh, sebuah acara internasional yang menangkap keterlibatan siswa atau tur musim panas ke Eropa untuk sekelompok mahasiswa dapat menyebabkan keuntungan dalam skor pada langkah-langkah politicalscience yang independen dari pengaruh curiculum tersebut . Atau , sebuah konser besar di kampus dihadiri oleh sejumlah besar siswa malam sebelum posttest dapat menyebabkan siswa lelah dan skor depresi hari fillowing . Dalam keadaan ini, faktor sejarah memberikan penjelasan alternatif untuk perubahan yang diamati dari pretest dan posttest . Jika faktor ini tidak diperhitungkan info, praktisi dapat menarik kesimpulan menyesatkan dari data .

pematangan Ketika perubahan dari pra - ke posttest berpotensi pengaruh perkembangan sederhana daripada intervensi pendidikan , pematangan mungkin menjadi faktor pembaur . Pematangan adalah variabel pengganggu utama dalam penilaian nilai tambah . Kemungkinan solusi untuk membingungkan ini provinding kelompok pembanding orang dewasa muda yang tidak terdaftar di perguruan tinggi menyajikan kedua masalah praktis ( mengamankan kepatuhan dari kelompok tersebut dan menemukan sumber daya internal untuk mendukung upaya ini ) dan masalah thecnical (karena pemuda yang hadir dan yang tidak hadir kolase berbeda dalam banyak hal ) . Membandingkan perubahan nilai dari 18 tradisional - untuk siswa 22 - yeaars - lama dengan orang-orang tua , siswa kembali juga dapat menjadi cara untuk mengidentifikasi kemungkinan efek pematangan .

pengujian Administrasi beberapa pengujian yang sama dapat meningkatkan kinerja siswa sebagai akibat dari pengaruh praktek. Untuk penilaian pengembangan bakat , membingungkan ini kemungkinan ketika tes yang diberikan dalam waktu yang relatif singkat dan / atau pada titik-titik diulang . Vendor yang menawarkan alternatif , bentuk paralel dari instrumen yang sama menyediakan satu metode untuk menghindari membingungkan ini .

instrumentasi Instrumentasi mengancam validitas ketika perubahan diamati dari pra- posttest mungkin merupakan hasil dari perubahan alat ukur , kemungkinan yang sangat mungkin ketika " alat ukur " adalah manusia. Sebagai contoh, jika sebuah tim anggota fakultas diminta untuk meninjau esai siswa untuk mengukur perkembangan kemampuan menulis dari waktu ke waktu , menemukan mungkin dikacaukan oleh variasi sistematis dalam proses peninjauan antara pra - dan posttest ( atau bahkan dalam sesi tes , jika pengulas yang berbeda tidak konsisten ) . Demikian pula , gaya yang berbeda dari administrasi pra - dan posttest ( misalnya , provinding waktu ekstra atau petunjuk membantu ) dapat menyebabkan comfounds instrumentasi . Menggunakan standar , kriteria rinci untuk administrasi dan skor tes , dengan pengecekan reliabilitas antar penilai sering, adalah salah satu cara untuk mengurangi ancaman instrumentasi . Pendekatan lain Isto ulasan baik pretest dan posttests pada saat yang sama atau untuk membaca sampel pretest setelah pemberian posttests untuk menentukan apakah kriteria penilaian yang diterapkan dengan cara yang sama . Instrumentasi juga merupakan ancaman potensial jika berbagai bentuk instrumen didirikan tidak setara . Walaupun sebagian besar perusahaan pengujian mendirikan kesetaraan bentuk-bentuk alternatif dari tes yang sama sesuai dengan set ketat standar , review metodologi ini oleh fakultas dengan keahlian dalam pengujian dan penilaian dapat berfungsi untuk resure lain dalam lembaga yang bentuk tes alternatif memang paralel. Instrumentasi juga dapat menjadi masalah ketika vendor tes secara teratur

memperbarui tes dan daripada pensiun versi lama. Haruskah omset tersebut terjadi antara pra - dan posttest , kesetaraan pemeriksaan dapat dipertanyakan . Sebuah faktor pengganggu terkait , calssified asa ancaman terhadap validitas konstruk adalah harapan percobaan itu . Artinya, harapan peneliti dapat menjadi nubuat diri fulfiling . Di tingkat pendidikan tinggi , fenomena ini mungkin menjadi perhatian paticular ketika fakultas diminta untuk pengembangan tingkat siswa dalam disiplin ilmu yang mereka ajarkan . Dalam kondisi seperti ini , efek dari harapan eksperimen ini dapat dikurangi dengan prosedur yang " buta " fakultas dengan karakteristik siswa atau tes ( misalnya, dengan tidak memberitahu fakultas jika pemeriksaan dikaji adalah pretest atau posttest atau jika pemeriksaan dikaji adalah pretest atau posttest atau jika terperiksa adalah mahasiswa atau senior).

statistik regresi Regresi statistik merupakan ancaman ketika skor pada skala yang ekstrim yang tidak stabil . Hal ini menjadi perhatian khusus dalam penilaian pengembangan bakat ketika siswa digolongkan ke dalam kelompok berdasarkan skor pretest . Regresi statistik: 1 . Beroperasi untuk meningkatkan memperoleh skor gain pretest-posttest antara skor pretest rendah, ... 2 . Beroperasi untuk menurunkan nilai perubahan yang diperoleh antara orang-orang dengan skor pretest tinggi ... , dan 3 . Tidak mempengaruhi nilai perubahan diamati antara pencetak gol di pusat distribusi pretest Masalah ini dapat dikoreksi dengan menggunakan skor gain sisa berasal dari analisis regresi bukan nilai perubahan baku . Meskipun statistik regresi dapat dikurangi dengan memilih instrumen dengan tinggi reliabilitas tes-tes ulang , itu harus dari beberapa kekhawatiran dalam program penilaian yang berfokus pada siswa dengan skor pretest sangat tinggi atau sangat rendah .

mortalitas Validitas perbandingan sebelum dan posttest dari dua atau lebih kelompok siswa akan berkurang jika berbagai jenis atau jumlah siswa tendto drop out dari salah satu kelompok yang lebih ( atau kurang ) dari yang lain ( s ) . kematian ini mirip dengan masalah gesekan sellective dari sampel atau kelompok dalam penyelidikan , dibahas sebelumnya . validitas eksternal Bahkan ketika ancaman terhadap validitas internal relatif rendah , validitas eksternal , atau kemampuan untuk menggeneralisasi temuan di sub-populasi atau dari sampel untuk populasi , dapat dipertanyakan .

Bisakah kita berharap bahwa keuntungan ditunjukkan oleh mahasiswa memasuki lembaga pada tahun 1985 berlaku untuk mahasiswa baru memasuki lembaga pada tahun 1990 ? Seseorang kepercayaan generalisasi tersebut akan sangat lemah untuk institusi mengalami perubahan dalam pemasaran atau penerimaan mereka. Validitas eksternal akan menjadi perhatian paticular saat penilaian adalah sukarela bukan wajib , sebagai mahasiswa yang secara sukarela berpartisipasi dalam program pengujian akan diharapkan untuk differon beberapa dimensi dari siswa yang memilih untuk tidak berpartisipasi .

instrumentasi Instrumentasi mengancam validitas ketika perubahan diamati dari pra- posttest mungkin merupakan hasil dari perubahan alat ukur , kemungkinan yang sangat mungkin ketika " alat ukur " adalah manusia. Sebagai contoh, jika sebuah tim anggota fakultas diminta untuk meninjau esai siswa untuk mengukur perkembangan kemampuan menulis dari waktu ke waktu , menemukan mungkin dikacaukan oleh variasi sistematis dalam proses peninjauan antara pra - dan posttest ( atau bahkan dalam sesi tes , jika pengulas yang berbeda tidak konsisten ) . Demikian pula , gaya yang berbeda dari administrasi pra - dan posttest ( misalnya , provinding waktu ekstra atau petunjuk membantu ) dapat menyebabkan comfounds instrumentasi . Menggunakan standar , kriteria rinci untuk administrasi dan skor tes , dengan pengecekan reliabilitas antar penilai sering, adalah salah satu cara untuk mengurangi ancaman instrumentasi . Pendekatan lain Isto ulasan baik pretest dan posttests pada saat yang sama atau untuk membaca sampel pretest setelah pemberian posttests untuk menentukan apakah kriteria penilaian yang diterapkan dengan cara yang sama . Instrumentasi juga merupakan ancaman potensial jika berbagai bentuk instrumen didirikan tidak setara . Walaupun sebagian besar perusahaan pengujian mendirikan kesetaraan bentuk-bentuk alternatif dari tes yang sama sesuai dengan set ketat standar , review metodologi ini oleh fakultas dengan keahlian dalam pengujian dan penilaian dapat berfungsi untuk resure lain dalam lembaga yang bentuk tes alternatif memang paralel. Instrumentasi juga dapat menjadi masalah ketika vendor tes secara teratur memperbarui tes dan daripada pensiun versi lama. Haruskah omset tersebut terjadi antara pra - dan posttest , kesetaraan pemeriksaan dapat dipertanyakan . Sebuah faktor pengganggu terkait , calssified asa ancaman terhadap validitas konstruk adalah harapan percobaan itu . Artinya, harapan peneliti dapat menjadi nubuat diri fulfiling . Di tingkat pendidikan tinggi , fenomena ini mungkin menjadi perhatian paticular ketika fakultas diminta untuk pengembangan tingkat siswa dalam disiplin ilmu yang mereka ajarkan . Dalam kondisi seperti ini , efek dari harapan eksperimen ini dapat dikurangi dengan prosedur yang " buta " fakultas dengan karakteristik siswa atau tes ( misalnya, dengan tidak memberitahu fakultas jika pemeriksaan dikaji adalah pretest atau posttest atau jika pemeriksaan dikaji adalah pretest atau posttest atau jika terperiksa adalah mahasiswa atau senior).

statistik regresi

Regresi statistik merupakan ancaman ketika skor pada skala yang ekstrim yang tidak stabil . Hal ini menjadi perhatian khusus dalam penilaian pengembangan bakat ketika siswa digolongkan ke dalam kelompok berdasarkan skor pretest . Regresi statistik: 1 . Beroperasi untuk meningkatkan memperoleh skor gain pretest-posttest antara skor pretest rendah, ... 2 . Beroperasi untuk menurunkan nilai perubahan yang diperoleh antara orang-orang dengan skor pretest tinggi ... , dan 3 . Tidak mempengaruhi nilai perubahan diamati antara pencetak gol di pusat distribusi pretest Masalah ini dapat dikoreksi dengan menggunakan skor gain sisa berasal dari analisis regresi bukan nilai perubahan baku . Meskipun statistik regresi dapat dikurangi dengan memilih instrumen dengan tinggi reliabilitas tes-tes ulang , itu harus dari beberapa kekhawatiran dalam program penilaian yang berfokus pada siswa dengan skor pretest sangat tinggi atau sangat rendah .

mortalitas Validitas perbandingan sebelum dan posttest dari dua atau lebih kelompok siswa akan berkurang jika berbagai jenis atau jumlah siswa tendto drop out dari salah satu kelompok yang lebih ( atau kurang ) dari yang lain ( s ) . kematian ini mirip dengan masalah gesekan sellective dari sampel atau kelompok dalam penyelidikan , dibahas sebelumnya . validitas eksternal Bahkan ketika ancaman terhadap validitas internal relatif rendah , validitas eksternal , atau kemampuan untuk menggeneralisasi temuan di sub-populasi atau dari sampel untuk populasi , dapat dipertanyakan . Bisakah kita berharap bahwa keuntungan ditunjukkan oleh mahasiswa memasuki lembaga pada tahun 1985 berlaku untuk mahasiswa baru memasuki lembaga pada tahun 1990 ? Seseorang kepercayaan generalisasi tersebut akan sangat lemah untuk institusi mengalami perubahan dalam pemasaran atau penerimaan mereka. Validitas eksternal akan menjadi perhatian paticular saat penilaian adalah sukarela bukan wajib , sebagai mahasiswa yang secara sukarela berpartisipasi dalam program pengujian akan diharapkan untuk differon beberapa dimensi dari siswa yang memilih untuk tidak berpartisipasi .