12

Bekerja Menuju Penilaian yang Efektif dari CALL

Jack Burston

Pendahuluan

Tujuan bab ini adalah menetapkan kriteria untuk penilaian efektif dari Pembelajaran Bahasa
Berbasis Komputer (CALL). Bagian ini menekankan perlunya penilaian CALL untuk fokus pada
pedagogi daripada teknologi dan terutama kebutuhan untuk bergerak melampaui ukuran
sederhana hasil pembelajaran sesegera mungkin. Saya tahu bahwa evaluasi teknologi
instruksional untuk bahasa asing harus mempertimbangkan kontribusi jangka panjangnya bagi
seluruh kurikulum bahasa asing dan efek yang baik terhadap siswa pada umumnya.

Peran Teknologi dalam Pendidikan

CALL sudah ada hampir 40 tahun. Penggunaan teknologi modern di kelas kembali lebih dari dua
kali lipat sejauh ini. Teknologi instruksional, dalam arti luas, membentang kembali lebih jauh,
sekitar 2.400 tahun pada kenyataannya. Terlepas dari sejarah panjangnya, peran teknologi
dalam pendidikan tetap menjadi subjek diskusi, bukan untuk mengatakan kontroversi. Di
jantung perdebatan telah menjadi perhatian dengan efek teknologi pada proses pendidikan
dan, hal tersebut, efektivitas pedagogisnya.

Dalam budaya Barat, inovasi teknologi pertama yang dieksploitasi dalam pendidikan adalah
persangkaan abjad, yang menjadi jalan masuk ke dalam kurikulum Yunani kuno pada abad
keempat SM. Namun, bukan tanpa kritik, yang meratapi (secara tertulis alami) bentuk baru
"memori buatan" ini. Contoh yang paling terkenal dari hal ini dapat ditemukan dalam Plato's
Phaedrus, di mana Socrates dikutip mengatakan:

Kenyataannya adalah bahwa penemuan ini akan menghasilkan kelupaan dalam jiwa orang-
orang yang telah belajar. Mereka tidak perlu melatih ingatan mereka, bisa mengandalkan apa
yang tertulis ... Dan setelah sesuatu dimasukkan ke dalam tulisan, komposisi, apa pun itu,
hanyut di semua tempat, masuk ke tangan tidak hanya mereka yang memahaminya, tetapi juga
mereka yang tidak memiliki urusan dengannya. (Hamilton Cairns: 1989: 520-521)

Inovasi teknologi besar kedua yang secara signifikan mempengaruhi proses pendidikan tidak
diragukan lagi adalah penemuan mesin cetak pada abad ke lima belas. Percetakan sangat
memperluas "memori buatan" yang dimungkinkan oleh bahasa dalam bentuk tulisan, melalui
inovasi terkait seperti penomoran halaman dan pengindeksan, menyediakan cara-cara untuk
membuat katalog, mengindeks, dan mengambil informasi. Penambahan contoh lebih
meningkatkan keefektifan pedagogis dan digunakan untuk efek yang baik dalam karya anak-
anak seperti katekismus abad keenam belas dari Kanisius dan buku teks visual Latin abad ke-7
yang terkenal Orbus Picus dari Cómenius. Akan tetapi, seperti halnya menulis, efek-efek yang
dicetak oleh buku-buku terhadap pembelajaran dan kebijaksanaan dipertanyakan, dan ini juga
sampai abad ke-18, ketika kutipan berikut dari Diderot, dirinya seorang penulis buku yang
produktif, mengilustrasikan

Jumlah buku terus menerus akan makin bertambah ... [orang] tidak akan terlalu banyak membaca, tetapi malah
akan mengabdikan diri pada penyelidikan yang baru, atau yang akan mereka yakini sebagai hal baru (karena jika
kita sekarang tidak tahu apa-apa tentang apa yang terkandung dalam begitu banyak volume, mereka akan tahu
masih kurang dari apa yang terkandung dalam buku-buku yang sama, ditambah karena mereka oleh seratus seribu
kali lebih banyak ... Dan akhirnya dunia belajar-dunia kita-mungkin tenggelam dalam buku-buku. (Diderot seperti
dikutip dalam Lough & Proust: 1976: 234-235)

Diderot dengan benar meramalkan ledakan publikasi buku, tetapi seperti Socrates dan Plato
sebelum dia, dia sangat keliru tentang pengaruh teknologi pada pembelajaran. Benar, karena
biaya mahal mereka, buku pada awalnya memiliki sangat sedikit dampak pada pendidikan.
Bahkan, buku-buku begitu mahal sehingga mereka benar-benar diperkenalkan ke kurikulum
satu per satu, dibacakan keras-keras ke kelas oleh "lektor," dari mana gelar akademis Dosen dan
Pembaca. Para siswa harus bertindak dengan teknologi yang lebih tua, papan tulis dan kapur.
Hingga menjelang abad kesembilan belas buku-buku cetak menjadi cukup untuk digunakan oleh
siswa. Sejak saat itu hingga kini, teknologi buku teks, tentu saja, menjadi andalan pengajaran,
untuk bahasa asing tidak kurang dari pelajaran disiplin lain.

Teknologi moderen

Tidak perlu dikatakan lagi, kritik paling awal dari teknologi instruksional telah terbukti sangat
salah. Namun, para pendukung eksploitasi pendidikan teknologi modem belum bernasib jauh
lebih baik.

Dibandingkan dengan perkembangan teknologi penulisan dan cetak, "Zaman Elektronik" turun
dengan kecepatan yang sangat baik. Secara berurutan, abad ke-20 menyaksikan penemuan
rekaman audio, radio, fotografi film (bahkan dengan suara dan warna), televisi, dan yang paling
penting dari semua, komputer digital. Secepat teknologi ini muncul, mereka dipuji karena
dampak revolusioner yang akan mereka miliki terhadap pendidikan. Edison, misalnya, terkenal
karena ramalannya tahun 1922 bahwa:

... film itu ditakdirkan untuk merevolusionerkan sistem pendidikan kita dan ... dalam beberapa tahun ini akan
menggantikan sebagian besar, jika tidak seluruhnya, penggunaan buku teks. ... rata-rata kita hanya mendapatkan
efisiensi sekitar dua persen dari buku sekolah seperti yang ditulis hari ini. Pendidikan masa depan dilakukan melalui
medium film. Di mana mungkin untuk mendapatkan efisiensi seratus persen. (Edison: 1948: 78-79)

Satu dekade kemudian Darrow menyatakan bahwa kekuatan radio juga akan mengantarkan kita
ke era 'buku teks udara' yang akan membawa dunia ke dalam kelas:

Tujuan utama dan dominan pendidikan melalui radio adalah membawa dunia ke ruang kelas, untuk menyediakan
layanan guru terbaik secara universal, inspirasi dari para pemimpin terbesar ... dan acara-acara dunia yang
berlangsung melalui radio yang mungkin datang sebagai buku teks yang hidup dan menantang dari udara (1932:
79)

Ada harapan yang lebih besar lagi pada tahun 1950-an dan 1960-an untuk pembelajaran
televisi:
...ada sedikit keraguan bahwa penggunaan televisi yang lebih luas dalam pengajaran mungkin diharapkan ...
nampak juga bahwa sebanyak 50 persen program sarjana akan tersedia untuk kredit melalui televisi dan bahwa
gedung sekolah akan lebih sering dirancang untuk penggunaan televisi instruksional (Saettler: 1968: 248)

Penggunaan rekaman audio dulunya, tentu saja, janji besar dari lab bahasa pada 1960-an. Dan
untuk mesin pengajar di akhir 1960-an, Skinner dengan percaya diri mengklaim bahwa 'siswa
dapat belajar dua kali lebih banyak dalam waktu yang sama dan dengan usaha yang sama
seperti di kelas standar' (dikutip dalam Oppenhee 1997: 45).

Majalah Time edisi tahun 1978 menaikkan taruhannya lebih jauh berkenaan dengan
penggunaan komputer mainframe dalam pendidikan:

Di seluruh negeri, 'binatang gai' ini sebagaimana mereka disebut, membantu menderitanya,
sering tidak kompeten, guru. Mereka menghidupkan kembali murid-murid yang suka tidur,
melamun, dan menyampaikan tantangan di luar jangkauan sebagian besar pendidik. ... U.C.L.A
Professor Ilmu Komputer Gerald Estrin ...berkata: "Komputer memberikan pengalaman belajar
multisensor yang sangat visual yang dapat membawa seorang anak muda dalam hitungan
beberapa bulan ke tingkat yang mungkin tidak akan pernah ia dapatkan dalam waktu kurang
dari sekian banyak tahun studi. dengan metode konvensional."(20 Februari 1978: 48)

Dengan munculnya mikrokomputer beberapa tahun kemudian, Time Magazine melangkah lebih
jauh untuk memahkotai komputer "Machine of the Year," memuji generasi baru 'microkids' yang
ditakdirkan untuk menjadi ujung tombak revolusi elektronik.

Jelas, Majalah Time sangat salah, seperti halnya semua prognostikator lainnya dari nirvana
teknologi. Tidak lama sebelum kritik teknologi instruksional memindahkan komputer, micros
tidak kurang dari mainframe, ke tempat sampah sejarah melewati mode pendidikan:

Seperti film, radio, dan televisi instruksional, prediksi komputer yang mengubah bagaimana sekolah akan
diorganisasikan, bagaimana guru akan mengajar, dan bagaimana siswa akan belajar berulang kali di
permukaan. ...Siklus yang biasa memprediksi perubahan luar biasa dalam praktik guru yang diikuti oleh studi
akuatik tentang kecerdasan intelektual, pada gilirannya diikuti oleh laporan guru tentang gangguan dalam
perangkat keras, perangkat lunak, dan logistik - semua ini terjadi dengan instruksi yang dibantu komputer (CAI)
hampir dua dekade yang lalu. Dengan munculnya mesin-mesin meja-atas murah dan janji setiap siswa berinteraksi
dengan komputer pribadi, klaim untuk revolusi kelas muncul lagi. Namun, betapa dahsyatnya antusiasme ini dari
lonjakan minat dalam televisi instruksional tiga dekade lalu atau di radio dan film kelas lebih dari setengah abad
yang lalu? .. Kesamaan dalam klaim, minat media, dan investasi terlalu jelas untuk disisihkan sebagai omong kosong
sinis dari pendidik neanderthal. (Cuhan 1986: 73)

Dengan melihat ke belakang selama abad yang berlalu, satu fakta sangat jelas: teknologi
modern belum memiliki dampak revolusioner pada pengajaran secara umum, atau pengajaran
bahasa asing pada khususnya. Sementara penggunaan teknologi dalam pengajaran bahasa asing
telah meningkat tajam dalam beberapa tahun terakhir, penggabungan skala besar teknologi
instruksional ke dalam kurikulum tetap sangat banyak pengecualian daripada aturan (Richmond:
1999). Bahkan di tingkat universitas, di lembaga-lembaga yang menawarkan dukungan
infrastruktur yang kuat untuk teknologi instruksional, fakultas yang secara aktif
mengintegrasikan CAl ke dalam mata kuliah kursus hanya sekitar seperempat dari keseluruhan
guru (Adams: 2002)

Pengukuran Efektivitas

Studi efektivitas CAI

Meskipun teknologi modern belum sesuai dengan semua hype promosi dan proporsi aktif
praktisi yang aktif mungkin kecil, cukup adil untuk bertanya pada mereka yang terlibat dalam
teknologi instruksional secara umum, dan di luar negeri. bahasa khususnya, telah dilakukan
selama bertahun-tahun. Banyak orang telah memberikan beberapa pertanyaan. Pada
kenyataannya, selama empat puluh tahun lebih dari dua ribu penelitian evaluatif di berbagai
disiplin ilmu telah dilakukan (c.f. Sedgwick: 1999, dan Chapelle & Jamieson 1991). Secara
implisit atau eksplisit, sebagian besar studi didasarkan pada desain penelitian quasi-
eksperimental berdasarkan metode kuantitatif-rangsangan. Mereka adalah "quasi-
experimental" karena melibatkan kelas-kelas utuh yang dipilih secara acak daripada kelompok
eksperimental yang dibentuk secara khusus. Inovasi berbasis teknologi ("pengobatan")
kemudian dimasukkan ke dalam kurikulum kelas utuh, dan hasil pembelajaran untuk kelompok
tersebut dibandingkan dengan kelas tradisional (kelompok "kontrol") yang tidak menerima
pengobatan). Apakah hasilnya?

Dari penyelidikan media-perbandingan paling awal tahun 1930-an, salah satu hasil studi yang
paling membingungkan tentang efektivitas instruksi yang ditingkatkan teknologi dibandingkan
dengan ruang kelas tradisional adalah "tidak ada perbedaan yang signifikan." mengatakan
bahwa hasil positif belum dibuktikan, tetapi mereka banyak sekali dicampur dengan temuan
yang tidak meyakinkan dan bahkan negatif. Pertemuan pertama (Vinsonhaler & Bass: 1972;
Jamison et a .: 1974) untuk memahami temuan terpisah yang menyebabkan untuk naratif atau
"kotak skor" kompilasi yang hanya menunjukkan studi yang tidak atau tidak menunjukkan hasil
belajar. Kelemahan yang paling jelas dari studi karyanya adalah kegagalan mereka untuk
memperhitungkan perbedaan relatif dalam hasil, misalnya, dua penelitian yang melibatkan
ratusan peserta didik dan menunjukkan peningkatan kinerja yang besar dapat diimbangi oleh
banyak orang lain yang melibatkan sangat sedikit siswa dan menunjukkan negatif atau tidak ada
perbedaan signifikan.

Dalam rangka meningkatkan pelaporan efek rangsangan, teknik meta-analitik dikembangkan

(Glass: 1977) untuk memungkinkan perbedaan relatif dalam hasil untuk dia dibandingkan di
studi. Melalui meta-analisis, hasil dari banyak penyelidikan (lusinan, kadang-kadang ratusan
atau bahkan ribuan pada suatu waktu) digabungkan menjadi satu perkiraan efektivitas untuk
menentukan perbedaan rata-rata dalam perolehan kinerja (atau kerugian) yang disebut ukuran
efek di berbagai bidang subjek . Ukuran efek mengukur perbedaan rata-rata dalam hasil antara
hasil eksperimen dan kontrol, dibagi dengan standar deviasi rata-rata. Ukuran efek kurang dari
0,5 dari standar deviasi dianggap kecil dan mereka yang lebih besar 0,8 besar (Cohen: 1977)

Meta-analisis sangat meningkatkan pelaporan efek treatment dengan kondisi minimal pada
desain penelitian. Untuk dimasukkan dalam meta-analisis, penelitian biasanya perlu

 melaporkan data kuantitatif;

 menunjukkan keandalan data (misalnya, standar deviasi);
 memiliki kelompok kontrol untuk perbandingan hasil;
  uraikan metrik evaluasi yang digunakan untuk penilaian (misalnya, tes standar);
 bebas dari cacat desain kotor (mis., membandingkan grup eksperimental pada satu
tingkat efisiensi terhadap grup kontrol di grup lain).

Skor meta-analisis, serta lebih dari selusin meta-analisis dari meta-analisis, dilakukan selama
1980-an dan 1990-an. Para peneliti terus di bawah mengambil meta-analisis bahkan ke abad
baru (Soe, Koki, & Chang: 2000; bintang Bayrak, 2001 Zhao: 2003). Studi secara konsisten
menunjukkan bahwa instruksi yang disempurnakan dengan teknologi menghasilkan efek ukuran
yang positif, meskipun sebagian besar cukup sederhana, pada urutan 0,3-0,4 standar deviasi.
Dalam istilah praktis, ukuran efek sederhana terhadap kecepatan siswa dari kelimapuluh hingga
kira-kira ke enam puluh empat persen. Selain itu, di mana dilaporkan, waktu yang dibutuhkan
untuk mencapai hasil ini biasanya diklaim sekitar sepertiga lebih sedikit daripada kelompok
kontrol.

Hasil tersebut jauh dari mengompresi pembelajaran bertahun-tahun hanya dalam beberapa
bulan karena Majalah Time akan memilikinya, tetapi tetap signifikan secara statistik. Namun
meta-analisis bukan tanpa kritik. Beberapa (Clark 1983, 1985, 1994; Clark & Salomon: 1985,
Clark & Sugrue: 1995; Slavin: 1984) mempertanyakan validitas seluruh prosedur karena
pembauran variabel independen, efek kebaruan dan terutama pengaruh guru yang tidak
terkontrol dan metodologi instruksional. Bagaimanapun, seluruh pendekatan meta-analitik
untuk evaluasi komparatif dari teknologi instruksional memberikan yang terbaik pandangan
yang sangat sempit dan dangkal dari efek teknologi pada proses pendidikan. Dalam upaya untuk
mengurangi hasil hasil ke satu ukuran efektivitas komputer yang signifikan secara statistik,
sepenuhnya mengabaikan spesifisitas pertanyaan-pertanyaan yang muncul kembali,
menyatukan semua jenis subyek (membaca, menulis, matematika, sains, pemrograman
komputer, studi gigi, skil vokasional, pilot pelatihan, dll.) Cukuplah untuk mengatakan bahwa
orang yang mencari bukti yang tidak dapat dibantah bahwa teknologi instruksional
meningkatkan atau mempercepat hasil belajar akan sulit sekali untuk menemukannya, tentu
saja sejauh akuisisi bahasa asing yang bersangkutan.

Penelitian kegunaan tradisional CALL

Kelangkaan bukti yang mendukung keefektifan CALL tidak berasal dari kurangnya evaluasi
metode rangsangan. Sebaliknya, selama tiga puluh tahun terakhir hampir 100 penelitian
semacam itu telah dipublikasikan pada model CAI umum. Namun tidak satu pun termasuk di
antara 2.180 investigasi yang membentuk dasar dari meta analisis komprehensif terbaru dari
CAl (Kadiyala & Crynes 1998). Kenyataan bahwa tidak ada studi bahasa asing yang komparatif
yang menjadikannya sebagai meta analisis ini adalah pernyataan yang menceritakan kegagalan
mereka untuk memenuhi kondisi dasar pada desain penelitian yang valid yang diuraikan di atas,
Mengenali kegagalan ini dalam tinjauan mereka terhadap tujuh puluh penelitian tentang CALL
dari tahun 1990- 2000, Liu dkk. menyimpulkan:

Beberapa penelitian menggunakan pra dan pasca tes, ujian semester, dan pesan email, di mana bukti nyata tentang
apakah keterampilan bahasa telah ditingkatkan atau tidak telah dipaparkan secara jelas. Penggunaan ukuran yang
ditetapkan dengan baik dengan reliabilitas yang jelas dan validitas informasi, bagaimanapun, minimal. Banyak
penelitian yang mengandalkan pada laporan diri siswa dengan jumlah yang kecil informasi yang dapat dipercaya
pada instrumen yang digunakan. (2002: 263)

mensponsori dan menyediakan sedikit keandalan dalam meta-analisis Zhao yang lebih baru dari
penelitian efektivitas CALL dari 1997-2001 yang hanya terdiri dari sembilan penelitian, membuat
pengamatan yang sama:

... Jumlah penelitian eksperimental yang dirancang dengan baik dari keefektifan aplikasi teknologi dalam
pembelajaran bahasa sangat terbatas. ... Beberapa studi empiris terbatas tidak mengukur perolehan pembelajaran,
bergantung pada laporan diri pembelajar sebagai ukuran efektivitas, atau dirancang dengan baik. (Zhao 2003: 12-
13)

Di antara praktisi CALL, para kritikus selama bertahun-tahun mempertanyakan praktik

pengurangan penilaian teknologi instruksional untuk bahasa asing ke studi komparatif yang luas
dari "komputer" versus "pengajaran kelas tradisional". Sangat awal, Stevens mempertanyakan
apakah Bahkan dimungkinkan untuk mengevaluasi efektivitas CAI melalui perbandingan media
konventioal:

... variabel-variabel krusial yang mengkonsentrasikan keefektifan dari CAI mungkin yang terkait dengan kognisi dan
sikap terhadap studi bahasa, dan variabel seperti itu sulit, jika bukan tidak mungkin, untuk mengukur. (Stevens:
1984: 16)
Dalam mengkaji keadaan penelitian CALL pada tahun 1980-an, Pederson membuat kasus yang
kuat untuk kebutuhan meningkatkan desain riset CALL tradisional yang diterapkan, untuk
membuatnya lebih sensitif terhadap konteks, dan di atas untuk melengkapinya dengan
penelitian berbasis-teori yang berfokus pada proses psikolinguistik dan etnografi daripada hanya
hasil belajar langsung. Dia tidak membuat tulang tentang kebutuhan untuk memfokuskan
kembali evaluasi komparatif dari teknologi pengajaran bahasa asing:

Penelitian komparatif yang mencoba untuk mengilustrasikan superioritas komputer atas beberapa media lain untuk
pengiriman instruksi bahasa harus selamanya disumbangkan. (1987: 125)

Menulis pada saat yang sama, Doughty sampai pada kesimpulan yang hampir sama: Sebagian
besar penelitian ke dalam penggunaan pendidikan komputer telah terkonsentrasi pada ujian dalam keefektifan
medium dalam menghasilkan pembelajaran yang lebih efisien, khususnya dibandingkan dengan tambahan instruksi
kelas, dan CALL penelitian sering mengikuti jalur investigasi yang sama ini.... Dalam penelitian tersebut, CALL dilihat
sebagai perlakuan yang diterapkan pada peserta didik, dan efek dari perlakuan pada pembelajara tersebut
kemudian diukur. Pendekatan yang berorientasi pada produk ini untuk evaluasi daya kontak CALL telah terbukti
tidak memuaskan terutama karena kurangnya perhatian pada peran sentral dari proses pembelajaran dan
pengaruh karakteristik siswa yang terkait. 1987: 136-137)

Di jantung ketidakpuasan dengan model pengobatan penelitian efektivitas CAI adalah

kekhawatiran dengan efek kontraproduktif dari technocentricity yang mendasarinya. Dalam
mengambil teknologi sebagai titik awal mereka, studi model-rangsangan mengurangi
pertimbangan pedagogi terhadap hasil pembelajaran terisolasi yang secara langsung berkaitan
dengan penggunaan media distribusi tertentu. Papert, lawan jangka panjang dari pola pikir
teknosik dalam CAI, menyimpulkan bahwa kekurangan mendasar dari penelitian metode-
perlakuan:

Metode perlakuan mengarah pada bahaya bahwa semua eksperimen dengan komputer dan pembelajaran akan
menjadi kegagalan: baik mereka sepele karena sangat sedikit terjadi, atau mereka tidak ilmiah karena sesuatu yang
nyata terjadi dan terlalu banyak faktor berubah sekaligus. (1987: 26)

Meskipun validitas dasar dari kritik semacam itu, empat tahun kemudian Dunkel berkewajiban
untuk membuat banyak argumen yang sama seperti Pederson mengenai arah masa depan CALL
yang akan datang. Dunkel berpendapat dalam lavor dari multi-faceted, lebih berbutir, evaluasi
dari keefektifan CALL, independen dari perbandingan dengan media berbasis non komputer,
dan diukur relatif terhadap berbagai hasil pelajar dan factor kontekstual sociocognitive:

Peneliti CALL di masa depan harus ... tidak lagi melakukan studi media-evaluasi .... Sebagai gantinya mereka harus
mulai menyelidiki berbagai macam tipe percakapan, sejumlah jenis interaksi komputer-siswa yang berbeda
(misalnya, tutorial individu-murid, jaringan pasangan/kelompok), sejumlah atribut pembelajar (misalnya
kecemasan) dan kecakapan (misalnya, gaya kognitif; kemampuan L2) yang berinteraksi dengan perlakuan CALL, dan
berbagai macam hasil pendidikan dari CALL (misalnya, berbicara, pengembangan keterampilan membaca
pemahaman). ... Para peneliti L2 perlu terlibat dalam penelitian etnometodologi yang lebih banyak yang
menyelidiki dampak sosial serta kognitif dari menggunakan komputer untuk pembelajaran dan pengajaran L2.
(1991: 21-23)

Tahun yang sama, Chapelle & Jamieson (1991), mengikuti jejak Stevens (984), merasa perlu
untuk memperingatkan tentang validitas internal dari metode perlakuan studi media
komparatif:

Terlepas dari cara di dimana variabel independen dan dependen didefinisikan dan dioperasionalkan dalam studi
CALL, validitas internal dari studi CALL tergantung pada apakah semua variabel yang mungkin bertanggung jawab
atas kinerja pada ukuran bahasa kedua telah diperiksa ... tidak selalu mudah untuk mendeteksinya. yang mana dari
komponen bahasa integratif telah disebarkan oleh unsur-unsur apa saja dalam program CALL - memang ada yang
pernah. Sebuah Penentuan tegas unsur-unsur dan komponen ini tidak mungkin karena kemampuan berbahasa
adalah fungsi dari matriks berbagai variabel, termasuk karakteristik mahasiswa, dan faktor-faktor kontekstual
seperti jumlah keseluruhan dan jenis instruksi formal yang diterima atau diterima siswa. (42-43)

Perubahan dalam praktek CALL dan penelitian

Perubahan akhirnya datang ke praktek dan paradigma untuk praktik dan penelitian CALL, tapi
itu harus menunggu konvergensi teknologi dan pengaruh pedagogis di akhir tahun 1990-an,
yang merupakan salah satu alasan mengapa jatuh di luar kerangka waktu dari meta-analisis
komprehensif terakhir dari studi berbasis komputer komparatif (Kadiyala & Crynes: 1998).
Bahkan, hanya dua studi yang termasuk dalam meta-analisis Zhao CALL yang diterbitkan
sebelum 1999.
Untuk sebagian besar, lambatnya perkembangan riset CALL berasal dari keterbatasan teknologi.
Hingga pertengahan 1990-an, aplikasi CALL, dan penelitian yang mengalir dari mereka, sangat
dibatasi oleh perangkat keras dan perangkat lunak yang tersedia. Meskipun para guru bahasa
asing meninggalkan metodologi strukturalis yang terinspirasi behavioris pada tahun 1980-an
yang mendukung pendekatan komunikatif, teknologi komputer pada hari itu tidak mampu
mendukung jenis kegiatan kolaboratif yang berpusat pada siswa yang ditentukan oleh teori
pembelajaran konstruktivis. Akibatnya, aplikasi CALL terus menargetkan pelatihan tutorial
tertulis yang terisolasi dan menggunakan praktik teknologi komputer. Ini meninggalkan ruang
lingkup kecil untuk jenis multi-segi, konteks-sensitif, evaluasi keefektifan CALL, membiarkan
sendiri studi sistematis proses kognitif yang dianut oleh mereka yang berada di ujung tombak
teknologi instruksional untuk bahasa asing.

Lebih banyak komputer yang kuat, dan sistem operasi yang lebih canggih, user-friendly dengan
multimedia terintegrasi dan dukungan untuk hampir semua sistem penulisan, memungkinkan
untuk mengeksploitasi teknologi instruksional di berbagai macam bahasa asing: berbicara,
menulis, membaca, menyimak (lihat, sebagai contoh, diskusi Frommer tentang penggunaan
CALL untuk meningkatkan pemahaman mendengarkan, volume ini). Demikian juga, kemampuan
jaringan yang ditingkatkan memberi akses penuh ke kekayaan sumber daya di World Wide Web
(WWW) dan dalam melakukannya memberikan dukungan untuk tas berbasis dan pendekatan
berbasis konten untuk akuisisi bahasa asing.

Praktek dan Riset CALL

Saat ini Seiring meningkatnya teknologi komputer, demikian pula kecanggihan evaluasi
investigasi CALL. Quasi-eksperimental quasi metode-perlakuan studi terus dilakukan tetapi,
seperti tercermin dalam Zhao, dengan desain penelitian yang lebih baik dan hasil yang
dilaporkan secara statistik. Sementara pengukuran keefektifan teknologi instruksional masih
mendominasi agenda, perbandingan media berbasis luas sekarang sudah ketinggalan zaman.
Studi keefektifan komputer versus kelas telah diberikan cara untuk evaluasi yang jauh lebih
sempit dengan menargetkan keterampilan khusus atau bidang bahasa, misalnya, penguasaan
kosakata, menyimak, membaca pemahaman, kecakapan lisan, pelafalan, dll. Evaluasi telah
menjadi lebih sensitif terhadapa variabel siswa seperti umur, level tingkatan, background
bahasa,kompetensi bahasa. Selain itu, mereka lebih sistematis mempertimbangkan konteks
pendidikan di mana pembelajaran berlangsung, yaitu., Metodologi pedagogis, tujuan studi
bahasa dan aspek etnografi dari ruang kelas atau lab bahasa (misalnya, lihat studi Blake, buku
ini, dari efek sesi obrolan online pada akuisisi kosakata). Perbandingan media sedang dibuat,
tetapi semakin mereka berfokus pada efektivitas relatif dari media berbasis komputer yang
berbeda (misalnya, e-mail versus pengolah kata)

Apa yang sedang diukur telah berubah secara signifikan juga. Efisiensi, seperti yang diukur oleh
waktu yang diperlukan untuk menyelesaikan instruksi, dan efektivitas biaya tidak lagi mencari
persamaan. Sebagian besar, perubahan dalam penekanan adalah hasil dari pergeseran dari
penggunaan teknologi komputer (yang berusaha untuk mengajarkan hal-hal yang akrab lebih
cepat dan lebih murah) untuk eksploitasi sebagai alat fasilitatif untuk mendukung pedagogi yang
inovatif dan meningkatkan kualitas pembelajaran lingkungan Hidup. Fokus perhatian sekarang
jauh lebih sedikit pada teknologi dan lebih banyak lagi pada keefektifan relatif dari teknik
pedagogis yang diimplementasikannya,., Berbagai jenis umpan balik, bantuan online, penjelasan
tekstual, format glossing, dll. Demikian pula, hasil dari kegiatan berbasis-komputer lebih secara
rutin dinilai tidak hanya dalam isolasi tetapi juga berkenaan dengan efek yang sesuai pada
bidang terkait lainnya dari silabus, seperti yang terjadi misalnya ketika kuantitas dan kualitas
partisipasi dalam diskusi sinkron dan asinkron kolaboratif terkait dengan produksi tertulis dan
lisan di ruang kelas.

Praktek CALL saat ini, dalam memberikan dukungan penting untuk metodologi berbasis tugas
dan berbasis konten dalam lingkungan sosio-budaya yang otentik, telah menjadi jauh lebih
integratif. Seperti yang dijelaskan Warschauer & Healey

...CALL integratif ... mencari keduanya untuk mengintegrasikan berbagai macam keterampilan (misalnya,
mendengarkan, berbicara, membaca, menulis) dan juga mengintegrasikan teknologi secara lebih penuh ke dalam
proses pembelajaran bahasa. Dalam pendekatan integratif, siswa belajar menggunakan berbagai alat teknologi
sebagai proses pembelajaran dan penggunaan bahasa yang sedang berlangsung, daripada mengunjungi lab
komputer sekali seminggu untuk latihan yang terpisah. (1998: 58)
Sebagai akibatnya, penilaian CALL menjadi sama berkaitan dengan aspek pembelajaran bahasa
asing yang lebih global, kurang dapat diukur, misalnya, kompetensi komunikatif, kompetensi
pragmatis, kompetensi budaya (lihat studi oleh Levet & Waryn , volume ini, untuk meningkatkan
kompetensi lintas budaya siswa). Jadi, juga, penelitian CALL telah dipinjamkan sendiri untuk
penyelidikan sosio-cthnographic kualitatif murni reaksi siswa untuk tugas-tugas dan kegiatan
berbasis teknologi dan interaksi mereka dengan instruktur dan siswa lain.

Menilai Efektivitas Pengajaran Bahasa

Asumsi efektivitas

Praktik CALL, dan ukuran dampaknya, telah terjadi jauh sejak hari-hari penggunaannya empat
puluh tahun yang lalu, terutama dalam beberapa tahun terakhir. Namun, jauh lebih sedikit
perhatian yang diberikan untuk mengukur secara obyektif efektivitas instruksi bahasa per se
daripada evaluasi CALL. Manfaat yang diklaim dari teknologi pendidikan selalu diuji, tetapi efek
instruksi pada akuisisi penguasaan bahasa asing sebagian besar tidak tertandingi. Sebagian, hal
ini disebabkan oleh asumsi kerja yang intuitif dari para guru bahasa, yang menerima begitu saja
instruksi yang membuat kontribusi positif untuk belajar. Ironisnya mungkin, di antara para ahli
teori SLA, kurangnya perhatian dengan efektivitas instruksional berasal dari asumsi yang
berlawanan. Menurut Teori Monitor (Krashen), yang memegang kekuasaan atas teori SLA
dengan baik ke tahun 1990-an, pembelajaran yang jelas tidak dapat mempengaruhi perolehan
bahasa, jadi tidak ada gunanya menyelidiki efek dari instruksi.

Mengukur efektivitas instruksi

Justru untuk menguji hipotesis pembelajaran-versus-akuisisi yang Long under mengambil

ringkasan kotak-skor dari dua belas studi, di mana semua kecuali dua ESL yang terlibat
membandingkan efektivitas relatif dari berbagai kombinasi pengajaran kelas dan teknik imersi.
Pada model penilaian berbasis awal CAI, ia berusaha untuk menentukan apakah "instruksi" yang
bertentangan dengan "eksposur," membuat perbedaan pada penguasaan bahasa. Bertentangan
dengan prediksi Teori Monitor, Long menyimpulkan

... Instruksi baik untuk Anda, terlepas dari tingkat kemahiran Anda, dari lingkungan linguistik yang lebih luas di
mana Anda menerimanya, dan jenis tes yang akan Anda lakukan. ...Untuk teori SLA dan pendidik SL, berdasarkan
studi yang tersedia saat ini, jawaban atas pertanyaan "Apakah instruksi SL membuat perbedaan? Adalah tidak
terlalu bersifat sementara" Ya. "(1983: 379- 380)

Sebagaimana harus jelas, bahkan ketika ditopang oleh data penelitian yang signifikan secara
statistik, memperlakukan "instruksi" dan "eksposur" sebagai variabel independen dengan cara
ini menderita kekurangan validitas konstruk yang sama sebagai upaya yang sama untuk
menunjukkan efektivitas "komputer" "versus" kelas." Untungnya, pelajaran yang diambil dari
kekurangan evaluasi awal CALL juga dipelajari dalam penelitian SLA, tetapi sekali lagi tidak
sebelum pertengahan 1990-an. Kesimpulan ini lahir dalam meta-analisis yang komprehensif dari
literatur penelitian SLA. antara 1980 dan 1998 (Ns & Ortega: 2000). Dari sekitar 250 studi
penelitian SLA selama dua dekade terakhir, sekitar tiga puluh persen (77/250) prihatin dengan
masalah efektivitas pembelajaran. Namun, dari ini, sebagian besar menderita dari desain
penelitian detektif. Bahkan, empat puluh dua persen (32/77) harus dikeluarkan dari meta-
analisis karena kekurangan data yang dilaporkan secara statistik. Yang paling penting adalah
pengamatan bahwa lebih dari setengah (24/45) dari semua studi SLA yang disimpan dalam
meta-analisis hanya muncul selama lima tahun terakhir dari periode penelitian.

Berbeda dengan penelitian yang termasuk dalam penelitian CALL tentang rangkuman Long yang
lama, publikasi yang tercakup dalam volume Norris & Ortega memberi perhatian khusus pada
defisi dan evaluasi variabel independen yang sedang diselidiki. The Norris & Ortega meta-
analisis terus melacak pendekatan metodologis, yaitu implisit vs instruksi eksplisit, kesadaran
metalinguistik, fokus-pada-bentuk (s), umpan balik negatif, proses input, praktek pemahaman.
Temuan SLA menunjukkan ukuran efek yang tegas, konsisten, dan sangat kuat:

Ukuran efek yang dikumpulkan di 49 sampel studi unik menunjukkan bahwa perawatan instruksional L2 yang
terfokus secara konsisten mengungguli berbagai kontrol/perbandingan atau kondisi dasar oleh rata-rata hampir
satu unit standar deviasi (d 0,96), dengan semua akun besarnya pengaruh yang besar dan meyakinkan ... (Norris
Ortega: 2000: 480)

Singkatnya, karena guru kelas telah secara intuitif dikenal, instruksi formal benar-benar memiliki
pengaruh besar pada penguasaan bahasa asing. Menariknya, meskipun, seperti yang
ditunjukkan dalam Norris & Ortega, tidak ada perbedaan yang relevan secara statistik yang
diamati antara pendekatan metodologis yang berbeda (misalnya, fokus-pada-bentuk vs fokus-
pada-bentuk).

Mengevaluasi CALL dalam Konteks Kelembagaannya

Dengan demikian, perhatian serius adalah pada terakhir dibayar untuk mengukur efektivitas
instruksi pada penguasaan bahasa. Sayangnya, bagaimanapun, evaluasi teknologi instruksi
untuk bahasa asing-aplikasi serta berorientasi pada teori terus tetap cukup terpisah dari
pertimbangan pendidikan yang lebih luas. Sementara CALL telah menjadi lebih terintegrasi ke
dalam kurikulum, dengan penilaian pengecualian yang jarang dari CALL terus fokus pada
pembelajaran produk dan proses secara independen dari pertanyaan efektivitas kurikuler secara
keseluruhan. Seperti yang ditunjukkan oleh Zhao dalam ikhtisarnya tentang CALL penelitian
selama lima tahun terakhir:

...sebagian besar penelitian adalah tentang penerapan aplikasi tunggal daripada integrasi teknologi skala besar
yang sistematis. ...perlakuan yang dilaporkan juga jangka pendek, berlangsung dari beberapa jam hingga beberapa
minggu. (2003: 13)

Selain itu, sangat sedikit perhatian yang diberikan pada hubungan teknologi pembelajaran
bahasa asing ke seluruh konteks institusional di mana itu tertanam. Akhirnya, mengambil
ukuran penuh CALL membutuhkan sebuah pemahaman, dan terus-menerus, akun tentang
bagaimana ia berkontribusi (atau tidak) pada realisasi tujuan pedagogis dan bagaimana ia secara
umum berada di lingkungan akademis. Sementara seperti di bawah pengambilan memiliki
justilication intrinsik sendiri tidak kurang termotivasi oleh perintah dari akuntabilitas
institusional. Karena sifatnya yang inovatif, belum lagi biaya yang besar, penggunaan CAI selalu
menjadi subyek pemeriksaan khusus. Hal ini sangat penting, oleh karena itu, untuk fakultas yang
terlibat dalam teknologi pengajaran bahasa asing tidak hanya untuk menginformasikan diri
mereka sendiri, tetapi juga untuk mendidik komunitas kelembagaan mereka tentang berbagai
efek dan efektivitas CALL. Dengan melakukan hal itu, perlu memperhitungkan tiga faktor yang
saling berkaitan: input, proses, dan output.

Penilaian masukan CALL

Input mengacu pada semua sumber daya yang diperlukan untuk mendukung teknologi untuk
pengajaran bahasa asing. Ketika praktik CALL bermigrasi dari mainframe ke aplikasi desktop,
infrastruktur yang dihasilkan biasanya cukup independen dari sebagian besar, jika tidak semua,
infrastruktur institusional lainnya. Daya tarik besar dari komputasi desktop adalah tepat bahwa
biaya yang lebih terjangkau memungkinkan untuk mengejar CALI. di dalam departemen bahasa
tanpa harus berurusan dengan sistem komputer institusional (administrator administrator yang,
ia harus mengatakan, tidak selalu mendukung penerapan teknologi komputasi di luar ilmu-ilmu
keras). Jauh fasilitas CALL hanya melibatkan komputer yang berdiri sendiri. Apalagi,
pengembangan perangkat lunak hampir selalu merupakan produk dari para pelopor yang
antusias yang bekerja dalam isolasi. Sejak munculnya jaringan komputer, dan terutama sumber
daya berbasis Internet, CALL telah kembali ke lingkaran penuh untuk mengandalkan dukungan
institusional. Jadi, juga, tuntutan multimedia dan pemrograman dari courseware saat ini adalah
sedemikian rupa sehingga pengembangan dan penyebarannya tidak dapat lagi terjadi dalam
isolasi.

Saat ini evaluasi komprehensif harus mempertimbangkan seluruh struktur sumber daya yang
mana CALL bergantung untuk keberhasilannya. Setiap evaluasi CALL harus menjadi bagian dari
penilaian berkelanjutan dari sarana-prasarana teknologi-hardware-perangkat lunak, dan, di atas
segalanya, bantuan staf- tersedia untuk mengejar tujuannya. Selain apa pun yang dapat secara
langsung disediakan dari dalam pusat bahasa itu sendiri, dukungan yang tersedia untuk CALL
harus mencakup masukan dari layanan teknologi informasi seperti dukungan desktop fakultas,
fasilitas jaringan kampus, dukungan teknologi pendidikan, pelatihan bagi siswa sebagai juga
fakultas), dan fasilitas produksi multimedia (bantuan pemrograman, grafik, video, desain
halaman web, dll.). Kecuali semua elemen yang memungkinkan (atau menonaktifkan) ini
dimasukkan ke dalam persamaan, tidak ada cara untuk secara akurat menentukan sejauh mana
lingkungan kelembagaan bekerja dengan atau melawan CALL (lihat Godwin-Jones & Murphy-
Judy, buku ini, untuk diskusi pentingnya masyarakat belajar untuk implementasi yang efektif dari
CALL)

Menilai masukan di tingkat departemen

Menilai keefektifan input teknologi di mana bahasa yang berangkat atau pusat memiliki
tanggung jawab langsung adalah usaha yang lugas. Ini melibatkan penyusunan laporan tahunan
yang disiapkan oleh siapa pun yang bertanggung jawab atas fasilitas dengan umpan balik dari
para pemangku kepentingan yang representatif: staf dukungan teknis, pengajar dan siswa
pengguna. Dalam melakukan laporan semacam itu, penting untuk mengetahui apa yang bekerja
dengan baik dan tidak. Padahal laporan sumatif bisa diajukan setiap tahun, perlu dipersiapkan
secara berkelanjutan. Laporan aktivitas mingguan, yang (atau seharusnya) merupakan prosedur
rutin untuk staf teknis, merupakan cara yang sangat baik untuk melacak kinerja fasilitas. Apakah
staf pendukung memiliki perangkat keras dan perangkat lunak yang diperlukan untuk
melakukan pekerjaan mereka? Jika ada kekurangan dengan dukungan teknologi tingkat
kelembagaan, staf teknis setempat akan menjadi yang pertama tahu dan berkualifikasi terbaik
untuk mengartikulasikan sifat dari setiap kesulitan dan memberikan saran untuk perbaikan.

Jika, seperti yang sering terjadi, tidak ada staf pendukung teknis dalam suatu departemen atau
pusat bahasa yang diberikan, maka umpan balik dari fakultas dan siswa semakin kritis dalam
menilai seberapa baik dukungan kelembagaan generik memenuhi kebutuhan khusus dari
instruksi bahasa asing. Untuk pedagogi menjadi efektif, teknologi yang mendukungnya harus
transparan dan ramah-tamah seperti halnya para pengguna teknologi instruksional, siswa dan
mahasiswa, memiliki hak untuk mengharapkan aset yang tersedia untuk bekerja untuk pertama
kalinya, setiap waktu. Dan ketika ada sesuatu yang salah, seperti biasanya. membuatnya
beroperasi dalam waktu sesingkat mungkin harus menjadi prioritas utama. Jika ada yang tidak
berfungsi dengan baik, perlu ada cara untuk segera melaporkannya. Untuk situasi darurat
(misalnya, proyektor komputer non-fungsional yang diperlukan segera untuk presentasi kelas)
ketika dukungan teknis lokal kurang, telepon hot-line ke fasilitas bantuan respon cepat sangat
penting, meskipun dimaksudkan untuk laporan ringkasan, operasi sistem harus dilacak secara
real time. Informasinya terlalu penting untuk menunggu hasil kuesioner akhir tahun.
Mengumpulkan umpan balik pengguna mungkin sesuatu yang sederhana seperti mengisi
formulir laporan masalah di meja resepsionis atau secanggih sistem pelaporan online. Materi
berbasis web harus selalu menyertakan mekanisme untuk melaporkan masalah (mis. Tautan
mati, fitur nonfungsional, dll.)

Menilai masukan tingkat institusional

Selain pertimbangan teknologi yang ketat, penilaian basis input CALL juga perlu untuk
memasukkan evaluasi dukungan pengembangan profesional yang tersedia untuk fakultas.
Namun, perangkat lunak dan sumber daya perangkat lunak yang mudah digunakan dari suatu
fasilitas mungkin, pelatihan dalam operasi mereka sangat penting untuk eksploitasi yang efektif.
Ketika memberikan sesi orientasi dan lokakarya pelatihan, sangat disarankan untuk
memasukkan instruksi perbaikan. Hasil kumulatif dari pelacakan kinerja seperti itu, tentunya,
perlu memberi umpan balik ke dalam ringkasan laporan tahunan evaluasi singkat.

Ketika keterlibatan fakultas dengan CALL berlangsung di luar adopsi bahan-bahan rak untuk
penciptaan courseware dan eksploitasi sumber daya fasilitatif yang inovatif (misalnya proyek
siswa berbasis video, tugas berbasis web, dll.), evaluasi upaya pengembangan profesional
menjadi lebih kompleks dan spesifik. Kecuali anggota staf teknis tersedia untuk melakukan
semua produksi media dan halaman web, yang jarang terjadi, fakultas harus memperoleh
keterampilan dasar dalam media dan pengeditan halaman web. Pelatihan untuk usaha
semacam itu dapat diberikan melalui bengkel kerja (atau untuk yang lebih berpengalaman
secara teknologi, situs web yang berisi daftar lengkap FAQ), yang seperti jenis sesi pelatihan
lainnya dapat dinilai secara terus-menerus dengan cara formulir evaluasi yang akhirnya dibuat
jalan mereka ke dalam ringkasan tahunan. Namun, kita perlu memperhatikan fakta bahwa
eksploitasi fakultas terhadap sumber daya teknologi adalah proses bertahap yang secara tipikal
membutuhkan pembekalan keterampilan "tepat waktu" yang dibina oleh bimbingan satu-satu.
Evaluasi atas dukungan semacam ini dilakukan sebagai bagian dari kuesioner tahunan. Pada
tingkat keterlibatan tertinggi dengan CALI, yang melibatkan reformasi kurikuler utama dan
proyek-proyek yang didanai, menilai kecukupan ketersediaan sumber pengembangan
profesional merupakan prasyarat yang jelas dari setiap proposal. Jadi, juga, setiap proyek besar
harus mencakup evaluasi hasil akhir dari keberhasilan atau kekurangan dukungan infrastruktur
teknologi, yang kemudian perlu memberi umpan balik ke dalam laporan tahunan.

Penggunaan teknologi instruksional yang efektif membutuhkan lebih dari sekadar akses siap ke
perangkat keras dan perangkat lunak atau pelatihan keterampilan teknis. Bahkan pembelian
perangkat lunak shell memerlukan kemampuan untuk mengevaluasi kemungkinan keefektifan
pedagogisnya, yang dengan sendirinya mensyaratkan pemahaman metodologi pedagogis yang
mendasari aplikasi CALL. Penciptaan courseware dan mengejar reformasi kurikulum berbasis
teknologi dan proyek yang didanai menuntut pemahaman yang lebih kuat dari teori belajar dan
prinsip-prinsip akuisisi bahasa kedua. Membantu menjaga agar selalu mengikuti prosedur dan
temuan penelitian pembelajaran bahasa karena penerapannya pada teknologi instruksional
dapat dikatakan sebagai aspek paling kritis dari infrastruktur pengembangan profesional (lihat
Kazeroni & Bancheri, buku ini, untuk diskusi tentang pentingnya menerapkan SLA temuan
penelitian untuk desain courseware untuk CALL). Intuisi dan pengalaman mengajar praktis
sangat penting untuk keberhasilan implementasi pembelajaran bahasa yang disempurnakan
teknologi. Namun, tanpa wawasan yang diperoleh dari studi formal akuisisi bahasa kedua,
keefektifan kegiatan CALL harus menjadi pekerjaan yang gagal. Demikian juga, dengan tidak
adanya prinsip desain yang solid, pelaporan hasil ditakdirkan untuk mengabadikan kekurangan
yang sangat kekurangan dan teknesium dari riset CALL di masa lalu. Jelas pengembangan
profesional pada tingkat ini tidak dapat disediakan oleh dukungan infrastruktur kelembagaan
generik. Kecuali keahlian yang dibutuhkan tersedia dari disiplin terkait (misalnya, psikologi,
linguistik), itu hanya dapat berasal dari departemen bahasa dan pusat bahasa itu sendiri.
Evaluasi sumatif atas sumber daya input CALL harus memperjelas kebutuhan akan keahlian SLA
dan menggambarkan seberapa baik kebutuhan ini terpenuhi.
Karena ketergantungannya yang kritis terhadap infrastruktur teknologi dari sebuah lembaga,
setiap penilaian tahunan sumber daya CALL harus mencakup evaluasi masukan tingkat
kelembagaan. Ini penting bukan hanya untuk pelaporan internal, tetapi juga untuk kepentingan
lembaga itu sendiri. Meskipun audiens utama dari laporan masukan CALL tahunan adalah
fakultas bahasa dan Dekan, bagian dari dokumen ini saya jelas ditujukan untuk administrator
teknologi kelembagaan.

Melembagakan dan memelihara infrastruktur teknologi kampus luas yang sangat mahal dan
rumit dan, seperti CALL itu sendiri, membutuhkan umpan balik yang konstan dari para
pemangku kepentingannya. Dikatakan demikian, evaluasi dukungan teknologi kelembagaan
dapat menjadi pekerjaan yang sensitif secara politis, oleh karena itu perhatian harus diambil
untuk melakukannya secara kolaboratif dan kompeten mungkin. Administrator sistem perlu
tahu layanan yang mereka sediakan memenuhi kebutuhan pengguna, yang dalam hal teknologi
pengajaran bahasa asing biasanya lebih menuntut daripada untuk disiplin humaniora lainnya
(misalnya, kebutuhan bandwidth jaringan untuk aplikasi multimedia, akses ke siaran televisi
satelit/kabel bahasa asing, dll). Tak perlu dikatakan, ketika membahas masalah teknis, adalah
menguntungkan untuk berbicara bahasa teknologi Ini adalah area di mana staf teknis dalam
departemen bahasa atau pusat bahasa dapat sangat membantu. Jika tidak ada yang tersedia,
sangat disarankan untuk berkonsultasi dengan staf teknis institusional saat menyusun bagian ini
dari laporan sumber daya masukan CALL tahunan. Laporan semacam itu harus menentukan
sumber daya apa yang digunakan dan bagaimana mereka digunakan. Perlu diketahui apa yang
berhasil dan menarik perhatian ke area-area masalah yang perlu perhatian dengan saran untuk
perbaikan. Juga penting untuk menggambarkan kebutuhan masa depan, jangka pendek,
menengah dan panjang. Menjadi, dan memproyeksikan citra, pengguna aktif dan informasi
teknologi adalah cara yang paling efektif untuk mendapatkan suara seseorang didengar dan
kebutuhan teknologi seseorang terpenuhi.

Pengkajian pengaruh CALL terhadap proses pembelajaran

Teknologi instruksional berdampak pada sejumlah aspek yang dapat diukur secara kuantitatif
dari lingkungan pengajaran yang biasanya diharapkan departemen untuk melacak secara
teratur: tingkat pendaftaran dan retensi dalam mata kuliah inti dan kelanjutan di luar
persyaratan minimal seperti tercermin dalam bahasa certificat dan jurusan lengkap bahasa.
Dalam memantau efek dari CALL atas faktor-faktor kritis ini penting untuk diingat bahwa apa
yang sedang dievaluasi bukanlah teknologi dalam isolasi tetapi keberhasilan dari kurikulum yang
dihasilkan yang memungkinkan teknologi instruksional. Ada banyak efek yang dapat
dikuantifikasi atas praktik pengajaran dan administrasi yang dapat secara langsung dikaitkan
dengan CALL: jam kontak, jam kantor, persiapan dan koreksi dan waktu yang dihabiskan untuk
tugas-tugas administratif. Melacak proses seperti itu dapat dilakukan cukup sederhana melalui
kuesioner tahunan singkat. Ketika mengevaluasi dampak teknologi instruksional pada praktik
pendidikan, penting untuk tidak mengacaukan keefektifan dan efisiensi. Pengajaran yang baik,
dengan tatau tanpa teknologi, membutuhkan waktu dan usaha. Daripada mencari untuk
mendorong siswa bersama lebih cepat atau dengan sedikit kerja (untuk instruktur atau siswa),
tujuan utama dari teknologi instruksional haruslah untuk meningkatkan kualitas pembelajaran
bahasa, untuk membuat pengajaran lebih kreatif dan termotivasi atau lebih mudah diakses.
Selain itu, setelah diamati lebih dekat, keuntungan efisiensi seringkali tidak sebesar yang
mungkin mereka pertama kali muncul. Aplikasi CALL yang mengurangi jam kelas dan beban
koreksi hampir pasti akan meningkatkan waktu persiapan. Pada akhirnya, apa yang paling
penting - dan apa yang perlu dijaga dalam fokus dalam berbagai rangkuman laporan-adalah
pengembalian keseluruhan yang dirasakan atas investasi (untuk disc yang sama, lihat Godwin-
Jones & Murphy-Judy, buku ini)

Sebagian besar, memantau efek dari CALL pada praktik akademis kuantitatif terukur hanya
masalah termasuk pengamatan yang relevan dalam prosedur pencatatan. Namun, ada juga
perbedaan kualitatif yang penting dalam praktik pengajaran bahasa yang perlu dipertimbangkan
ketika mengevaluasi dampak dari CALL pada proses pedagogis. Perbedaannya meliputi:
perubahan keyakinan guru tentang peran mereka dan siswa mereka; apa yang instruktur
harapkan dari siswa, secara pedagogis sebagai teknologi; dan harapan guru berkenaan dengan
pengembangan profesional dan dukungan untuk teknologi instruksional. Lebih jauh lagi,
integrasi CALL ke dalam kurikulum memerlukan upaya kolaboratif dengan staf pendukung teknis
dan dengan rekan kerja baik di dalam departemen maupun di seluruh institusi.

Integrasi CALL ke dalam kurikulum dapat membawa perubahan kualitatif dalam sikap siswa
terhadap pembelajaran bahasa, motivasi untuk belajar, dan belajar strategi, yang semuanya
evaluasi. Jadi, juga, lakukan ekspektasi siswa tentang apa dan bagaimana mereka akan belajar
serta tingkat disorientasi dan reorientasi pedagogis yang dapat ditimbulkan oleh integrasi
teknologi instruksional ke dalam kurrkulum (lih. Jones et al.: 1995:6.31). Hal yang sama
pentingnya untuk melacak efek pada aspek sosial dari lingkungan belajar seperti fakultas-
mahasiswa dan hubungan siswa-siswa dan interaksi.

Memantau pengaruh dari CALL pada aspek kualitatif dari proses belajar dan mengajar jelas
merupakan pekerjaan utama, yang banyak keberangkatan bahasa mungkin tidak memiliki
sumber daya (yaitu, waktu dan/atau keahlian profesional) untuk mengejar Kecuali itu dilakukan,
bagaimanapun, bagian yang sangat penting dari pengaruh teknologi instruksional pada
kurikulum akan tidak dilaporkan. Di mana tidak layak untuk melacak parameter kualitatif seperti
itu di tingkat departemen, fakultas yang terlibat dalam CALL setidaknya harus tetap mengikuti
penelitian yang dipublikasikan dalam domain ini sehingga harus waspada terhadap implikasinya
untuk keadaan khusus mereka.

Penilaian output CALL

Pengukuran output adalah aspek yang paling dikenal dari evaluasi CALL Mengevaluasi kontribusi
teknologi instruksional ke tujuan pedagogis dari seluruh program bahasa asing mengandaikan
bahwa kurikulum program memiliki tujuan dan sasaran pendidikan yang jelas dan terukur.
Formulasi eksplisit dari tujuan pedagogis sangat penting untuk mencapai dan
mengkomunikasikan pandangan yang koheren dari tujuan yang mendasari mata kuliah yang
ditawarkan kepada siswa. Tujuan khusus untuk pembelajaran siswa di setiap kursus sama-sama
penting. Para anggota fakultas fakultas sebagai sebuah kelompok perlu mempertimbangkan
pertanyaan-pertanyaan yang cermat seperti:
  Keterampilan-keterampilan mana, pada tingkat apa, yang harus dicapai oleh para siswa?
 Tata bahasa, sosiolinguistik, percakapan dan kompetensi strategis apa yang diharapkan
dari para siswa?
 Aspek budaya asing mana yang harus dipahami siswa?
 Apa lagi "isi"yang harus diperoleh?

Tujuan dan sasaran pedagogis harus didefinisikan sebagai hasil yang dapat diukur, cita-cita yang
kabur dan abstrak tidak cukup. Jika tidak, tidak ada cara untuk menentukan apakah praktik
mengajar, berdasarkan teknologi atau tidak, memiliki efek yang diinginkan.

Bukan menetapkan tujuan pedagogis yang terukur untuk instruksi bahasa asing, bagaimanapun,
hanya masalah bagi anggota fakultas bahasa individu untuk memutuskan. Koherensi akademik
mensyaratkan bahwa keputusan tersebut mencerminkan konsensus yang luas, menggabungkan
semua bahasa yang diajarkan dalam suatu institusi bahkan jika bahasa tidak selalu memiliki
tujuan yang sama. Meskipun bahasa-bahasa Eropa yang diajarkan secara umum dapat
diharapkan untuk menjadi inti dari tujuan pembelajaran, bahasa-bahasa yang sangat
terpengaruh seperti bahasa Rusia atau bahasa Yunani modern memerlukan waktu lebih lama
untuk belajar. Demikian pula, sistem penulisan dalam bahasa seperti Ibrani atau Arab, belum
lagi kompleksitas sistem logografis Asia membutuhkan lebih banyak waktu untuk dikuasai.
Bahasa atau kelompok bahasa tertentu sangat baik perlu menyesuaikan tujuan pedagogis
mereka agar sesuai dengan keadaan khusus mereka. Hal yang sama juga berlaku dalam
kaitannya dengan kursus bahasa untuk populasi siswa khusus (misalnya, penutur warisan) atau
tujuan (misalnya, bahasa Spanyol medis, bahasa Jerman untuk insinyur, dll). Meskipun tidak
selalu tataran kritis kursus bahasa pada tingkat yang sama memiliki tujuan yang sama, sangat
penting bahwa tujuan untuk semua mata kuliah yang ia tetapkan menurut metrik eksplisit,
diterima umum,. Merancang metrik semacam itu adalah pekerjaan yang bisa ditengahi.
Untungnya banyak upaya telah dimasukkan ke dalam definisi standar bahasa dan tingkat
kemahiran selama dua dekade terakhir. Contoh terbaik yang diketahui adalah, tentu saja,
Standar ACTFL untuk (Pembelajaran Bahasa Asing dan Pedoman Kecakapan Bahasa Inggris),
yang memberikan titik awal yang sangat baik bagi siapa saja yang terlibat dalam memberikan
hasil pembelajaran yang terukur secara sistematis.
Jelas, penilaian CALL tentu saja memperbesar evaluasi sistenik dari seluruh kurikulum bahasa
asing. Sedangkan CALL penelitian secara tradisional terbatas pada pemeriksaan sub-komponen
instruksi (misalnya membaca/menulis tugas, a) sesi obrolan sinkron, proyek berbasis tugas, dll)
akuntansi CALL harus memeriksa efektivitas pedagogis bukan hanya dalam hubungan untuk
keseluruhan kursus tetapi juga di semua departemen bahasa asing di dalam sebuah lembaga.
Sebagai konsekuensinya, kerangka waktu penyelidikan semacam itu harus diperluas untuk
menyalurkan hasil yang memperpanjang semester dan tahun, bukan hanya beberapa minggu
atau bulan.

Dalam menilai kontribusi CALL untuk pencapaian tujuan pedagogis, sangat penting untuk tidak
jatuh ke dalam technosentris. perangkap mencoba untuk membangun hubungan sebab-akibat
yang sederhana. Dalam lingkungan kelas alami apa pun, ada terlalu banyak faktor yang
berkontribusi untuk menganggap hubungan kausal dengan satu elemen tertentu. Jika, misalnya,
pendekatan berbasis proyek kolaboratif untuk pembelajaran bahasa asing terbukti efektif dalam
mengarahkan siswa pada pemahaman tentang sikap sebaya L2 yang tidak jelas terhadap
tanggung jawab keluarga, kemungkinan untuk berutang keberhasilannya sama seperti tujuan
pedagogi kursus, pilihan tugas, antusiasme instruktur, motivasi siswa, dan pengaruh dinamika
kelompok. seperti halnya teknologi instruksional yang digunakan. Meskipun demikian mungkin
untuk mengukur sejauh mana teknologi instruksional mendukung aktivitas pedagogis tertentu
dan meningkatkan hasil mereka, bahkan jika efek langsung dari CALL mungkin tidak dapat
diukur dengan dengan tepat. Situs web penerbit, program obrolan, dan editor halaman web,
semuanya merupakan penghormatan pada cara-cara yang dapat diidentifikasi untuk proses
pembelajaran. Evaluasi kurikuler apa pun dari CALL harus menyertakan kontribusi itu dalam
beberapa cara.

Ketika mengevaluasi efek dari CALL, penting untuk memasukkan unsur-unsur di luar hasil
linguistik yang tegang. Instruksi bahasa asing yang semakin bergantung pada keterlibatan
kolaboratif dalam tugas-tugas otentik dan pembelajaran berbasis konten, yang penilaian CALL di
tingkat kelembagaan juga harus mempertimbangkan kontribusinya terhadap keseluruhan
pendidikan siswa. Seringkali pembelajar bahasa asing mendapatkan keuntungan secara teori,
sosiolinguistik, dan kognitif dari kolaborasi dengan teman sekelas lainnya dan dengan L2 native
speaker campus- dan seluruh dunia. Ketika menggunakan alat bantu komputer yang difasilitasi,
siswa meningkatkan kompetensi teknologi mereka dengan cara yang dapat ia terapkan pada
penelitian lain dan, pada akhirnya, untuk kebutuhan yang terkait dengan pekerjaan di masa
depan. Teknologi untuk pengajaran bahasa berkontribusi pada keterampilan belajar seumur
hidup dalam cara-cara manusia, dan itu sangat penting praktisi CALL untuk mengukur dampak
dan membuatnya dikenal secara institusional.

Kesimpulan

Mengukur efek dan efektivitas CALL adalah pekerjaan yang kompleks dan menantang. Tidak ada
lagi pendukung, atau penentang, dari teknologi instruksional untuk bahasa yang bersandar
hanya bertanya: "Apakah instruksi dibantu komputer bekerja?". Tidak masuk akal untuk
bertanya secara absolut apakah "komputer" lebih efektif daripada "kelas" daripada untuk
menanyakan apakah "instruksi" lebih baik daripada "paparan." Pertanyaan sederhana
menunjukkan kesalahpahaman mendasar tentang sifat dari proses pembelajaran dan
menganggap dikotomi antara teknologi instruksional dan kelas bahasa asing yang sangat tidak
sesuai dengan praktik saat ini. Apakah penelitian berfokus pada pengujian aplikasi praktis atau
eksplorasi konstruk teoritis, menjadi bermakna-dan berguna-evaluasi CALL harus dilakukan
dengan memperhatikan banyak variabel guru dan siswa yang memenuhi konteks pendidikan di
mana pembelajaran berlangsung. Harus mencakup tidak hanya langkah-langkah langsung dari
efektivitas pembelajaran tetapi juga penilaian kuantitatif dan kualitatif dari berbagai efek
teknologi instruksional di atas kurrikulum. Selain itu, sebagai CALL menjadi sepenuhnya
terintegrasi ke dalam Kurikulum bahasa asing, evaluasinya harus dikaitkan dengan kontribusi,
baik jangka pendek maupun jangka panjang, yang dibuat untuk kurikulum itu serta lingkungan
akademik yang lebih luas yang menjadi bagiannya.

Pada tingkat keterlibatan apa pun dengan CALL, itu adalah langkah pertama untuk memilih
perangkat lunak yang tersedia, mengadopsi kegiatan berbasis komputer, mengembangkan
aplikasi, melakukan riset terapan atau teoritis, atau memetakan efek institusional CALL evaluasi
instruksional teknologi untuk pengajaran bahasa membuat tuntutan yang cukup besar pada
anggota fakultas dibebankan dengan tugas. Mereka yang terlibat dalam penilaian CALL harus
berpengalaman dalam metode pengajaran bahasa saat ini dan memiliki pemahaman yang kuat
tentang landasan teoritis mereka. Demikian juga mereka harus tahu dasar-dasar desain
instruksional, pengujian, dan kuantitatif serta pengukuran kualitatif. Demikian pula, apakah
menyiapkan laporan departemen atau menerbitkan untuk khalayak akademis yang lebih luas,
mereka yang akan menilai CALL harus memiliki pemahaman yang kuat tentang prinsip-prinsip
desain penelitian. Di atas segalanya, mereka yang terlibat dalam kebutuhan harus bekerja
secara kolaboratif; tuntutan tugas seringkali lebih besar daripada sumber daya dari setiap
individu.

Secara tepat, mengambil ukuran penuh CALL membutuhkan keahlian yang jauh lebih banyak
dalam SLA daripada teknologi. Tetapi harus dikatakan, juga, bahwa baik penggunaan maupun
penilaian dari CALL mengandaikan pengetahuan dan set keterampilan yang belum menjadi
bagian dari tradisi akademis atau pelatihan dan yang banyak guru bahasa harus dapatkan ketika
mereka melanjutkan (lihat Kazeroni, buku ini, untuk diskusi yang sangat menarik dalam hal ini).
Dengan demikian, manfaat akhir yang dapat diperoleh dari CALL sangat mirip dengan apa yang
diprediksi oleh Papert bertahun-tahun lalu untuk CAI:

Seseorang bahkan dapat membantah bahwa kontribusi utama pendidikan sejauh ini dibuat oleh kehadiran
komputer telah memaksa kita untuk berpikir meskipun masalah yang di dalamnya sendiri tidak ada hubungannya
dengan komputer. (1987: 23)

1 Karena beberapa laporan memasukkan lebih dari satu penelitian, jumlah sampel penelitian
unik yang sebenarnya dalam meta-analisis berjumlah empat puluh sembilan Referensi (1986).
Pedoman kecakapan ACTFL. Yonkers, NY: American Council on the Teaching of Foreign
Languages (1996). Standar untuk pembelajaran bahasa asing: Mempersiapkan abad ke-21.
Yonkers NY Dewan Amerika tentang Pengajaran Bahasa Asing. Adair-Hauck, B., Willinham, L &
Youngs, B.E. (2000). Mengevaluasi inmentasi technol Adams, N.B. (2002). Masalah komputasi
pendidikan fakultas postsecondary. Jurnal Alderman, D.L. (1978). Evaluasi sistem pembelajaran
dibantu komputer TICCIT di Allum, P. (2002). CALL dan ruang kelas: Kasus untuk penelitian
komparatif. ReCALL, Bayrakta, S. (2001). Sebuah meta-analisis dari efektivitas instruksi yang
dibantu komputer di Chapelle, C., & Jamieson J. (199) Masalah validitas internal dan eksternal
dalam penelitian di CALL ogy dan langugeng kedua. CALICO Journal, 17 (2), 269-306 Penelitian
Teknologi dalam Pendidikan 343), 285- 303 community college: Laporan akhir. Princeton, NJ:
Educational Testing Service 14 (1), pendidikan sains 146-166, Jurnal Penelitian Teknologi dalam
Pendidikan, 34 (2), 173-188 efektivitas. Dalam P Dunkel (Ed.), Bahasa yang dibantu komputer
dan pengujian masalah dan praktek Penelitian (pp. 37-57). New York: Harper & Row-Newbury
House. Chapelle, C., Jamieson, & Park, Y. (1996). Tradisi penelitian kelas bahasa kedua:
Bagaimana cara CALL cocok? Di M.C. Pennington (Ed.), Kekuatan CALL (hal. 33-53). Houston, TX:
Athelstan. Clark, R.E. (1994). Media tidak akan mempengaruhi pembelajaran. Penelitian &
Pengembangan Teknologi Tecanologi, 42 (2), 21-29 (1985). Membingungkan dalam pencarian
kembali komputasi pendidikan. Jurnal Penelitian Komputasi Pendidikan, 1 (2), 137-148 (1983).
Mempertimbangkan kembali penelitian tentang pembelajaran dari media Tinjauan Penelitian
Pendidikan, 53, 445-459 Clark, R.E., & Salomon, G (1985). Media dalam mengajar. Dalam M.
Wittrock (Ed.), Handbook of research on teaching (3, 464-478). New York: Macmillan