(Model Evaluasi Accountability Bridge & Model Evaluasi CIPSS)
Oleh: Tri Cahyono, M.Pd
Evaluasi merupakan langkah penting dalam manajemen program bimbingan.
Tanpa evaluasi tidak mungkin kita dapat mengetahui dan mengidentifikasi keberhasilan pelaksanaan program bimbingan yang telah direncanakan. Evaluasi program bimbingan merupakan usaha untuk menilai sejauh mana pelaksanaan program itu mencapai tujuan yang telah ditetapkan. Dengan kata lain bahwa keberhasilan program dalam pencapaian tujuan merupakan suatu kondisi yang hendak dilihat lewat kegiatan evaluasi. Evaluasi dalam pandangan umum disamakan dengan pengukuran, penilaian, padahal satu dan lainnya berbeda. Pengukuran merupakan kegiatan kuantitatif membandingkan dengan kriteria tertentu misalnya kegiatan ulangan tengah semester. Penilaian merupakan proses pemberian kategori kualitatif misalnya hasil pengukuran berupa nilai diberikan kategorisasi baik buruk. Definisi evaluasi tentu diperlukan secara sepesifik agar tidak rancu karena memiliki kemiripan dengan kedua hal tersebut. (Stufflebeam, 1973) menyatakan: “Evaluation is process of deliniating, obtaining, and providing useful information for judging decision alternatives’. Bloom et.al menyatakan, evaluation as we see it is systematic cellection of evidence to determinate whether in fact certain changes are thingking place in the learner as well as to determinate the amount or degree of change in Individual students. Definisi-definisi diatas menunjukan bahwa evaluasi didalamnya memuat pengukuran dan penilaian. Definisi (Stufflebeam, 1973) memberikan pengertian bahwa pengukuran dan penilaian dalam evaluasi dilakukan untuk memperoleh informasi untuk memperoleh keputusan serta mengukur perubahan yang terjadi pada objek evaluasi. Menurut (TIM PSG UNM, 2012) Evaluasi program dan hasil layanan BK ini perlu dilakukan oleh konselor karena a) makin meningkatnya akuntabilitas publik yang memperoleh layanan BK, baik program BK di sekolah maupun layanan BK di luar sekolah, b) evaluasi program merupakan tanggung jawab profesional dan keharusan profesional. Kebutuhan-kebutuhan ini makin mendesak di era otonomi daerah, di mana manajemen berbasis sekolah (MBS) menghendaki kemandirian sekolah dalam merencanakan program-program untuk meningkatkan kualitas sekolah, termasuk didalamnya program layanan BK. Tetapi sangat disayangkan bahwa pemahaman konselor tentang evaluasi program masih belum memadai, (TIM PSG UNM, 2012). Hal ini disebabkan a) masih ada konselor yang ketika pendidikan prajabatan belum memperoleh mata kuliah evaluasi BK, b) ketika dalam jabatan konselor belum semuanya memperoleh pelatihan dalam evaluasi program, c) kurangnya motivasi intrinsik untuk menyelenggarakan evaluasi program dan d) keuntungan pragmatik dari penyelenggaraan evaluasi umumnya msih meragukan atau belum dilakukan verifikasi. Karena itu sebagai akibat adalah konselor tidak merespon terhadap kebutuhan dilakukannya evaluasi program, masalah ini masih diperberat dengan tidak adanya pertanyaan-pertanyaan atau pola yang seragam untuk memandu proses evaluasi, akibatnya konselor sulit mengembangkan pendekatan evaluasi program yang sistematis. Oleh karenanya, untuk memperdalam khazanah ilmu pengetahuan mahasiswa dengan mengacu pada rencana pembelajaran semester (RPS) mata kuliah Evaluasi dan Supervisi Bimbingan dan Konseling dengan sub materi model evaluasi program bimbingan dan konseling, maka dosen atau tutor menyajikan 2 model dalam evaluasi program bimbingan dan konseling, yaitu model evaluasi Accountability Bridge dan model evaluasi CIPP yang dapat dijelaskan sebagai berikut:
A. Model Evaluasi Accountability Bridge (Model Jembatan)
Seiring dengan pembahasan akuntabilitas, evaluasi terus dikembangkan di Amerika. Evaluasi merupakan sebuah cara untuk mengetahui efektivitas layanan yang akan ditunjukan kepada stakeholder. (Astramovich & Coker, 2007) mereka mengatakan bahwa ‘outcomes data and evaluation findings are the means for providing information about program effectiveness to stakeholders’ (mereka mengatakan bahwa hasil data dan temuan-temuan evaluasi merupakan sarana untuk memberikan informasi tentang efektivitas program kepada para stakeholder). (Astramovich & Coker, 2007) lalu membuat model evaluasi yang berorientasi pada akuntabilitas dengan istilah brige model. Model Bridge (gambar 3.1) memiiliki dua siklus yaitu pada pengembangan program dan evaluasi pada kontek (kondisi) serta satu jembatan komunikasi (brige). Pada siklus evaluasi pengembangan program konseling akan perencanaan dan penerapan berbagai strategi, intervensi dan program, pengawasan dan penyelarasan program–program tersebut dan assessment hasil yang sebelumnya telah teridentifikasi. Pada kegiatan evaluasi dalam siklus kontek (kondisi) akan dihasilkan data hasil, saran dan respon pihak-pihak terkait atau para stakeholder atau pihak yang berkepentingan dan kebutuhan siswa yang mendapatkan layanan BK. Kedua siklus tersebut berjalan selaras dan berkelanjutan terus menerus melalui penyampaian hasil evaluasi kepada stake holder untuk menghasilkan sejumlah masukan dari mereka untuk menyusun program dengan melalui jembatan komunikasi (brige). Gambar 3.1. Siklus Evaluasi Model Jembatan (Brige Model)
Sumber: (Astramovich & Coker, 2007)
Adapun penjelasan mengenai siklus evaluasi model jembatan (bridge model)
dapat dijelaskan sebagai berikut:
1. Siklus Evaluasi Program Konseling (Counseling Program Evaluation Cycle)
a. Tahap Perencanaan Program Pada tahap ini informasi dikumpulkan melalui proses need assessment dan identifikasi tujuan layanan. Setelah itu layanan dan program konseling direncanakan dan dikembangkan. Pada tahap ini, konselor sekolah menentukan berbagai intervensi dan program yang akan diterapkan serta sumber daya yang dibutuhkan untuk menjalankan intervensi dan program tersebut. Pada tahap ini juga, konselor sekolah juga perlu membuat perencanaan yang seksama terkait dengan cara yang akan mereka gunakan untuk menilai hasilnya. Cara yang dapat digunakan untuk menilai hasil mencakup instrumen pra-pasca, indikator perfomansi, dan checklist. Selain data tambahan, data sekolah, data dari hasil laporan sendiri/ self-Report dan data observasi dapat digunakan juga (Norman C Gysbers & Henderson, 2014; Studer & Sommers, 2000). b. Tahap Implementasi Program Konselor sekolah mulai memulai melakukan program dan layanan. Tahap merujuk pada evaluasi formatif karena penyampaian atau pemberian layanan dibentuk dan oleh masukan dari siklus konteks. c. Tahap Penyelarasan Dan Pengawasan Program Pertimbangakan kesesuaian seluruh masukan juga perlu dilakukan. Hal ini berarti umpan balik dari para stakeholder perlu dipilih. Program intervensi yang terpilih akan menjadi program yang dijalankan oleh guru BK. Pertimbangan pemilihan tentu mempertimbangkan kondisi sekolah dan kesiapan personil (Guru BK) d. Tahap Assessment Hasil Pada Siklus Evaluasi Program Setelah melakukan tiga tahap diatas, konselor telah memiliki data. Namun dalam melakukan analisis dan interpretasi data memungkinkan Konselor memiliki keterbatasan. Oleh karena itu guru BK dapat melakukan diskusi dengan guru BK yang lainnya atau dengan kelapa supervise mereka. Pengunaan teknologi juga direkomendasikan untuk menganalisa data (seperti, SPSS dan Microsoft EXCELL) dapat membantu mempercepat interpretasi dan presentasi data.
2. Siklus Evaluasi Konteks Konseling (Counseling Conteks Evaluation Cycle) Pada
saat siklus ini dilakukan pada empat tahap yaitu: a. Tahap Umpan Balik Umpan balik dari pihak-pihak yang terkait, konselor sekolah dengan aktif mengumpulkan umpan balik berdasarkan pada hasil yang telah dikomunikasikan. Ketika pihak yang terlibat merasa mereka juga memiliki hak untuk bersuara/ memberi saran dalam perencanaan dan penerapan berbagai layanan yang diperlukan, mereka cenderung mendukung usaha-usaha dalam meningkatkan layanan tersebut secara berkelanjutan, (Ernst & Hiebert, 2002). b. Perencanaan Strategi Pelaksanaan Konselor sekolah akan mulai melakukan perencanaan dengan menggunakan sejumlah masukan dari stakeholder. Strategi pelaksanaan mencakup pengkajian ulang dan revisi misi dan tujuan dari program konseling sekolah secara menyeluruh. Tahap ini didalam konteks di mana program konseling sekolah tersebut diselenggarakan dan mempertimbangkan pengaruh program terhadap keseluruhan misi dan tujuan sekolah. c. Tahap need assessment Tahap ini memberikan konselor sekolah berbagai informasi penting yang akan mendesain dan mendefinisikan kembali program konseling sekolah secara keseluruhan beserta layanan yang ditawarkan didalam program tersebut. Need assessment tidak hanya mencakup kebutuhan populasi tetapi juga kebutuhan dari pihak-pihak terkait lainnya seperti pihak pengelola sekolah, orang tua, dan para guru. Need assessment yang komprehensif akan mengumpulkan informasi dari berbagai macam sumber dan harus direncanakan dengan tujuan yang jelas, (Royse, D., Thyer, B. A., & Padgett, 2010). d. Identifikasi tujuan atau sasaran Layanan harus didasarkan pada hasil-hasil utama yang ingin dicapai oleh layanan konseling, perencanaan strategis berdasarkan umpan balik pihakpihak yang terkait, dan hasil dari need assessment. Komponen penting dari penerapan suatu program adalah penyusunan intervensi dan strategi yang memiliki tujuan. Sasaran yang didesain dengan jelas. Jika program yang diterapkan tidak memiliki tujuan yang teridentifikasi dengan jelas, program tersebut tidak dapat dievaluasi keefektifannya secara tepat. Ketika tujuan layanan telah terbentuk dan teridentifikasi dengan jelas, maka seluruh siklus evaluasi akan dimulai lagi dari siklus evaluasi konteks konseling dengan memberikan umpan balik kepada perencanaan program pada siklus evaluasi program konseling. 3. Jembatan Komunikasi Pengelola sekolah, orang tua, pegawai kantor urusan pendidikan dan konseling, konselor sekolah lainnya dan para guru adalah pihak-pihak yang dapat dijadikan masukan penting pada pencapaian keberhasilan siswa. Komunikasi antara guru BK dengan stakeholder menjadi aspek penting dalam brige model. Guru BK yang mengkomunikasikan rancangan programnya dapat membantu konselor sekolah dalam mendukung layanan yang mereka berikan dan meningkatkan permintaan akan layanan yang diberikan pada siswa, (Ernst & Hiebert, 2002). Komunikasi hasil dapat berupa beberapa bentuk termasuk laporan, ringkasan, presentasi dan diskusi. B. Model Evaluasi CIPP (Stufflebeam, 1973) yang mendefinisikan evaluasi sebagai “the process of delineating, obtaining, dan providing usefull information for judging decision alternative. Definisi tersebut sejalan dengan definisi yang dikeluarkan oleh Comitte yang mendefinisikan evaluasi program dalam pendidikan as being “the process of delineating, obtaining, dan providing usefull information for judging decision alternative. Definisi ini memberikan tekanannya pada tiga (3) hal, pertama, bahwa evaluasi merupakan proses sistematis yang terus menerus. Kedua proses ini terdiri atas 3 langkah, yaitu (1) menyatakan pertanyaan yang menuntut suatu jawaban dan informasi yang spesifik untuk digali, (2) membangun data yang relevan, dan (3) menyediakan informasi akhir (kesimpulan) yang menjadi bahan pertimbangan mengambil keputusan. Ketiga evaluasi memberikan dukungan pada proses mengambil keputusan dengan memilih salah satu alternatif pilihan dan melakukan tindak lanjut atas keputusan tersebut. Lebih lanjut (Stufflebeam, 1973) berpendapat bahwa evaluasi seharusnya memiliki tujuan untuk memperbaiki (to improve) bukan untuk membuktikan (to prove). Dengan demikian evaluasi seharusnya dapat membuat suatu perbaikan, meningkatkan akuntabilitas, serta pemahaman yang lebih dalam mengenai fenomena. Hal ini yang kemudian mempengaruhi model evaluasi yang dikembangkan oleh Stufflebeam tersebut. Ia memperkenalkan model evaluasi CIPP. Model ini dipilih karena dianggap lebih menyeluruh, memiliki penekanan tidak hanya pada hasil, akan tetapi juga pada proses, dan yang paling penting evaluasi yang dikembangkan oleh Stufflebeam ini berorientasi perbaikan bukan pembuktikan. Dalam model ini, evaluasi harus dapat memberikan landasan berupa informasi informasi yang akurat dan obyektif bagi pengambil kebijakan untuk memutuskan sesuatu yang berhubungan dengan program. Evaluasi CIPP yang dikembangkan oleh stufflebeam merupakan salah satu contoh model evaluasi ini. Model CIPP merupakan salah satu model yang paling sering dipakai oleh evaluator. Model ini terdiri dari 4 komponen evaluasi sesuai dengan nama model itu sendiri yang merupakan singkatan dari Context, Input, Process dan Product, yaitu 1) Evaluasi konteks (context evaluation) merupakan dasar dari evaluasi yang bertujuan menyediakan alasanalasan (rationale) dalam penentuan tujuan, (Worthen et al., 1997). Karenanya upaya yang dilakukan evaluator da-lam evaluasi konteks ini adalah memberikan gambaran dan rincian terhadap ling-kungan, kebutuhan serta tujuan (goal); 2) Evaluasi input (input evaluation) merupakan evaluasi yang bertujuan menyediakan informasi untuk menentukan bagaimana menggunakan sumberdaya yang tersedia dalam mencapai tujuan program; 3) Evaluasi proses (process evaluation) diarahkan pada sejauh mana kegiatan yang direncanakan tersebut sudah dilaksanakan. Ketika sebuah program telah disetujui dan dimulai, maka dibutuhkanlah evaluasi proses dalam menyediakan umpan balik (feedback) bagi orang yang bertanggung-jawab dalam melaksanakan program tersebut; 4) Evaluasi Produk (product evaluation) merupakan bagian terakhir dari model CIPP. Evaluasi ini bertujuan mengukur dan menginterpretasikan capaian-capaian program. Evaluasi produk menunjukkan perubahan-perubahan yang terjadi pada input. Dalam proses ini, evaluasi produk menyediakan informasi apakah program itu akan dilanjutkan, dimodifikasi kembali atau bahkan akan dihentikan. Untuk lebih jelasnya penerapan tentang model evaluasi CIPP dapat dijelaskan sebagai berikut, yaitu: 1. Evaluasi Konteks (Contex Evaluation) Orientasi utama dari evaluasi konteks adalah untuk mengidentifikasi kekuatan dan kelemahan suatu objek, seperti institusi, program, populasi target, atau orang, dan juga untuk menyediakan arahan untuk perbaikan. Stufflebeam mengemukakan bahwa objektivitas utama dari tipe ini adalah untuk menelaah status objek secara keseluruhan, untuk mengidentifikasikan kekurangan, untuk mengidentifikasikan kekuatan yang dimiliki yang dapat digunakan untuk memperbaiki kekurangan, untuk mendiagnosa masalah sehingga dapat ditemukan solusi yang dapat memperbaikinya, dan secara umum untuk memberikan gambaran karakteristik lingkungan/setting program. Evaluasi konteks juga bertujuan untuk melihat apakah tujuan yang lama dan prioritas terhadapnya telah sesuai dengan kebutuhan yang seharusnya dilayani. Apapun yang menjadi fokus objeknya, hasil dari evaluasi konteks harus menyediakan dasar untuk penyesuaian (pemantapan) tujuan dan prioritas, serta target perubahan yang dibutuhkan. Tujuan evaluasi konteks adalah untuk menyediakan alasan yang rasional bagi konselor dan administrator dalam menentukan tujuan dan kompetensi siswa, yang mana semua itu akan membantu membentuk program dan highlight berbagai elemen struktur dalam kebutuhan akan perhatian. Disinilah, evaluator harus mendefinisikan lingkungan (invironment) dimana program dilaksanakan, mengidentifikasikan berbagai kebutuhaan yang tidak terakomodir, dan menentukan kenapa kebutuhan ini belum diakomodir. Evaluasi ini dicapai melalui seperangkat evaluasi berdasarkan penelahana (assesment) atas kebutuhan pelanggan (Customers), penentuan atas kelebihan dan kekurangan program terkini, dan menyetujui prioritas program. (Trotter & Kell, 2014) mengidentifikasikan empat langkah dalam melakukan evaluasi konteks dalam program bimbingan klasikal. Keempat langkah tersebut meliputi; mengidentifikasikan kebutuhan siswa melalui diskusi dengan siswa, guru, dan orang tua, mengkonstruk item survey, melakukan survey kebutuhan, serta membandingkan kebutuhan siswa berdasarkan evaluasi dengan tujuan yang telah ditetapkan. Berdasarkan pembahasan di atas, maka evaluasi konteks yang dimaksud adalah kesesuaian antara tujuan yang telah ditetapkan dengan kebutuhan siswa, yang meliputi; permasalahan siswa, serta tugas perkembangan siswa. Evaluasi konteks bukan hanya dimaksudkan untuk membantu guru bimbingan konseling menemukan kebutuhan yang tidak terakomodir, atau tujuan yang tidak relevan dengan kebutuhan, akan tetapi dapat juga membantu guru bimbingan konseling untuk memformulasikan tujuan program bimbingan dan konseling dan kompetensi siswa yang diharapkan. 2. Evaluasi Input (Input Evaluation) Orientasi utama dari evaluasi input adalah untuk membantu menentukan program yang membawa pada perubahan yang dibutuhkan. evaluasi input mempermasalahkan apakah strategi yang dipilih untuk mencapai tujuan program sudah tepat. Evaluasi ini dilakukan dengan menelaah dan menilai secara kritis pendekatan yang relevan yang dapat digunakan. Itu merupakan pendahuluan atau tanda kesuksesan, kegagalan, dan efesiensi atas usaha untuk melakukan perubahan. (Trotter & Kell, 2014) menambahkan bahwa evaluasi input ini juga dapat dipandang sebagai bagaimana sumbersumber sistem yang ada di sekolah dapat digunakan untuk memberikan dukungan pada praktek dan strategi yang dipilih. Evaluasi input bertujuan untuk mengidentifikasikan dan menelaah kapabilitas system, alternatif strategi program, disain prosedur dimana strategi akan dimplementasikan. Input dalam program bimbingan dan konseling dapat berupa jumlah sumber daya manusia dalam divisi bimbingan dan konseling, dukungan keuangan, ruangan, peralatan seperti komputer, software, serta media bimbingan. Evaluasi input ini dapat dilakukan dengan menggunakan metode menginventarisir dan menganalisa sumber-sumber yang tersedia, baik guru bimbingan konseling, ataupun material, strategi solusi, relevansi desain prosedur, kepraktisan dan biaya, kemudian dibandingkan dengan kriteria yang ditetapkan berdasarkan telaah literatur, atau dengan mengunjungi program yang telah berhasil, atau berdasarkan ahli. Untuk mengetahui apakah strategi yang ditetapkan oleh divisi bimbingan dan konseling dalam mencapai tujuannya sudah tepat tentunya tidak akan terlepas dari sumber-sumber yang mereka miliki. (N C Gysbers & Henderson, 2000) bahkan mengatakan bahwa efesiensi suatu program bimbingan dan konseling dapat diukur berdasarkan keberadaan sumber-sumber yang dimiliki oleh suatu sekolah. Menentukan suatu strategi tentunya perlu mempertimbangkan sumber apa yang mereka miliki. Dengan mempertimbangkan sumber-sumber yang dimiliki, strategi akan lebih realistis, dan didukung dengan kemampuan yang ada. Pemilihan strategi yang tidak mempertimbangkan sumbersumber yang dimiliki tentunya dapat membuat strategi sulit diterapkan karena mungkin tidak atau kurang realistis. (N C Gysbers & Henderson, 2000) mengemukakan bahwa sumber-sumber yang mestinya ada pada program bimbingan dan konseling terdiri atas tiga kategori, yaitu sumber berupa personel, sumber berupa finansal, dan sumber berupa kebijakan. 3. Evaluasi Proses (Process Evaluation) Evaluasi proses merupakan evaluasi yang dilakukan untuk melihat apakah pelaksanaan program sesuai dengan strategi yang telah direncanakan. Dalam ungkapan yang lain, Stufflebeam mengatakan bahwa evaluasi proses merupakan pengecekan yang berkelanjutan atas implementasi perencanaan. Evaluasi proses bertujuan untuk mengidentifikasikan atau memprediksi dalam proses pelaksanaan, seperti cacat dalam disain prosedur atau implementasinya. Evaluasi proses juga bertujuan untuk menyediakan informasi sebagai dasar memperbaiki program, serta untuk mencatat, dan menilai prosedur kegiatan dan peristiwa. Evaluasi proses ini dapat dilakukan dengan memonitor kegiatan, berinteraksi terus menerus, serta dengan mengobservasi kegiatan, dan staf. Hal ini dapat melibatkan pengukuran pre-test dan post-test terhadap pengetahuan dan keterampilan, mengobservasi perilaku tertentu pada siswa, selfreport mengenai perbaikan tingkah laku, evaluasi performance rutin (tingkat, tes terstandard, portofolios), self-studi yang terus-menerus, studi kasus individual, kehadiran dan data kedisplinan, kesesuaian antara program dengan pelaksanaan, keterlaksanaan program, pengukuran sosiometri, serta hambatan-hambatan yang ditemui. Berdasarkan pembahasan di atas, maka evaluasi proses dalam hal ini meliputi; keterlaksanaan program, pemberian materi bimbingan, penggunaan media bimbingan, penggunaan teknik bimbingan, penggunaan komputer dan software, serta penggunaan anggaran/dana. 4. Evaluasi Produk (Product Evaluation) Evaluasi produk adalah evaluasi yang bertujuan untuk mengukur, menginterpretasikan, dan menilai pencapaian program. Feedback atas pencapaian/prestasi ini penting selama pelaksanaan program dan sebagai sebuah kesimpulan. Evaluasi produk juga bertujuan mengumpulkan deskripsi dan evaluasi terhadap luaran (outcome) dan menghubungkan itu semua dengan objektif, konteks, input, dan informasi proses, serta untuk menginterpretasikan kelayakan dan keberhargaan program. Evaluasi produk dapat berupa dampak layanan bimbingan terhadap kegiatan belajarmengajar, respon siswa, personel sekolah, orangtua, dan masyarakat, terhadap layanan bimbingan, perubahan kemajuan siswa, pencapaian tugas perkembangan, serta keberhasilan setelah menamatkan sekolah. Evaluasi produk dapat dilakukan dengan membuat definisi operasional dan mengukur kriteria objektif, melalui mengumpulkan evaluasi dari stakeholder, dengan unjuk kerja (performing) baik dengan menggunakan analisis secara kuantitatif, maupun kualitatif. Analisis kuantitatif digunakan untuk mengetahui pengaruh program pada tujuan yang ditetapkan, sedangkan analisis kualitatif dapat digunakan untuk memperkaya informasi mengenai aspek produk. Berdasarkan pembahasan di atas, maka evaluasi produk dalam hal ini meliputi; adanya peningkatan pencapaian tugas perkembangan siswa. DAFTAR PUSTAKA
Astramovich, R. L., & Coker, J. K. (2007). Program evaluation: The accountability
bridge model for counselors. Journal of Counseling & Development, 85(2), 162– 172. Ernst, K., & Hiebert, B. (2002). Toward the development of a program evaluation business model: Promoting the longevity of counselling in schools. Canadian Journal of Counselling and Psychotherapy, 36(1). Gysbers, N C, & Henderson, P. (2000). Developing and managing your school guidance program Ord ed. Alexandria, VA: American Counseling Association. Gysbers, Norman C, & Henderson, P. (2014). Developing and managing your school guidance and counseling program. John Wiley & Sons. Royse, D., Thyer, B. A., & Padgett, D. K. (2010). Program Evaluation: : An introduction. Nelson Education. Studer, J. R., & Sommers, J. A. (2000). The professional school counselor and accountability. NASSP Bulletin, 84(615), 93–99. Stufflebeam, D. L. (1973). Toward a science of educational evaluation. Evaluation of Education, 11, 20. TIM PSG UNM. (2012). Bimbingan dan Konseling: Modul Pendidikan dan Latihan Profesi Guru. Universitas Negeri Surabaya. Trotter, H., & Kell, C. (2014). Seeking impact and visibility: Scholarly communication in Southern Africa. African Minds. Worthen, B. R., Sanders, J. R., & Fitzpatrick, J. L. (1997). Program evaluation. Alternative Approaches and Practical Guidelines, 2.
Manajemen waktu dalam 4 langkah: Metode, strategi, dan teknik operasional untuk mengatur waktu sesuai keinginan Anda, menyeimbangkan tujuan pribadi dan profesional