Professor
School of Communication
Atma Jaya Catholic University of Indonesia and Universitas Indonesia
Adjunct Professor
Department of Art and Communication
Far Eastern University, Manila, Philippine
dorien.kartika@atmajaya.ac.id
What To Evaluate?
Evaluating The
Program
Ketika Anda merancang program yang efektif untuk penelitian evaluasi, tanyakan pada
diri sendiri pertanyaan-pertanyaan berikut:
• Kriteria apa yang harus dinilai oleh program?
• Informasi apa yang dibutuhkan untuk membuat penilaian?
• Standar akurasi dan reliabilitas apa yang dibutuhkan untuk penilaian ini?
Selanjutnya, fokuskan perhatian pada sumber informasi yang dibutuhkan.
• Siapa yang memiliki informasi ini?
• Bagaimana informasi ini dapat diperoleh dari mereka?
Akhirnya, pertimbangkan bagaimana informasi tersebut akan digunakan.
• Siapa yang akan menerima evaluasi akhir dan apa yang akan dilakukan dengan
informasi tersebut?
• Seberapa rela dan mampu pembuat keputusan untuk menerima evaluasi yang kurang
positif sepenuhnya?
• Selain pembuat keputusan, siapa lagi yang akan tertarik dalam evaluasi?
Evaluation Criteria -Three Types Of Objectives
Awareness Action
Acceptance
IMPLEMENTATION FINAL
PROGRESS REPORT
REPORT EVALUATION
Implementation report bertujuan Progress report adalah evaluasi
untuk mengetahui bagaimana taktik awal, dimana praktisi PR dapat Evaluasi akhir menganalisis
dijalankan dan memastikan bahwa membuat modifikasi yang lebih keseluruhan program, bertujuan
setiap taktik terimplementasi strategis dlm untuk mengukur dampak dan
sesuai dengan yang telah mengimplementasikan programnya hasil yang dicapai setelah
direncanakan. ke depan. menjalankan berbagai taktik
komunikasi.
- Jadwal pekerjaan yang belum Bisa dilakukan dengan mengajukan Seberapa baik taktik yang telah
dan telah dikerjakan pertanyaan sbb: dijalankan dalam mencapai
- Identifikasi potensi kesulitan - Apakah pesan disebarluaskan objectives.
yang dapat merusak planning seperti yang diharapkan?
- Tentukan orang yang - Apakah mereka dipahami?
- Apakah orang merespons
bertanggung jawab atas setiap
seperti yang diharapkan?
taktik
RESEARCH DESIGN APPROACH
Desain penelitian yang paling Pengamatan awal memberikan Menggunakan 2 kelp sampel : satu
sederhana (terapkan taktik, dasar atau tolak ukur untuk kelp yang menerima pesan, kelp
ukur dampaknya, dan anggap membandingkan dengan studi lainnya adalah kelompok kontrol
yang akan dilakukan nantinya. yang tidak menerima pesan
taktik itu yang menyebabkan
Misalnya : untuk mengukur
dampak). efektivitas pesan kampanye. Ada 4 tahapan:
• Mengamati dan mengukur tiap
Sesuai untuk mengukur respon Desain ini melibatkan 3 kelompok
audiens, seperti: kehadiran, tahapan : • Mengekspos satu dengan taktik
kontribusi, pembelian, dsb. • Mengamati dan mengukur PR, dan satunya kelompok
publik control.
• Mengekspos publik • Mengukur tiap kelompok
terhadap taktik PR kembali
• Mengukur publik kembali • Membandingkan hasil masing-
masing kelompok
FACTORS IN EVALUATION DESIGN
• Evaluasi yang dibuat berdasarkan firasat dan pengalaman disebut judgmental assessment.
Feedback informal semacam ini, kadang-kadang disebut seat-of-the-pants evaluation, tidak aneh
dalam hubungan masyarakat dan komunikasi pemasaran. Ini adalah jenis penelitian yang
kadang-kadang dilakukan semua orang karena penilaian ini adalah hal yang datang secara
alamiah.
• Judgmental assessment bergantung pada pengamatan anekdotal dan subyektif seperti berikut:
"Bos menyukainya," "Klien meminta kita untuk melanjutkan proyek," "Semua orang mengatakan
program ini sukses," "Pelanggan tampak senang," dan "Hei, kita memenangkan penghargaan
untuk proyek ini. “
• Pendekatan ini didasarkan pada pengamatan pribadi, yang merupakan kekuatan sekaligus juga
menjadi keterbatasannya. Beberapa evaluasi penilaian, meskipun informal, dapat membantu
organisasi. Misalnya, penilaian oleh para ahli di luar organisasi mungkin menawarkan analisis
program yang sangat baik.
• Keterbatasan dari pendekatan ini salah satunya adalah penilaian ini informal dan berdasarkan
perasaan yang tidak melibatkan sampel representatif serta metrik standar, hasil penilaian ini
tidak dapat mengkonfirmasi efektivitas kegiatan dalam keilmuan hubungan masyarakat dan
komunikasi pemasaran.
COMMUNICATION OUTPUTS
• Mengukur produk-produk komunikasi dan distribusinya adalah fokus dari outputs evaluation,
suatu metode yang berkonsentrasi pada pengembangan dan penyajian pesan. Sebagai metode
evaluasi, pendekatan ini tidak terlalu efektif.
• Mengukur outputs mungkin merupakan tugas yang perlu dilakukan, tetapi sebenarnya bukan
alat pengukuran yang efektif. Namun para peneliti saat ini melaporkan bahwa banyak praktisi
masih banyak yang mengandalkan pengukuran keluaran (Rice dan Atkin, 2002; Xavier et al.,
2005). Berbagai metode untuk mengukur output komunikasi termasuk message production,
message dissemination, message cost, publicity value, dan advertising equivalency.
MESSAGE PRODUCTION
• Beberapa teknik penelitian evaluasi hanya berurusan dengan apakah pesan diproduksi.
Misalnya, dengan menghitung jumlah rilis berita yang ditulis, brosur yang dicetak, atau halaman
yang diformat untuk situs web. Pengukuran produksi pesan mengukur hasil kerja agensi PR,
tetapi tidak lebih dari itu.
• Meskipun pengukuran produksi pesan mungkin berguna untuk mengukur kinerja pekerjaan
individu, pendekatan ini bukanlah ukuran efektivitas program.
MESSAGE DISTRIBUTION
• Pendekatan lain untuk evaluasi awareness tidak hanya berfokus pada produksi pesan tetapi juga
pada distribusi pesan. Dalam kategori ini, evaluator berfokus pada kontak media dan bertanya
berapa banyak berita yang dikirimkan, difaks, tweet, diposting di blog, atau diunggah ke situs
web. Mengukur penyebaran pesan memberi tahu apa yang dilakukan organisasi untuk
menyebarkan pesan, tetapi metode ini tidak mengukur dampak pesan atau efektivitasnya.
MESSAGE COST
• Jenis pengukuran lain berkaitan dengan biaya pesan. Pendekatan ini menganalisis berapa banyak
uang yang dihabiskan organisasi untuk menyampaikan pesannya. Untuk media berbayar, seperti
brosur atau iklan, organisasi hanya membagi biaya media komunikasi dengan berapa kali pesan
telah direproduksi. Misalnya, jika biayanya 500 ribu untuk menghasilkan 2.500 salinan brosur,
maka masing-masing harganya 200.
• Ketika berhadapan dengan media elektronik, standar umum adalah biaya per seribu,
diidentifikasi sebagai CPM (dari kata Latin mille, yang berarti "ribuan"). Misalnya, jika sebuah
stasiun radio dengan 75.000 pendengar selama periode waktu tertentu mengenakan biaya
150.000 untuk iklan selama 30 detik, biayanya 2000 untuk setiap seribu pendengar. Biaya per
seribu adalah cara yang efektif untuk membandingkan biaya di antara berbagai media, bahkan
media cetak.
• Saat membandingkan biaya media, ingatlah bahwa elemen yang Anda bandingkan mungkin tidak
sama. Dampak dari berbagai media dan jumlah presentasi berulang untuk pesan yang
berdampak harus dipertimbangkan, serta seberapa dekat audiens media tertentu bertepatan
dengan target kunci dari organisasi.
PUBLICITY VALUE
• Komite pengukuran dari Canadian Public Relations Society telah mengembangkan sistem poin
yang sekarang digunakan oleh sebagian besar lembaga hubungan masyarakat Kanada. Disebut
media relations rating points (MRP), MRP adalah standar untuk mengevaluasi dan melaporkan
liputan media editorial untuk inisiatif hubungan masyarakat. MRP dimaksudkan untuk
membantu para praktisi dan klien memahami nilai relatif dari berbagai taktik hubungan
masyarakat.
• Prinsipnya sederhana: Praktik PR ditingkatkan dengan menggunakan cara yang konsisten dan
sistematis untuk menghitung nilai relatif dari berbagai taktik komunikasi.
• Meskipun prinsipnya sederhana, MRP dilakukan dengan proses yang canggih. Menggunakan
perangkat lunak, MRP menghasilkan poin persentase berdasarkan perhitungan yang mencakup
jumlah total artikel atau laporan, jangkauan atau total tayangan, anggaran, dan sentimen. MRP
juga memperhitungkan penyebutan perusahaan / merek dan produk, kutipan oleh juru bicara,
penggunaan foto, ajakan untuk bertindak, pesan utama, dan panjangnya siaran / cetak / laporan
online.
ADVERTISING VALUE EQUIVALENCY
• Teknik evaluasi yang umum tetapi sangat sensitif adalah yang terkait dengan biaya pesan.
Advertising value equivalency (disingkat AVE) dimaksudkan untuk menempatkan nilai dolar pada
publisitas, membuatnya sulit menentukan perbedaan antara earned media dan paid media.
• Teknik ini memperlakukan item berita seolah-olah iklan. Secara khusus, AVE berpura-pura
mengukur nilai dugaan liputan berita, menyamakan jumlah ruang publikasi atau waktu siaran
dengan biaya pembelian dengan jumlah yang sama dengan iklan.
• Misalnya, laporan berita tentang organisasi Anda dapat dipublikasikan di surat kabar lokal, yang
melibatkan ruang seluas kolom 21 inci termasuk tajuk, cerita, dan foto. Bagaimana Anda bisa
mengevaluasi laporan ini? Dengan menggunakan metode advertising equivalency, perusahaan
akan mencari biaya iklan untuk iklan 21 inci di koran itu. Pada $ 165 per kolom inci, misalnya,
cerita itu akan menelan biaya $ 3.465 jika itu sebuah iklan. Jadi publisitas dikatakan bernilai
$3.465.
• Meskipun begitu, banyak factor yang membuat nilai sebuah berita tidak dapat dipastikan,
seperti kredibilitas penulis, sentiment berita, dan raihan pembaca. Berulang kali, dan pada
akhirnya nilai dolar apa pun yang Anda berikan pada berita itu tidaklah nyata. Hal tersebut lebih
buruk daripada tidak berharga karena memberikan kesan yang salah bahwa penilaian yang tepat
telah dilakukan.
• Singkatnya, para ahli hubungan masyarakat setuju bahwa publisitas lebih berharga daripada
iklan. Mereka dapat menunjuk pada banyak studi dan konsisten yang menunjukkan kredibilitas
publisitas yang lebih tinggi daripada iklan.
Evaluation Awareness Objective
• Paparan pesan memfokuskan pada jumlah orang pada masyarakat yang terpapar oleh
Message Exposure pesan. Langkah-langkah berdasarkan tujuan ini akan dilihat lebih dekat pada taktik
komunikasi, tidak hanya mengevaluasi penyebaran pesan, namun juga perhatian
publik. kesan media secara sederhana dapat membantu melihat pesan tersebut
terpapar untuk memperkirakan sebarapa khalayaknya.
Content Message • Isi pesan memfokuskan pada evaluasi bagaimana isi pesan tersebut yang yang
disampaikan khalayak. Isi pesan tersebut dilihat apakah ada kesalahan data,
informasi negatif, kesimpulan yang tidak beralasan, info yang kadarluarsa. untuk
mengevaluasi ini dapat dilakukan penelitian isi pesan dimana menyediakan informasi
detail untuk membuat sebuah analisis isi.
• Message recall adalah teknik dari penelitian periklanan. Melakukan wawancara, survey, atau
kelompok diskusi kapada khalayak yang terpapar berita, program televisi, atau sebagainya untuk
Message Recall mengetahui apakah khalayak dapat mengingat pesan. Ada tiga tingkat dalam study pembaca
yakni “mencatat” pembaca yang memeiliki ingatan msetelah melihat sebuah iklan; “mengaitkan”
iklan yang dilihat dengan merek tertentu; dan “paling dibaca” oleh khalayak untuk mampu
menjelaskan bagian iklan yang paling diingat.
Evaluation Acceptance Objective
Menghasilkan pendapatan dengan cara melakukan publisitas tentang produk dan layanan serta rencana dan
pencapaian organisasi
Membantu organisasi menghasilkan pendapatan dengan cara menciptakan lingkungan yang baik
Membantu organisasi melemahkan lawan dengan cara mendapatkan opini public yang menguntungkan
Memberikan manfaat sosial seperti meningkatkan kesadaran keselamatan jalan raya, perawatan dan penelitian medis,
dan sejenisnya.
Public Relations Metrics
• Don Bartholomew of Ketchum Public Relations memperkenalkan hierarki untuk
metriks public relations
• Exposure metric: Bagimana ketika public diterpa sebuah pesan.
• Engagement metric: Bagaimana public berinteraksi dengan organisasi dengan
berhadapan satu sama lain dalam pesan.
• Influence metric: Sejauh mana paparan pesan dan keterlibatan berdampak
pada persepsi dan sikap publik
• Action metric: Bagaimana tindakan public terhadap pesan
Don Bartholomew Model
• Tujuan dan sasaran. Penetapan tujuan dan pengukuran adalah aspek fundamental dalam
public relations dan program komunikasi lainnya.
• Hasil atas Keluaran. Dibandingkan berfokus pada kegiatan yang dilakukan oleh praktisi PR
(output), pengukuran harus fokus pada hasil. Lebih penting untuk mengukur efek pada
hasil (termasuk kesadaran, pemahaman, sikap, dan perilaku) daripada keluaran.
• Hasil Bisnis. Evaluasi harus mengukur hasil bisnis dari perspektif konsumen, dengan fokus
pada kuantitas dan kualitas aktivitas public relations pada metrik bisnis karena mereka
memengaruhi garis bawah organisasi.
• Kualitas dan kuantitas. Karena mengukur penempatan media dan menghitung
keseluruhan tayangan tidak ada artinya, pengukuran harus fokus pada tayangan pada
publik kunci dan pada kualitas liputan media, termasuk nadanya, kredibilitas media,
pengiriman pesan, penyertaan pihak ketiga, dan keunggulan dalam medium.
Seven Principles from The Barcelona Declaration
• Kesetaraan Periklanan. Pendekatan ini mengukur biaya ruang media dan ditolak sebagai konsep
untuk memberi nilai pada public relations. Demikian juga, pengganda yang dimaksudkan untuk
menyajikan formula untuk biaya media sebagai faktor nilai hubungan masyarakat tidak boleh
diterapkan. Jika perbandingan harus dibuat antara media yang diterima dengan media berbayar,
metrik tervalidasi harus digunakan.
• Media sosial. Tidak ada metrik tunggal untuk mengukur media sosial, yang bagaimanapun dapat dan
harus diukur terhadap tujuan dan hasil yang didefinisikan dengan jelas untuk penggunaan media
sosial oleh organisasi. Pengukuran harus fokus pada keterlibatan, konservasi, dan pembangunan
komunitas dibandingkan cakupan atau metrik dari likes.
• Transparan dan Dapat Ditiru. Metode pengukuran harus transparan dan dapat dipercaya. Mereka
harus dapat diulang, yang membutuhkan pertanggungjawaban tentang metodologi dan analisis.
Evaluation of Strategic
Communication
Goals:
Pada program The Perfect Fit hal yang ingin dicapai oleh Kopernik adalah menghadirkan solusi
manajemen kesehatan menstruasi yang berkelanjutan dan ramah lingkungan.
Objectives Goals:
• Awareness: Menyebarkan informasi tentang produk reusable menstrual pad dan meningkatkan
kesadaran masyarakat akan dampatk penggunaan disposable pad terhadap lingkungan
• Acceptance: Memberikan pemahaman kepada masyarakat mengenai pentingnya menjaga
kesehatan dengan memelihara kebersihan selama menstruasi dan kesehatan reproduksi seksual.
• Action: Meningkatkan penjualan The Perfect Fit.
Message
Etos:
Selama ini Kopernik bekerjasama dengan petugas kesehatan dan bidan pemerintah setempat, serta
‘wonder woman‘ yang ada (jaringan enterpreneur mikrososial).
Sebaiknya, Kopernik menggunakan Key Opinion Leader atau influencer agar pesan dapat meluas.
Pathos:
Kopernik berusaha untuk menginspirasi masyarakat dengan menonjolkan pesan virtue dalam bentuk
pemberdayaan perempuan melalui program The Perfect Fit.
Pada program The Perfect Fit, Kopernik menggunakan fear appeal secara cukup dan tepat sasaran.
Kopernik mengangkat isu kesehatan reproduksi kewanitaan sebagai fear appeal-nya.
Kopernik menggunakan guilt appeal dengan mengangkat isu yang signifikan dan penting bagi
masyarakat, yaitu mengenai lingkungan. Kopernik menggarisbawahi bahwa setiap siklus menstruasi
memerlukan setidaknya 8 buah pembalut dan satu perempuan bisa menggunakan minimum 3,840
pembalut selama 40 tahun masa menstruasinya.
Logos
• Menggunakan tagline
Media