Data Collection Strategies

Tidak ada satu cara terbaik: keputusan tergantung

pada:
Apa yang perlu Anda ketahui: nomor atau cerita
Di mana data berada: lingkungan, file, orang
Sumber daya dan waktu yang tersedia
Kompleksitas data yang akan dikumpulkan
Frekuensi pengumpulan data
bentuk dimaksudkan analisis data

Data Collection

Rules for Collecting Data

Gunakan metode pengumpulan data
beberapa
Menggunakan data yang tersedia, tapi perlu
tahu

Jika harus mengumpulkan data asli:

peka terhadap beban orang lain
pre-test, pre-test, pre-test
menetapkan prosedur dan mengikuti mereka
(protokol)
memelihara catatan yang akurat dari definisi dan
coding
memverifikasi keakuratan coding, input data

bagaimana langkah-langkah yang didefinisikan

bagaimana data dikumpulkan dan dibersihkan
sejauh mana data yang hilang
bagaimana akurasi data dipastikan

Structured Approach

Use Structured Approach When:

Semua data yang dikumpulkan dengan cara

yang sama
Terutama penting untuk multi-situs dan
klaster evaluasi sehingga Anda dapat
membandingkan
Penting ketika Anda harus membuat
perbandingan dengan intervensi alternatif

perlu menjawab pertanyaan sejauh

memiliki sampel besar atau populasi
tahu apa yang perlu diukur
harus menunjukkan hasil numerik
perlu membuat perbandingan di situs yang
berbeda atau intervensi
6

Use Semi-structured Approach

when:

Semi-structured Approach
Sistematis dan ikuti prosedur umum namun
data tidak dikumpulkan dengan cara yang
persis sama setiap waktu
Lebih terbuka dan fluid
Tidak mengikuti naskah yang kaku

melakukan pekerjaan eksplorasi

mencari pemahaman, tema, dan / atau
masalah
perlu narasi atau cerita
ingin mendalam, kaya, informasi
"backstage"
berusaha untuk memahami hasil data yang
tak terduga

dapat meminta untuk lebih detail

orang bisa mengatakan apa yang mereka inginkan
dengan cara mereka sendiri

Characteristics of Good Measures

Relevance
Apakah ukuran capture
yang penting?

Apakah ukuran yang relevan?

Apakah mengukur kredibel?
Apakah mengukur valid?
Apakah ukuran terpercaya?

Tidak mengukur apa yang

mudah bukan apa yang
dibutuhkan

Credibility

10

Internal Validity
Seberapa baik mengukur
menangkap apa yang
seharusnya?

Apakah mengukur dipercaya? Apakah akan

dilihat sebagai cara yang wajar dan sesuai
untuk menangkap informasi yang dicari?

11

Adalah ukuran valid

permintaan daftar
tunggu?

12

Reliability
Ukuran presisi dan tingkat
stabilitas- mana hasil
yang sama akan
diperoleh dengan
percobaan diulang

Quantitative Approach

Bagaimana diandalkan
adalah:
berat lahir bayi yang
baru lahir?
kecepatan diukur
dengan stopwatch?

Data dalam bentuk numerik

Data yang dapat tepat diukur
usia, biaya, panjang, tinggi, luas, volume, berat,
kecepatan, waktu, dan suhu

Sulit untuk mengembangkan

Lebih mudah untuk menganalisis

13

14

Qualitative Approach

Which Data?

Data yang berhubungan dengan deskripsi

Data yang dapat diamati atau dilaporkan sendiri,
tetapi tidak selalu tepat diukur
Kurang terstruktur, lebih mudah untuk
mengembangkan
Dapat memberikan "data yang kaya" - rinci dan
berlaku secara luas
Adalah menantang untuk menganalisis
Adalah padat karya untuk mengumpulkan
Biasanya menghasilkan laporan lagi

If you:

Then Use:

- want to conduct statistical analysis

- want to be precise
- know what you want to measure
- want to cover a large group

Quantitative

- want narrative or in-depth information

- are not sure what you are able to measure Qualitative
- do not need to quantify the results
15

Obtrusive vs. Unobtrusive Methods

Obtrusive
Metode pengumpulan
data yang langsung
memperoleh informasi
dari orang-orang yang
dievaluasi
misalnya wawancara, survei,
kelompok fokus

Unobtrusive

Metode pengumpulan
data yang tidak
mengumpulkan
informasi langsung dari
evaluees misalnya,
analisis dokumen,
Google Earth,
pengamatan di
kejauhan, sampah dari
bintang-bintang
17

16

How to Decide on Data Collection

Approach
Pilihan tergantung pada situasi
Setiap teknik lebih tepat dalam beberapa
situasi daripada yang lain
Perhatian: Semua teknik tunduk bias

18

Triangulation to Increase Accuracy of

Data

Data Collection Tools

Triangulasi metode
pengumpulan informasi yang sama dengan
menggunakan metode yang berbeda

Triangulasi sumber
pengumpulan informasi yang sama dari berbagai
sumber

Triangulasi evaluator
pengumpulan informasi yang sama dari lebih dari
satu evaluator

Metode partisipatif
Catatan dan Data Sekunder
Pengamatan
Survei dan Wawancara
Grup fokus
Diaries, Jurnal, Checklist Self-dilaporkan
Penghakiman ahli
Delphi Teknik
Alat lainnya

19

Tool 1: Participatory Methods

20

Community Meetings

Melibatkan kelompok-kelompok atau

komunitas yang sangat dalam pengumpulan
data
contoh:

Salah satu metode partisipatif yang paling

umum
Harus terorganisasi dengan baik
setuju pada tujuan
menetapkan aturan dasar
yang akan berbicara
waktu yang dialokasikan untuk speaker
format untuk pertanyaan dan jawaban

pertemuan masyarakat
pemetaan
transek

21

22

Transect Walks

Mapping
Menggambar atau menggunakan peta yang ada
alat yang berguna untuk melibatkan pemangku
kepentingan
meningkatkan pemahaman masyarakat
menghasilkan diskusi, memverifikasi sumber
sekunder informasi, perubahan yang dirasakan

Jenis pemetaan:

Evaluator berjalan di sekitar komunitas

mengamati orang, lingkungan, dan sumber
daya
Butuh keterampilan pengamatan yang baik
Berjalan garis transek melalui peta komunitas
- line harus melalui semua zona masyarakat

sumber daya alam, sosial, kesehatan, aset individu

atau sipil, kekayaan, penggunaan lahan, demografi

23

24

Using Existing Data Sets

Tool 2: Records and Secondary Data

Contoh sumber:
file / catatan
basis data komputer
laporan industri atau pemerintah
laporan lain atau evaluasi sebelum
Data sensus dan data survei rumah tangga
milis dan kelompok diskusi elektronik
dokumen (anggaran, bagan organisasi, kebijakan dan
prosedur, peta, laporan pemantauan)
koran dan laporan televisi

isu-isu kunci: validitas, reliabilitas, akurasi,

tingkat respons, kamus data, dan hilang
kecepatan data

25

Advantage/Challenge: Available
Data
Advantages

Sering lebih murah dan lebih cepat

daripada mengumpulkan data asli lagi

Challenges

Mungkin ada kesalahan coding atau

masalah lainnya. Data mungkin tidak
persis apa yang saya butuhkan. Anda
mungkin mengalami kesulitan
mendapatkan akses. Anda harus
memverifikasi validitas dan reliabilitas
data

26

Tool 3: Observation
Lihat apa yang terjadi
pola lalu lintas
pola penggunaan lahan
Tata letak daerah kota dan pedesaan
kualitas perumahan
kondisi jalan
kondisi bangunan
yang pergi ke klinik kesehatan

27

Observation is Helpful when:

28

Degree of Structure of Observations

membutuhkan informasi langsung

mencoba untuk memahami perilaku yang
sedang berlangsung
ada bukti fisik, produk, atau output daripada
yang bisa diamati
perlu menyediakan alternatif saat
pengumpulan data lainnya adalah tidak layak
atau tidak pantas

Terstruktur: menentukan, sebelum pengamatan,

tepatnya apa yang akan diamati sebelum
pengamatan
Terstruktur: pilih metode tergantung pada situasi
tanpa ide-ide pra-hamil atau rencana tentang apa
yang harus mengamati
Semi-terstruktur: gambaran umum tentang apa
untuk mengamati tapi tidak ada rencana khusus

29

30

Ways to Record Information from

Observations

Google Earth
Maps and satellite images for complex or
pinpointed regional searches
Has an Advanced version and an Earth
Outreach version
Web site for Google Earth

panduan observasi
bentuk cetak dengan ruang untuk merekam

sheet rekaman atau checklist

Ya / tidak ada pilihan; penghitungan, skala
penilaian

catatan lapangan

http://earth.google.com/

Setidaknya terstruktur, tercatat dalam narasi, gaya

deskriptif
31

Guidelines for Planning Observations

Memiliki lebih dari satu pengamat, jika
memungkinkan
pengamat kereta api sehingga mereka
mengamati hal yang sama
Pilot menguji instrumen pengumpulan data
observasi
Untuk pendekatan yang kurang terstruktur,
memiliki beberapa pertanyaan kunci dalam
pikiran

32

Advantages and Challenges:

Observation
Advantages Data Mengumpulkan pada aktual vs
diri melaporkan perilaku atau
persepsi. Ini adalah real-time vs
retrospektif
Challenges Pengamat Bias, berpotensi tidak bisa
diandalkan; interpretasi dan coding
tantangan; sampel bisa menjadi
masalah; dapat padat karya; tingkat
respons yang rendah

33

Tool 4: Surveys and Interviews

34

Structures for Surveys

Sangat baik untuk menanyakan orang tentang:

Tersusun:
Justru worded dengan berbagai tanggapan yang
telah ditentukan bahwa responden dapat memilih
Semua orang bertanya persis pertanyaan yang
sama dengan cara yang persis sama, mengingat
persis pilihan yang sama

persepsi, opini, ide

Kurang akurat untuk mengukur perilaku

Sampel harus mewakili keseluruhan
masalah besar dengan tingkat respons

Semi-terstruktur
Meminta set umum yang sama dari pertanyaan
tapi jawaban atas pertanyaan-pertanyaan yang
didominasi terbuka
35

36

Modes of Survey Administration

Structured vs.
Semi-structured Surveys
Structured

sulit untuk mengembangkan

mudah untuk menyelesaikan
lebih mudah untuk menganalisis
lebih efisien ketika bekerja dengan jumlah besar

Semistructured

lebih mudah untuk mengembangkan: pertanyaan

terbuka
lebih sulit untuk menyelesaikan: memberatkan bagi
orang untuk menyelesaikan sebagai kuesioner selfdiadministrasikan
lebih sulit untuk menganalisis tetapi menyediakan
sumber kaya data, interpretasi tanggapan terbuka
37
subjek bias

survei telepon
kuesioner self-administered didistribusikan
melalui surat, e-mail, atau situs web
kuesioner diberikan, umum dalam konteks
pembangunan
Dalam konteks pembangunan, sering isu
bahasa dan terjemahan

38

Advantages and Challenges of Surveys

Mail / Phone / Internet Surveys

masalah keaksaraan
pertimbangkan aksesibilitas
keandalan layanan pos
waktu penyelesaian

pertimbangkan Bias
Apa segmen penduduk memiliki akses telepon?
Akses internet?

Advantages

Terbaik ketika Anda ingin tahu apa yang

orang pikirkan, percaya, dan melihat, hanya
mereka dapat memberitahu Anda bahwa

Challenges

Orang mungkin tidak akurat mengingat

perilaku mereka atau mungkin enggan
untuk mengungkapkan perilaku mereka jika
itu adalah ilegal atau stigma. Apa yang
orang berpikir mereka lakukan atau katakan
mereka lakukan tidak selalu sama dengan
apa yang sebenarnya mereka lakukan.
40

39

Challenges of Interviews

Interviews

Bisa mahal, padat karya, dan memakan waktu

pendengaran selektif pada bagian dari
pewawancara mungkin kehilangan informasi
yang tidak sesuai dengan pra-ada keyakinan
sensitivitas budaya: misalnya, isu gender

Sering semi-terstruktur
Digunakan untuk mengeksplorasi isu-isu
kompleks secara mendalam
Memaafkan kesalahan: pertanyaan tidak
jelas dapat diklarifikasi selama wawancara
dan berubah untuk wawancara berikutnya
Dapat memberikan evaluator dengan rasa
intuitif situasi
41

42

Tool 5: Focus Groups

Focus Groups Are Inappropriate when:

Jenis penelitian kualitatif di mana kelompokkelompok homogen kecil orang bersama-sama

melakukan informal membahas topik tertentu
di bawah bimbingan moderator
Tujuan: untuk mengidentifikasi masalah dan
tema, informasi tidak hanya menarik, dan
tidak "penting"

hambatan bahasa dapat diatasi

evaluator memiliki sedikit kontrol atas situasi
kepercayaan tidak dapat dibangun
ekspresi bebas tidak dapat dipastikan
kerahasiaan tidak dapat dijamin

43

44

Advantages and Challenges of

Focus Groups

Focus Group Process

Phase

Action

Opening

Ice-breaker; explain purpose; ground rules;

introductions
2 Warm- Relate experience; stimulate group interaction;
up
start with least threatening and simplest questions
3 Main
Move to more threatening or sensitive and
body
complex questions; elicit deep responses; connect
emergent data to complex, broad participation
4 Closure End with closure-type questions; summarize and
refine; present theories, etc; invite final comments
or insights; thank participants

Advantages Dapat dilakukan relatif cepat dan mudah;

mungkin memerlukan waktu staf kurang dari
mendalam, di-orang wawancara;
memungkinkan fleksibilitas untuk membuat
perubahan dalam proses dan pertanyaan;
dapat menjelajahi perspektif yang berbeda;
bisa menyenangkan
Challenges Analisis memakan waktu; peserta tidak
mewakili populasi, mungkin biasing data;
kelompok dapat dipengaruhi oleh moderator
atau anggota kelompok dominan

45

Tool 6: Diaries and Self-Reported Checklists

Gunakan ketika Anda ingin menangkap
informasi tentang peristiwa dalam kehidupan
sehari-hari
Peserta menangkap pengalaman secara realtime selambat kuesioner
Digunakan untuk melengkapi pengumpulan
data lainnya

46

Guidelines for Diaries or Journals

Step

Process

1 Merekrut orang tatap muka

mendorong partisipasi, banding ke altruisme, memastikan?
kerahasiaan, memberikan insentif
2 Menyediakan buku untuk setiap peserta
halaman sampul dengan jelas petunjuk, definisi, contoh
pendek memori-lari, menjelaskan istilah-istilah, komentar di lalu?
Halaman, kalender
3 Mempertimbangkan waktu-waktu untuk mengumpulkan data
jika terlalu lama, dapat menjadi memberatkan atau membosankan
jika terlalu pendek mungkin kehilangan perilaku atau peristiwa
47

48

Self-reported Checklists

Advantages and Challenges of Diaries

and Self-reported Checklists

Silang antara kuesioner dan buku harian

evaluator menetapkan daftar perilaku atau
peristiwa dan meminta responden untuk
menyelesaikan checklist
Dilakukan selama periode waktu untuk
menangkap peristiwa atau perilaku
pendekatan kuantitatif lebih dari diary

Advantages Dapat menangkap mendalam, data yang rinci yang

mungkin sebaliknya dilupakan

Dapat mengumpulkan data tentang bagaimana orang
menggunakan waktu mereka
Dapat mengumpulkan informasi sensitif
Suplemen wawancara menyediakan data kaya

Challenges Memerlukan beberapa literatur

Dapat mengubah perilaku
Membutuhkan komitmen dan disiplin diri
Data mungkin tidak lengkap atau tidak akurat
Miskin tulisan tangan, sulit untuk memahami frase
49

Selecting Experts

Tool 7: Expert Judgment

Use of experts, one-onone or as a panel
E.g., Government task
forces, Advisory Groups

50

Menetapkan kriteria untuk memilih ahli tidak

hanya pada pengakuan sebagai ahli tapi juga
didasarkan pada:

Can be structured or
unstructured
Issues in selecting
experts

bidang keahlian
beragam perspektif
beragam pandangan politik
keahlian teknis yang beragam

51

Advantages and Challenges of

Expert Judgment

Tool 8: Delphi Technique

Advantages Cepat, relatif murah

Challenges

52

Lemah untuk evaluasi dampak

Mungkin sebagian besar didasarkan
pada persepsi
Nilai data tergantung pada
bagaimana kredibel para ahli yang
dianggap
53

Memungkinkan ahli untuk terlibat jauh dalam

dialog dan mencapai konsensus, sering mengenai
prioritas
Para ahli bertanya pertanyaan spesifik; sering
peringkat pilihan
Tanggapan pergi ke pusat sumber, dirangkum dan
makan kembali ke para ahli tanpa atribusi
Para ahli setuju atau berdebat dengan komentar
orang lain '
Proses mungkin berulang
54

Other Measurement Tools

Advantages and Challenges of

Delphi Technique
Advantages Memungkinkan peserta untuk tetap anonim?
Apakah murah? Apakah bebas dari tekanan
sosial, pengaruh kepribadian, dan dominasi
individu
Kondusif untuk berpikir independen
Memungkinkan berbagi informasi
Challenges Mungkin tidak mewakili? Memiliki kecenderungan
untuk menghilangkan posisi ekstrem?
Membutuhkan keterampilan dalam komunikasi
tertulis
Membutuhkan waktu dan peserta komitmen

- Timbangan (berat
badan)
- pita pengukur
- stopwatch
- Tes kimia:
di. kualitas air

- Alat pengujian
kesehatan:
yaitu tekanan darah
- Bakat dan tes
prestasi
rapor -citizen

55

Data Collection Summary

56

A Final Note.
I never guess. It is a capital mistake
to theorize before one has data.
Insensibly one begins to twist facts and theories,
instead of theories to suit facts.
--Sir Arthur Conan Doyle

Memilih lebih dari satu teknik pengumpulan

data
Tidak ada "terbaik" alat
Jangan membiarkan alat drive pekerjaan
Anda, tetapi lebih memilih alat yang tepat
untuk menjawab pertanyaan evaluasi

Questions?
57

58

10