Anda di halaman 1dari 57

Instrumen dan pengukuran:

presisi dan validitas


Pengantar
• Semua studi penelitian klinis melibatkan pengamatan dan pengukuran
fenomena perhatian (minat).
• Pengamatan dan pengukuran merupakan hasil luaran yang diinginkan
dari suartu studi.
• Instrumen yang digunakan untuk membuatnya dapat mengalami
kesalahan, yang mungkin menimbulkan bias pada hasil sebuah studi.
• Hal pertama yang akan kita bahas adalah jenis data yang dapat
dihasilkan dari penelitian klinis.
• Kemudian akan memperkenalkan konsep berkaitan dengan instrumen
dan pengukuran.
Jenis data dan variable
• Ada beberapa cara yang berbeda untuk mengklasifikasikan data.
• Mereka dapat diklasifikasikan berdasarkan dalam fungsi sebagai
variabel bebas atau terikat, sifatnya sebagai nominal, ordinal, interval,
atau variabel rasio, dan apakah variabel tersebut kontinu, diskrit, atau
variabel dikotomis.
• Saat mengklasifikasikan variabel berdasarkan fungsi, kita ingin tahu apa
yang dilakukan variable dalam percobaan.
• Apakah itu sebab atau akibat?
• Uji klinis terdalam satu variable dianggap relatif konstan terhadap yang
lain.
• Variabel bebas berada di bawah kendali atau dapat dimanipulasi oleh
peneliti.
Jenis data dan variable
• Umumnya ini adalah penyebab yang menjadikan kita tertarik, seperti
obat, pengobatan, faktor risiko, atau tes diagnostik.
• Variabel terikat sebagai akibat atau sebagai efek dari aksi variabel bebas.
• Biasanya hasil dari paparan pengobatan atau faktor risiko, atau adanya
diagnosis tertentu.
• Kita ingin mengetahui apakah pada perubahan variabel bebas akan
menghasilkan perubahan variabel terikat.
• Sifat setiap variabel harus jelas dari desain penelitian atau ada masalah
serius dalam cara penelitian dilakukan.
• Saat mengklasifikasikan variabel berdasarkan sifatnya, yang dimaksud
adalah hierarki yang menggambarkan karakteristik matematis dari nilai
yang dihasilkan untuk variabel itu.
Jenis data dan variable
• Pemilihan variabel menjadi sangat penting dalam penerapan uji data
statistika.
• Data nominal hanya diberi nama kategori.
• Dapat dicantumkan nomor untuk masing-masing kategori, tidak akan
memiliki signifikansi intrinsik dan tidak dapat digunakan untuk
membandingkan satu bagian dari kumpulan data dengan yang lain.
• Mengubah penetapan nomor tidak berpengaruh pada interpretasi data.
• Contoh data nominal adalah klasifikasi dokter berdasarkan spesialisasi
atau pasien berdasarkan jenis kanker yang mereka derita.
• Tidak ada hubungan antara berbagai jenis dokter spesialis kecuali
bahwa mereka semua adalah dokter hasil dari sekolah kedokteran.
• Pasti tidak ada hubungan matematis antara mereka.
Jenis data dan variable
• Data ordinal adalah data nominal yang urutan variabelnya penting dan
bermakna intrinsik.
• Namun, masih belum ada hubungan matematis antara nilai data.
• Contoh khas dari data ordinal termasuk rasa sakit skor tertentu yang
diukur dengan skala yang disebut skala Likert.
• Atau penilaian dan pementasan tumor di mana tingkat yang lebih tinggi
lebih buruk daripada yang lebih rendah.
• Kuesioner umum meminta peserta untuk menyatakan apakah mereka
setuju, netral, atau tidak setuju pernyataan juga merupakan contoh skala
ordinal.
• Meskipun ada arah nilai untuk masing-masing jawaban ini, tidak ada
hubungan numerik atau matematis diantara mereka.
Jenis data dan variable
• Data interval adalah data ordinal yang ada interval antara setiap
bilangan dan juga merupakan bilangan real yang berarti.
• Namun, data interval hanya memiliki titik nol yang berubah-ubah dan,
oleh karena itu, tidak ada hubungan rasio proporsionalitas antara dua
poin.
• Salah satu contohnya adalah skor IQ umum di mana 100 adalah rata-
rata, tetapi seseorang dengan skor 200 tidak dua kali lebih pintar.
• Skor dari 200 adalah super-jenius, dan kurang dari 0,01% populasi
memiliki skor setinggi ini.
• Data rasio adalah data interval yang memiliki nilai nol mutlak, dan ini
membuat hasil yang mengambil makna baik untuk perubahan mutlak
dan relatif dalam variabel.
Jenis data dan variable
• Contoh variabel rasio adalah suhu dalam derajat Celcius dimana100◦
C adalah 50◦C lebih panas dari 50◦C atau dua kali lebih panas.
• Usia di mana anak berusia 10 tahun dua kali lebih tua dari anak
berusia 5 tahun, dan pengukuran biologis umum seperti seperti denyut
nadi, tekanan darah, laju pernapasan, pengukuran kimia darah, dan
berat badan.
• Data kontinu dapat mengambil nilai apa pun dalam rentang yang
ditentukan.
• Untuk sebagian besar tujuan yang kita pilih untuk membulatkan ke
jumlah digit yang mudah digunakan.
Jenis data dan variable
• Tinggi adalah contoh dari data kontinu karena seseorang dapat menjadi
tinggi 172 cm atau 173 cm atau 172.58763248.
• Nilai kegunaan praktis adalah 172,6 atau 173 cm.
• Nilai untuk data diskrit hanya dapat diwakili oleh bilangan bulat.
• Sebagai contoh, piano adalah instrumen dengan nilai diskrit yang hanya
ada 88 kunci, oleh karena itu, hanya 88 nada yang mungkin.
• Kita biasanya menggunakan data dikotomis untuk menggambarkan
hasil binomial, yaitu variabel-variabel yang hanya memiliki dua
kemungkinan nilai.
• Contoh yang jelas, hidup atau mati, ya atau tidak, normal atau tidak
normal, dan lebih baik atau lebih buruk.
Jenis data dan variable
• Kadang-kadang peneliti mengubah variabel kontinu menjadi variabel
dikotomis.
• Memilih cut off tunggal karena pembagian antara dua bagian dalam
melakukan hal ini.
• Sebagai contoh, serum sodium didefinisikan sebagai normal jika antara
135 dan 145 mEq/dL.
• Nilai lebih145 mendefinisikan hipernatremia, dan nilai di bawahnya tidak.
• Ini memiliki efek mendikotomikan nilai natrium serum menjadi
hipernatremia atau tidak hipernatremi.
• Semua fenomena alam dapat diukur, tetapi penting untuk menyadari
kesalahan mungkin terjadi dalam proses.
Pengukuran dalam penelitian klinis
• Kesalahan ini dapat diklasifikasikan ke dalam dua kategori: acak dan
sistematis.
• Kesalahan acak secara khas tidak dapat diprediksi arahnya atau
jumlahnya.
• Kesalahan acak menyebabkan kurangnya presisi karena bawaan
system variabilitas biologis atau sosiologis yang sedang dipelajari,
dimana variasi biologis terjadi untuk sebagian besar fungsi tubuh.
• Misalnya, dalam populasi tertentu, akan ada variasi yang kurang lebih
acak dalam denyut nadi atau tekanan darah.
• Banyak dari kejadian acak ini dapat digambarkan dengan distribusi
normal.
Pengukuran dalam penelitian klinis
• Kesalahan acak juga bisa disebabkan oleh kurangnya ketelitian alat ukur.
• Instrumen yang tidak tepat akan menjadi sedikit hasil yang berbeda setiap
kali kejadian yang sama diukur.
• Selain itu, pengukuran tertentu secara inheren lebih tepat daripada yang
lain.
• Misalnya, natrium serum diukur di dalam sel otot tikus akan menunjukkan
kesalahan acak yang lebih sedikit daripada derajat dari depresi pada
manusia.
• Mungkin juga ada variabilitas bawaan dengan cara itu peneliti atau dokter
praktik yang berbeda menafsirkan berbagai data tentang pasien.
• Kesalahan sistematis mewakili distorsi yang konsisten dalam arah atau
besarnya dari hasil.
Pengukuran dalam penelitian klinis
• Kesalahan sistematis atau sistemik adalah fungsi dari orang tersebut
melakukan pengukuran atau alat kalibrasi.
• Sebagai contoh, peneliti dapat secara konsisten mengukur tekanan
darah menggunakan alat pengukur tekanan darah manset yang selalu
terbaca tinggi 10 mmHg.
• Lebih umum, pengukuran dapat dipengaruhi oleh pengetahuan tentang
aspek lain dari situasi pasien menyebabkan peneliti menanggapi secara
berbeda untuk beberapa pasien dalam penelitian tersebut.
• Di sebuah studi asma, peneliti dapat secara konsisten melatih beberapa
subjek penelitian berbeda dalam melakukan laju aliran ekspirasi
puncak (PEFR), yang bergantung pada upaya uji.
Pengukuran dalam penelitian klinis
• Sumber lain dari kesalahan sistematis dapat terjadi ketika ada
nonrandom penugasan mata pelajaran kepada satu kelompok dalam
suatu penelitian.
• Misalnya, peneliti dapat secara istimewa menetapkan pasien dengan
bronkitis ke kelompok plasebo ketika mempelajari efek antibiotik
pada bronkitis dan pneumonia.
• Ini akan menjadi bermasalah karena bronkitis hampir selalu membaik
dengan sendirinya dan pneumonia terkadang menjadi lebih baik
dengan sendirinya, tetapi lebih kecil kemungkinannya dan lebih sering
terjadi perlahan-lahan.
Pengukuran dalam penelitian klinis
• Kemudian, jika pasien yang diberikan plasebo menjadi lebih baik
sesering mereka yang meminum antibiotik, penyebab perbaikan tidak
pasti karena mungkin terjadi karena pasien plasebo akan sembuh lebih
cepat.
• Kedua jenis kesalahan dapat menyebabkan hasil yang salah.
• Tugas peneliti adalah untuk meminimalkan kesalahan dalam penelitian
dan untuk meminimalkan bias dalam penelitian.
• Peneliti biasanya lebih berhasil dalam mengurangi kesalahan sistematis
dari pada kesalahan acak.
• Keseluruhan, itu adalah tugas pembaca untuk menentukan apakah ada
bias, dan jika demikian sejauh mana dan dalam ke arah mana bias itu
cenderung mengubah hasil penelitian.
Instrumen dan Bagaimana Memilihnya
• Instrumen umum termasuk instrumen objektif seperti thermometer
atau sphygmomanometer (manset tekanan darah dan manometer) dan
instrument subjektif seperti kuesioner atau skala nyeri.
• Berdasarkan sifatnya, pengukuran objektif yang dilakukan oleh
instrumen fisik seperti sel darah counter otomatis cenderung sangat
tepat.
• Namun, instrumen ini mungkin juga dipengaruhi oleh variasi acak dari
sistem biologis dalam tubuh.
• Contoh dari ini adalah pengukuran tekanan hemodinamik seperti
tekanan arteri atau vena, saturasi oksigen, dan tekanan jalan napas
yang diambil oleh transduser.
Instrumen dan Bagaimana Memilihnya
• Sebenarnya pengukuran mungkin sangat tepat, tetapi mungkin ada
banyak variasi acak sekitar hasil pengukuran yang sebenarnya.
• Instrumen subyektif meliputi pertanyaan yang harus dijawab ya atau tidak
atau dengan skala ordinal (0, 1, 2, 3, 4, atau5) atau dengan menempatkan
x pada garis yang telah diukur sebelumnya.
• Ukuran rasa sakit atau kecemasan adalah contoh umum dan ini umumnya
dikenal tidak dapat diandalkan, tidak akurat, dan seringkali tidak tepat.
• Secara keseluruhan, pengukuran, data yang diberikan instrumen kepada
kita, adalah tujuan akhir penelitian.
• Mereka adalah hasil penerapan instrumen untuk proses sistematis
mengumpulkan data.
Instrumen dan Bagaimana Memilihnya
• Instrumen umum yang digunakan dalam kedokteran mengukur suhu,
tekanan darah, jumlah jawaban ya atau tidak, atau tingkat nyeri.
• Kualitas pengukuran hanya sebaik kualitas instrumen yang digunakan
untuk membuat mereka.
• Pemilihan instrumen yang baik merupakan bagian penting dari desain
studi penelitian.
• Peneliti harus memilih instrumen yang akan mengukur fenomena yang
menarik.
• Jika peneliti ingin mengukur tekanan darah secara akurat dan tepat,
manset tekanan darah standar akan menjadi alat yang masuk akal.
Instrumen dan Bagaimana Memilihnya
• Peneliti bisa juga mengukur tekanan darah menggunakan kateter intra-
arteri yang dipasang pada alat pengukur tekanan transduser.
• Ini akan memberikan hasil yang lebih tepat, tetapi presisi tambahan
mungkin tidak membantu dalam perawatan akhir pasien.
• Jika kelangsungan hidup adalah hasil yang diinginkan, catatan
sederhana tentang ada atau tidaknya kematian adalah ukuran terbaik.
• Untuk mengukur penyebab kematian, akta kematian juga bisa menjadi
instrument pilihan tetapi telah terbukti tidak akurat.
• Ketika hasil subjektif seperti rasa sakit, kecemasan, kualitas hidup,
atau kepuasan pasien diukur, pemilihan instrumen menjadi lebih sulit.
Instrumen dan Bagaimana Memilihnya
• Rasa sakit, ukuran yang sangat subjektif, dihargai secara berbeda oleh
orang yang berbeda.
• Beberapa pasien akan bereaksi lebih kuat dan menunjukkan lebih banyak
emosi daripada respon yang lain terhadap tingkat nyeri yang sama.
• Ada standar skor nyeri yang tersedia yang telah divalidasi dalam uji coba
penelitian.
• Skala nyeri yang paling sering digunakan adalah Skala Analog Visual
(VAS).
• Sebuah garis 10 cm diletakkan di atas kertas dengan salah satu ujungnya
berlabel "tidak ada rasa sakit sama sekali," dan ujung lainnya "sakit
terburuk yang pernah ada."
• Pasien menempatkan tanda pada skala yang sesuai dengan tingkat nyeri.
Instrumen dan Bagaimana Memilihnya
• Jika latihan ini diulang dan pasien melaporkan tingkat nyeri yang sama,
kemudian skala divalidasi.
• Ukuran hasil terbaik saat menggunakan skala ini menjadi perubahan skor
rasa sakit dan bukan skor absolut.
• Karena rasa sakit dikuantifikasi secara berbeda dalam pasien, hanya
perbedaan skor yang mungkin serupa antara pasien.
• Faktanya, ketika ini dipelajari, ditemukan bahwa pasien akan menggunakan
secara konsisten perbedaan yang sama untuk tingkat perbedaan nyeri yang
sama.
• Penelitian ini menemukan bahwa perbedaan skor nyeri 1,5 cm adalah
perbedaan penting secara klinis dalam derajat nyeri.
• Pengukuran harus tepat, andal, akurat, dan valid.
Instrumen dan Bagaimana Memilihnya
• Jenis lain dari skor nyeri adalah Skala Likert, yang merupakan ordinal lima
atau enam poin skala di mana masing-masing titik mewakili tingkat rasa sakit
yang berbeda.
• Sebuah sampel Skala Likert dimulai dengan 0 = tidak ada nyeri, dilanjutkan
dengan 1 = nyeri minimal, dan diakhiri dengan 5 = nyeri terparah yang
pernah ada.
• Pembaca harus berhati-hati ketika menafsirkan studi menggunakan sistem
penilaian jenis ini.
• Seperti VAS untuk rasa sakit, perbedaan pribadi dalam kuantifikasi dapat
mengakibatkan perbedaan besar dalam skor.
• Seorang pasien yang menempatkan 3 untuk rasa sakit mereka dihitung sangat
berbeda dari pasien yang menempatkan 4 untuk tingkat nyeri yang sama.
Instrumen dan Bagaimana Memilihnya
• Perbedaan tingkat nyeri belum diukur dengan cara yang sama seperti
VAS, dan karena merupakan skala ordinal, hasilnya mungkin tidak
digunakan dengan cara yang sama.
• Skor VAS berperilaku seperti variabel kontinu sementara skala Likerts
harus diperlakukan sebagai variabel ordinal.
• Karena itu, skala Likert adalah sangat berguna untuk mengukur
pendapat tentang pertanyaan yang diberikan.
• Misalnya, ketika mengevaluasi pendapat tentang sesuatu, responden
diberikan beberapa pilihan bergradasi seperti sangat setuju, setuju,
netral, tidak setuju, atau sangat tidak setuju.
Instrumen dan Bagaimana Memilihnya
• Masalah serupa akan muncul dengan kuesioner dan skala lainnya.
Pembaca harus terbiasa dengan instrumen survei yang umum digunakan
dalam spesialisasinya.
• Pembaca bertanggung jawab untuk memahami keterbatasan masing-
masing skor ini saat meninjau literatur.
• Ini akan mengharuskan pembaca untuk melihat lebih jauh ke dalam
penggunaan tes ini ketika pertama kali meninjau literatur medis.
• Harus disadari bahwa terkadang skor dikembangkan secara khusus untuk
penelitian, dan dalam hal ini, mereka harus divalidasi mandiri sebelum
digunakan.
• Masalah umum dalam memilih instrumen adalah praktik pengukuran
pengganti penanda.
Atribut pengukuran
• Pengukuran harus tepat, andal, akurat, dan valid.
• Presisi (realibilitas) sederhana berarti bahwa nilai pengukurannya
hampir sama setiap kali diukur. .
• Secara statistik hal ini menyatakan bahwa untuk pengukuran yang
tepat, hanya ada sedikit variasi sekitar nilai sebenarnya dari variabel
yang diukur.
• Dalam terminologi statistik ini setara dengan deviasi standar kecil atau
rentang di sekitar nilai pusat dari beberapa pengukuran.
• Misalnya, jika setiap kali seorang dokter mengukur tekanan darah,
pengukuran yang sama diperoleh, maka kita dapat mengatakan bahwa
pengukuran tersebut tepat.
Atribut pengukuran
• Pengukuran yang sama bisa menjadi tidak tepat jika tidak diulang
dengan cara yang sama, misalnya jika digunakan manset tekanan
darah yang berbeda.
• Keandalan telah digunakan secara longgar sebagai sinonim dari presisi
tetapi juga menggabungkan daya tahan atau reproduktifitas
pengukuran dalam definisinya.
• Hal ini memberitahu kita bahwa tidak peduli seberapa sering kita
mengulangi pengukuran, kita akan mendapatkan yang sama atau hasil
yang serupa.
• Itu tepat, dalam hal hasil pengukuran berulang hampir sama persis.
• Kita mencari instrumen yang akan memberi data yang tepat, konsisten,
dapat direproduksi, dan dapat diandalkan.
Atribut pengukuran
• Akurasi (validitas) adalah ukuran kebenaran hasil, yang memberitahu
kita seberapa dekat nilai yang diukur dengan nilai sebenarnya.
• Secara statistik, itu setara dengan mengatakan bahwa rata-rata atau rata-
rata aritmatika dari semua pengukuran yang dilakukan adalah nilai
aktual dan nilai sebenarnya dari benda yang diukur.
• Misalnya, pengukuran tekanan darah akan menjadi tidak akurat jika
manometer tidak dikalibrasi dengan benar atau jika ukuran manset yang
digunakan salah.
• Ketepatan tidak berarti hal yang sama dengan presisi.
• Hal ini dimungkinkan untuk pengukuran menjadi akurat tetapi tidak
tepat jika hasil rata-rata yang diukur adalah nilai sebenarnya dari hal
yang diukur tetapi penyebaran di sekitar ukuran itu sangat besar. .
Atribut pengukuran
• Presisi dan akurasi adalah fungsi langsung dari instrumen yang dipilih untuk
dibuat pengukuran tertentu
• Validitas atau akurasi memberitahu kita bahwa pengukuran benar-benar
mewakili apa yang ingin kita ukur.
• Kita mungkin memiliki pengukuran yang akurat dan tepat tetapi tidak valid.
• Misalnya, berat badan adalah ukuran yang kurang valid untuk obesitas dari
ketebalan lipatan kulit atau indeks massa tubuh.
• Tekanan darah diukur dengan manset tekanan darah standar adalah ukuran
yang valid dari tekanan intra-arteri.
• Namun, pengukuran gula darah tunggal bukanlah ukuran yang valid secara
keseluruhan kontrol diabetes.
• Sebuah tes yang disebut hemoglobin glikosilasi adalah ukuran yang valid
dari ini.
Atribut Pengukuran
PRESISI AKURASI
Definissi Tingkatan dimana suatu variabel Tingkatan dimana suatu variabel
nilainya hampir sama pada menunjukkan nilai yang
pengukuran yang berulang ulang seharusnya (Validity)
(Reliability)

Cara mengakses Bandingkan hasil pengukuran yang Bandingkan dengan standar


berulang referensi
Nilai dalam Meningkatkan power untuk Meningkatkan validitas pada
penelitian mendeteksi efek kesimpulan
Hambatan yang Random eror (chance) yang Eror sistematik (bias) yang
mungkin terjadi ditimbulkan oleh ditimbulkan oleh
Pengamat, Pengamat,
Subjek yang diamati Subjek yang diamati’
Alat yang digunakan Alat yang digunakan
Atribut Pengukuran
TINGGI VALIDITAS RENDAH

A B

INGGI
F
R
RELIABILITAS E
K
U
E
N
S
C D
RENDAH I

PENGUKURAN
Jenis validitas
• Ada beberapa definisi validitas.
• Kumpulan definisi pertama mendefinisikan validitas dengan proses yang
ditentukan.
• Ini termasuk kriteria berbasis prediktif, dan validitas permukaan.
• Definisi kedua mendefinisikan di mana validitas ditemukan dalam studi
klinis dan mencakup validitas internal dan eksternal.
• Validitas kriteria atau validitas konstruksi adalah deskripsi seberapa
dekat pengukuran dari fenomena yang menarik terhadap pengukuran lain
dari hal yang sama dengan menggunakan instrumen yang berbeda.
• Ini berarti bahwa ada penelitian yang menunjukkan bahwa penilaian
pengukuran sesuai dengan ukuran lain yang diterima dari hal yang sama.
Jenis validitas
• Demikian pula, pembacaan manset tekanan darah berkorelasi dengan
intra-arteri tekanan darah yang direkam oleh transduser tekanan listrik.
• Validitas prediktif adalah jenis validitas berbasis kriteria yang
menggambarkan seberapa baik pengukuran memprediksi hasil suatu
peristiwa.
• Ini bisa menjadi hasil dari pengukuran yang lain atau adanya dan/atau
tidak adanya hasil tertentu.
• Sebagai contoh, kurangnya demam pada pasien lanjut usia dengan
pneumonia memprediksi kematian yang lebih tinggi dibandingkan
pada kelompok pasien yang sama dengan demam.
• Ini ditentukan dari factor studi yang terkait dengan hasil spesifik
kematian pada pasien usia lanjut dengan pneumonia.
Jenis validitas
• Validitas permukaan adalah seberapa banyak hal yang masuk akal yang
dimiliki pengukuran.
• Ini adalah sebuah pernyataan fakta bahwa instrumen mengukur
fenomena yang menarik dan masuk akal.
• Misalnya, kinerja mahasiswa yang diukur pada satu ujian pilihan ganda
harus memprediksi kinerja mahasiswa itu pada ujian pilihan ganda
lainnya.
• Performa pada pemeriksaan standar pasien yang diamati secara akurat
mengukur kemampuan mahasiswa untuk melakukan anamnesis dan
pemeriksaan fisik secara akurat pada setiap pasien.
• Namun memiliki validitas permukaan tidak berarti bahwa ukuran dapat
diterima tanpa verifikasi.
Jenis validitas
• Validitas internal dan eksternal adalah istilah yang digunakan untuk
menggambarkan validitas dan merupakan cara paling umum untuk
mengklasifikasikan validitas.
• Kita harus menggunakan skema ini ketika kita menilai setiap studi
atau penelitian.
• Validitas internal ada ketika presisi dan akurasi tidak terdistorsi oleh
bias yang dimasukkan ke dalam penelitian.
• Sebuah validitas internal penelitian yang valid secara tepat dan akurat
mengukur apa yang dimaksudkan dengan penelitian tersebut.
• Validitas internal terancam oleh masalah dalam cara merancang atau
melakukan penelitia, atau dengan alat yang digunakan untuk
melakukan pengukuran.
Jenis validitas

Hubungan antara validitas internal dengan validitas eksternal


Jenis validitas

Validitas
Internal

Populasi SAMPEL Validitas


Sampel Eksternal

Populasi
Ekternal /Target
Jenis validitas
• Validitas eksternal ada ketika pengukuran dapat digeneralisasikan dan
hasilnya diekstrapolasikan ke situasi klinik atau populasi yang lain.
• Validitas eksternal terancam ketika populasi yang dipelajari terlalu
ketat dan kita tidak dapat menerapkan hasilnya ke populasi yang lain
dan biasanya lebih besar.
• Secara skematis, kebenaran dalam penelitian merupakan fungsi dari
validitas internal.
• Hasil penelitian yang valid secara internal adalah benar jika tidak ada
sumber bias serius yang dapat menghasilkan kesalahan fatal dan
membatalkan penelitian.
• Kebenaran di alam semesta yang berkaitan dengan semua pasien lain
dengan masalah ini hanya ada jika penelitian ini valid secara eksternal.
Meningkatkan presisi dan akurasi
• Dalam proses merancang penelitian, peneliti harus memaksimalkan
presisi, akurasi, dan validitas.
• Bagian metode yang merinci protokol yang digunakan dalam studi
harus memungkinkan pembaca untuk menentukan apakah
perlindungan yang cukup telah diambil untuk memastikan studi yang
valid.
• Protokol harus eksplisit dan diberikan cukup detail untuk direproduksi
dengan mudah oleh siapa saja yang membaca penelitian ini.
• Ada empat kemungkinan pola kesalahan yang dapat terjadi dalam
proses pengukuran data.
Meningkatkan presisi dan akurasi
(1) Presisi dan akurasi hasilnya bisa sama dengan nilai sebenarnya dan
hanya ada sedikit variasi di sekitar nilai sebenarnya, atau simpangan
bakunya kecil.
(2) Hasilnya mungkin tepat tetapi tidak akurat: hasilnya tidak sama dengan
nilai yang sebenarnya, tetapi hanya ada sedikit variasi di sekitar nilai itu
karena sistimatik eror atau bias.
(3) Hasil yang akurat tetapi tidak tepat: hasilnya sama dengan nilai
sebenarnya tetapi ada banyak variasi di sekitar nilai itu, atau standar
penyimpangannya besar. Ini adalah tipikal kesalahan acak, fenomena
statistik.
(4) Hasilnya tidak akurat atau tepat: ini karena acak dan kesalahan
sistematis dan dalam hal ini hasil penelitian tidak sama dengan nilai
sebenarnya dan ada sejumlah besar variabilitas di sekitar nilai.
Meningkatkan presisi dan akurasi
• Cari pola kesalahan atau kesalahan potensial ini saat menilai suatu studi.
• Dengan menggunakan pengukuran yang tepat dan objektif, standarisasi
kinerja pengukuran dan pelatihan intensif para pengamat akan
meningkatkan presisi.
• Instrumen otomatis dapat memberikan pengukuran yang lebih
andal,dengan asumsi bahwa mereka dikalibrasi secara teratur.
• Jumlah pengamat yang terlatih harus dijaga seminimal mungkin untuk
meningkatkan presisi, memiliki lebih banyak pengamat meningkatkan
kemungkinan bahwa seseorang akan membuat kesalahan serius.
• Membuat pengukuran yang tidak mennyolok mengurangi bias subjek.
• Pengukuran yang tidak mengganggu adalah mereka yang tidak dapat
dideteksi oleh subjek.
Meningkatkan presisi dan akurasi
• Misalnya, mengambil tekanan darah menonjol sementara hanya
mengamati pasien untuk suatu hasil seperti kematian atau kesembuhan
/ hidup biasanya tidak mencolok.
• Menonton seseorang bekerja dan merekam efisiensinya mengganggu
karena dapat mengakibatkan perubahan perilaku, yang disebut efek
Hawthorne.
• Oleh karena itu, pengukuran yang tidak mengganggu paling baik
dibuat secara blinded (buta).
• Jika pengamat tidak mengetahui kelompok untuk mana pasien
ditugaskan, ada risiko lebih kecil bahwa pengukuran akan bias.
Meningkatkan presisi dan akurasi
• Membutakan pengamatan akan menciptakan iklim untuk konsistensi
dan keadilan dalam pengukuran, dan menghasilkan pengurangan
kesalahan sistematis.
• Pengukuran non-buta bisa menyebabkan perlakuan berbeda yang
diberikan kepada salah satu kelompok yang dipelajari.
• Hal ini dapat menyebabkan kontaminasi atau mengacaukan hasil.
• Dalam kebutaan tunggal, baik peneliti atau pasien tidak tahu siapa
yang ada di setiap kelompok.
• Double blinding terjadi jika pasien, orang yang merawat pasien, dan
peneliti yang mengukur hasilnya semuanya buta terhadap pengobatan
yang sedang dilakukan / diberikan.
Tes keandalan antar dan intra-rate
• Pengamat yang berbeda dapat memperoleh hasil yang berbeda ketika
mereka melakukan pengukuran.
• Beberapa pengamat mungkin mengukur suhu seorang anak
menggunakan sedikit berbeda teknik saat menggunakan termometer
seperti memvariasikan waktu thermometer tertinggal pada pasien atau
membaca tingkat merkuri dengan cara yang berbeda.
• Presisi ditingkatkan ketika variasi antar atau intra-pengamat
diminimalkan.
• Peneliti harus memperhitungkan variabilitas antara pengamat dan
antara pengukuran yang dilakukan oleh pengamat yang sama..
Tes keandalan antar dan intra-rate
• Variabilitas antara dua pengamat atau antara beberapa pengamatan
oleh satu pengamat dapat menimbulkan bias ke dalam hasil.
• Oleh karena itu bagian dari semua pengukuran harus diulang dan
variabilitas hasil yang diukur.
• Ini disebut sebagai antar-pengamat dan variabilitas intra-pengamat.
• Variabilitas antar-pengamat terjadi ketika dua atau lebih banyak
pengamat memperoleh hasil yang berbeda ketika mengukur fenomena
yang sama.
• Variabilitas intra-pengamat terjadi ketika pengamat yang sama
memperoleh perbedaan hasil ketika mengukur fenomena yang sama
pada dua kesempatan atau lebih.
Tes keandalan antar dan intra-rate
• Tes untuk variabilitas antar-pengamat dan intra-pengamat harus
dilakukan sebelum studi apa pun selesai
• Keandalan antar-pengamat dan intra-pengamat diukur dengan:statistik
kappa.
• Statistik kappa adalah ukuran kuantitatif derajat kesepakatan antara
pengukuran.
• Ini mengukur tingkat persetujuan di luar kesempatan antara dua
pengamat, yang disebut kesepakatan antar-penilai, atau antara
beberapa pengukuran yang dilakukan oleh satu pengamat, yang
disebut persetujuan intra-penilai.
Tes keandalan antar dan intra-rate
• Statistik kappa berlaku karena dokter dan peneliti sering berasumsi
bahwa semua tes diagnostik tepat.
• Namun, banyak penelitian telah menunjukkan bahwa sebagian besar
tes non-otomatis memiliki tingkat subjektivitas dalam interpretasinya.
• Ini telah terlihat pada tes radiologi yang umum digunakan seperti CT
scan, mamografi, dan angiografi.
• Itu juga hadir dalam tes yang biasa dipertimbangkan menjadi standar
emas seperti interpretasi sampel jaringan dariotopsi, biopsi, atau
pembedahan.
Tes keandalan antar dan intra-rate
• Berikut adalah contoh klinis bagaimana statistik kappa berlaku.
• Suatu pagi, dua warga radiologi sedang membaca mammogram.
• Ada 100 mammogram untuk dibaca.
• Residen pertama, Nomor 1, telah melakukan panggilan malam dan
cukup lelah.
• Dia tidak benar-benar ingin membaca ini dan tahu bahwa semua
bacaannya akan diperiksa oleh yang hadir.
• Dia juga beralasan bahwa karena ini adalah klinik skrining untuk
wanita muda dengan usia rata-rata 32, akan ada beberapa studi sangat
positif.
Tes keandalan antar dan intra-rate
• Departemen radiologi khusus ini memiliki sistim komputerisasi
membaca di mana residen mendorong tombol baik "normal" atau
"kanker“ pada konsol dan bacaan itu akan dimasukkan ke dalam file.
• Setelah membaca tiga yang pertama sebagai negatif, dia tertidur di
tombol "negatif", membuat semua seratus pembacaan negatif.
• Residen kedua, Nomor 2, sangat tertarik dengan mamografi dan telah
tidur sepanjang malam, karena dia tidak menelepon.
• Dia dengan hati-hati membaca setiap pelajaran dan menekan tombol
yang sesuai.
• Dia membaca 90 film seperti biasa dan 10 sebagai mencurigakan
untuk kanker payudara dini.
Tes keandalan antar dan intra-rate
Kesepakatan yang diamati antara dua residen ketika satu (no. 1) membaca
semuanya sebagai normal dan lainnya (no. 2) membaca 90 sebagai normal dan 10
sebagai abnormal.

Gambar 1
Tes keandalan antar dan intra-rate
• Pembacaan dua residen ditabulasikan dalam 2 × 2tabel pada Gambar1.
• Tingkat kesepakatan yang diamati adalah 90/100 atau 90%.
• Apakah perjanjian ini dari 90% sangat baik?
• Apa kesepakatannya jika mereka membaca mammogram kebetulan
saja?
• Dengan asumsi bahwa ada 90% normal dan 10% abnormal, kita dapat
berasumsi bahwa masing-masing membaca film mereka dengan
proporsi masing-masing hasil dan melakukannya tabel 2 × 2 yang
sama (Gbr. 2).
• Kesepakatan kebetulan adalah (81 + 1)/100 atau 82%.
Tes keandalan antar dan intra-rate
• Kappa adalah rasio kesepakatan aktual di luar peluang dan potensi
kesepakatan di luar kesempatan.
• Kesepakatan yang sebenarnya di luar kebetulan adalah perbedaannya
antara kesepakatan aktual yang ditemukan dan yang diharapkan secara
kebetulan.
• Di kita contohnya adalah 90 – 82 = 8% (0,08).
• Kesepakatan potensial di luar kesempatan adalahperbedaan antara
kesepakatan setinggi mungkin (100%) dan yang diharapkan oleh
kesempatan sendirian.
• Dalam contoh kita, 100 – 82 = 18% (0,18).
• Ini membuat Kappa = (0,90 –0,82)/(1,00 – 0,82) = 0,08/0,18 = 0,44.
Tes keandalan antar dan intra-rate
• Kesepakatan yang diamati antara dua penduduk ketika keduanya (no. 1 dan no. 2)
dibaca 90 sebagai normal dan 10 sebagai abnormal, tetapi tidak ada hubungan
antara bacaan mereka. 90% dibaca normal oleh no. 1 tidak sama dengan 90%
dibaca normal oleh no 2.

Gambar 2
Tes keandalan antar dan intra-rate
Interpretasi dari statistik kappa
Kesepakatan aktual antara pengukuran di luar kebetulan
Kappa =
Kesepakatan potensial antara pengukuran di luar kebetulan

Rentang: 0-1 (0 = tidak ada kesepakatan; 1 = kesepakatan lengkap)


Tingkat numerik kappa Signifikansi kualitatif
0,0 – 0,2 sedikit
0,2 – 0,4 biasa
0,4 – 0,6 sedang
0,6 – 0,8 substansial
0,8 – 1,0 hampir sempurna
Tes keandalan antar dan intra-rate
Gambar 3. Kappa untuk kesepakatan kebetulan saja (A, = 0.0) dan untuk
kesepakatan sempurna (B, =1.0).
Ikhtisar statistik kappa
• Kita harus menggunakan statistik kappa ketika ingin mengetahui ketepatan
suatu pengukuran atau konsistensi antar-pengamat atau intra-pengamat.
• Ini memberikanperkiraan yang masuk akal tentang seberapa "mudah"
pengukuran dilakukan.
• Semakin "mudah" untuk melakukan pengukuran, semakin besar
kemungkinan dua pengamat yang berbeda akan setuju pada hasil dan
kesepakatan itu bukan hanya karena kebetulan.
• Beberapa ahli menghubungkan nilai kappa dengan deskriptor kualitatif,
yang diberikan pada Tabel 1.
• Secara umum, cari kappa yang lebih tinggi dari 0,6 sebelum kita
mempertimbangkan persetujuan untuk dapat diterima secara wajar.
Ikhtisar statistik kappa
• Kappa berkisar antara 0 sampai 1 dimana 0 berarti tidak ada kesepakatan dan
1 berarti ada kesepakatan lengkap di luar yang diharapkan secara kebetulan
saja.
• Kita dapat melihat dari pembuatan tabel 2 × 2 bahwa jika ada jumlah yang
sama di setiap sel kesepakatan murni terjadi secara kebetulan (Gbr.3).
• Demikian pula jika ada kesepakatan yang sempurna, sangat tidak mungkin
kesepakatan itu terjadi sepenuhnya secara kebetulan.
• Namun,masih mungkin: jika hanya ada beberapa bacaan di setiap sel, 100%
setuju bisa terjadi secara kebetulan, meskipun kemungkinan hal ini terjadi
sangat kecil.
• Interval kepercayaan, seharusnya dihitung untuk menentukan rentang yang
layak secara statistik di mana 95% dari kemungkinan nilai kappa akan
ditemukan.
TERIMA KASIH

Anda mungkin juga menyukai