Diterjemahkan dari bahasa Inggris ke bahasa Indonesia - www.onlinedoctranslator.

com

Skala Newcastle-Ottawa (NOS)

untuk Menilai Kualitas Studi
Nonrandomized di Meta-
Analisis
"G. Wells, B. Shea, D. O'Connell, J. Robertson,
J. Peterson, V. Welch, M. Losos, P. Tugwell”

Dr Daniel Pope – Dosen Epidemiologi Dr

Nigel Bruce – Pembaca Public Health
University of Liverpool, UK

Latar belakang

• Studi observasional – hipotesis etiologi

(RR kecil tapi PAF besar)
• Metodologi tinjauan sistematis (termasuk
meta-analisis) menarik – perkiraan yang
tepat ketika besarnya risiko kecil

• Perhatian diperlukan (kerentanan bias)!

 Bias dan Membingungkan

• "... pertimbangan menyeluruh tentang

sumber heterogenitas antara hasil studi
observasional ..." Egger et al, 2003

Skala Newcastle-Ottowa

“Alat yang mudah dan nyaman untuk

penilaian kualitas studi non-acak”
 Skala Newcastle-Ottowa

Studi Kasus-Kontrol dan Studi Kohort

Sistem bintang berdasarkan tiga domain:

1) Pemilihan Kelompok Belajar
2) Keterbandingan Grup
3) Kepastian paparan/hasil

Pengembangan: Pengelompokan Item

• Belajar kelompok
• Pemilihan kelompok
• Keterbandingan kelompok
• Penilaian hasil

• Studi Kasus-Kontrol
• Pemilihan kasus dan kontrol
• Perbandingan kasus dan kontrol
• Kepastian paparan
Pengembangan: Mengidentifikasi Item

• Identifikasi pilihan berkualitas 'tinggi' dengan

'bintang'

• Maksimal satu 'bintang' untuk setiap

item dalam 'Pilihan' dan
kategori 'Paparan/Hasil';
maksimal dua 'bintang' untuk
'Keterbandingan'

Perkembangan Saat Ini: Validitas

• Validitas wajah/konten
• Validitas kriteria
• Validitas konstruk
• Keandalan Antar dan Intra-penilai
Pengembangan Masa Depan: Penilaian

• Identifikasi skor ambang batas yang

membedakan antara studi berkualitas 'baik'
dan 'buruk'

NEWCASTLE - SKALA PENILAIAN KUALITAS OTTAWA

STUDI KASUS KONTROL

Catatan: Sebuah studi dapat diberikan maksimal satu bintang untuk setiap item bernomor dalam kategori
Seleksi dan Eksposur. Maksimal dua bintang dapat diberikan untuk Comparability.

Pilihan

1) Apakah definisi kasus memadai?

a) ya, dengan validasi independen
b) ya, misalnya hubungan rekaman atau berdasarkan laporan diri sendiri

c) tidak ada deskripsi

2) Keterwakilan kasus
a) serangkaian kasus yang berurutan atau jelas mewakili
b) potensi bias seleksi atau tidak dinyatakan

3) Pemilihan Kontrol
a) kontrol komunitas
b) kontrol rumah sakit
c) tidak ada deskripsi

4) Definisi Kontrol
a) tidak ada riwayat penyakit (titik akhir)
b) tidak ada deskripsi sumber

Keterbandingan

1) Perbandingan kasus dan kontrol berdasarkan desain atau analisis

a) studi kontrol untuk _______________ (Pilih faktor yang paling penting.)
b) kontrol studi untuk setiap faktor tambahan (Kriteria ini dapat dimodifikasi untuk menunjukkan spesifik
kontrol untuk faktor penting kedua.)

Paparan

1) Kepastian paparan
a) catatan aman (misalnya catatan bedah)

b) wawancara terstruktur di mana buta terhadap status kasus/kontrol

c) wawancara tidak dibutakan dengan status kasus/kontrol

d) laporan diri tertulis atau rekam medis saja

e) tidak ada deskripsi

2) Metode pemastian yang sama untuk kasus dan kontrol

a) ya
b) tidak

3) Tingkat Non-Respons
a) tarif yang sama untuk kedua kelompok

b) non responden dijelaskan

c) menilai berbeda dan tidak ada sebutan
Skala Penilaian Kualitas Newcastle-Ottawa:
Studi Kasus-Kontrol

• Seleksi (4)

• Keterbandingan (1)

• Paparan (3)

– Sebuah studi dapat diberikan maksimal satu bintang untuk setiap

item bernomor dalam kategori Seleksi dan Eksposur. Maksimal dua
bintang dapat diberikan untuk Comparability

Pilihan
1. Apakah definisi kasus memadai?
a) ya, dengan validasi independen ♦
b) ya, misalnya hubungan rekaman atau berdasarkan laporan diri sendiri

c) tidak ada deskripsi

2. Keterwakilan kasus
a) serangkaian kasus yang berurutan atau jelas mewakili ♦
b) potensi bias seleksi atau tidak dinyatakan

3. Pemilihan Kontrol
a) kontrol komunitas ♦
b) kontrol rumah sakit
c) tidak ada deskripsi

4. Definisi Kontrol
a) tidak ada riwayat penyakit (titik akhir) ♦
b) tidak ada deskripsi sumber
 Keterbandingan

1. Perbandingan kasus dan kontrol berdasarkan desain atau

analisis

a) kontrol studi untuk ___________ (pilih faktor yang paling penting) ♦

b) mempelajari kontrol untuk setiap faktor tambahan (Kriteria ini dapat dimodifikasi untuk
menunjukkan kontrol khusus untuk faktor penting kedua.) ♦

Paparan
1. Kepastian paparan
a) catatan aman (misalnya catatan bedah) ♦
b) wawancara terstruktur di mana buta terhadap status kasus/kontrol ♦
c) wawancara tidak dibutakan dengan status kasus/kontrol

d) laporan diri tertulis atau rekam medis saja

e) tidak ada deskripsi

2. Metode pemastian yang sama untuk kasus dan kontrol

a) ya ♦
b) tidak

3. Tingkat Non-Respons
a) tarif yang sama untuk kedua kelompok ♦

b) non responden dijelaskan

c) menilai berbeda dan tidak ada sebutan
 NEWCASTLE - SKALA PENILAIAN KUALITAS OTTAWA
BELAJAR KELOMPOK

Catatan: Sebuah studi dapat diberikan maksimal satu bintang untuk setiap item bernomor dalam kategori
Seleksi dan Hasil. Maksimal dua bintang dapat diberikan untuk Comparability

Pilihan
1) Keterwakilan kohort yang terpapar
a) benar-benar mewakili rata-rata _______________ (jelaskan) di masyarakat
b) agak mewakili rata-rata ______________ dalam komunitas
c) kelompok pengguna yang dipilih misalnya perawat, sukarelawan

d) tidak ada deskripsi derivasi kohort

2) Pemilihan kohort yang tidak terpapar
a) diambil dari komunitas yang sama dengan kohort yang terpapar
b) diambil dari sumber yang berbeda
c) tidak ada deskripsi derivasi dari kohort yang tidak terpapar
3) Kepastian paparan
a) catatan aman (misalnya catatan bedah)
b) wawancara terstruktur
c) laporan diri tertulis
d) tidak ada deskripsi
4) Demonstrasi bahwa hasil yang diinginkan tidak ada pada awal studi
a) ya
b) tidak

Keterbandingan
1) Perbandingan kelompok berdasarkan desain atau analisis
a) studi kontrol untuk _____________ (pilih faktor yang paling penting)
b) kontrol studi untuk setiap faktor tambahan (Kriteria ini dapat dimodifikasi untuk menunjukkan spesifik
kontrol untuk faktor penting kedua.)
Hasil
1) Penilaian hasil
a) penilaian buta independen
b) hubungan rekaman

c) laporan diri
d) tidak ada deskripsi
2) Apakah tindak lanjut cukup lama untuk hasil terjadi
a) ya (pilih periode tindak lanjut yang memadai untuk hasil yang diinginkan)
b) tidak
3) Kecukupan tindak lanjut kohort
a) tindak lanjut lengkap - semua mata pelajaran diperhitungkan

b) mata pelajaran mangkir tidak mungkin menimbulkan bias - jumlah kecil yang hilang - > ____ % (pilih % yang memadai) tindak
lanjut, atau deskripsi yang diberikan tentang mereka yang hilang)
c) tingkat tindak lanjut < ____% (pilih % yang memadai) dan tidak ada deskripsi yang hilang
d) tidak ada temen temen

Skala Penilaian Kualitas Newcastle-Ottawa:

Belajar kelompok

• Seleksi (4)

• Keterbandingan (1)

• Hasil (3)

– Sebuah studi dapat diberikan maksimal satu bintang untuk setiap

item bernomor dalam kategori Seleksi dan hasil. Maksimal dua
bintang dapat diberikan untuk Comparability
 Pilihan
1. Keterwakilan kohort yang terpapar
a) benar-benar mewakili rata-rata ___________ (jelaskan) di komunitas ♦
b) agak mewakili rata-rata ___________ dalam komunitas ♦
c) kelompok pengguna yang dipilih, mis. perawat, relawan
d) tidak ada deskripsi derivasi kohort

2. Pemilihan kohort yang tidak terpapar

a) diambil dari komunitas yang sama dengan kohort yang terpapar ♦
b) diambil dari sumber yang berbeda
c) tidak ada deskripsi derivasi dari kohort yang tidak terpapar

3. Kepastian paparan
a) catatan aman (mis. catatan bedah) ♦
b) wawancara terstruktur ♦
c) laporan diri tertulis
d) tidak ada deskripsi

4. Demonstrasi bahwa hasil yang diinginkan tidak ada pada awal studi
a) ya ♦
b) tidak

Keterbandingan

1. Perbandingan kelompok berdasarkan desain atau analisis

a) kontrol studi untuk ___________ (pilih faktor yang paling penting) ♦

b) mempelajari kontrol untuk setiap faktor tambahan (Kriteria ini dapat dimodifikasi untuk
menunjukkan kontrol khusus untuk faktor penting kedua.) ♦
Hasil
1. Penilaian hasil
a) penilaian buta independen ♦
b) hubungan rekaman ♦
c) laporan diri
d) tidak ada deskripsi

2. Apakah tindak lanjut cukup lama untuk hasil terjadi

a) ya (pilih periode tindak lanjut yang memadai untuk hasil yang diinginkan) ♦
b) tidak

3. Kecukupan tindak lanjut kohort

a) tindak lanjut lengkap - semua mata pelajaran diperhitungkan ♦
b) subjek yang mangkir tidak mungkin menimbulkan bias - sejumlah kecil mangkir -
> ___ % (pilih % yang memadai) tindak lanjut, atau deskripsi dari mereka
hilang) ♦

c) tingkat tindak lanjut < ___% (pilih % yang memadai) dan tidak ada deskripsi
mereka yang hilang

d) tidak ada pernyataan

Risiko Berat Badan Lahir Rendah dan Lahir

Mati Terkait Dengan Polusi Udara Dalam Ruangan
Dari Penggunaan Bahan Bakar Padat di
Negara berkembang

Paus D, Ulasan Epidemiologi, 2010

 Langkah-langkah Tinjauan Sistematis
Cochrane

• Pertanyaan yang dirumuskan dengan jelas

• Pencarian data yang komprehensif

• Proses seleksi dan abstraksi yang
tidak bias
• Penilaian kritis terhadap data
• Sintesis data
• Lakukan analisis sensitivitas dan
subkelompok jika sesuai dan memungkinkan
• Siapkan laporan terstruktur

Objektif

• Mengukur hubungan antara paparan polusi udara dalam

ruangan dan berat badan lahir rendah
Kriteria Inklusi

• Jenis studi
– Semua desain penelitian (intervensi; observasional)

• Populasi
– Kelahiran tunggal hidup

• Paparan
– Setiap pelaporan paparan IAP (termasuk penggunaan bahan bakar padat dll)

• Hasil
– Studi yang melaporkan berat lahir aktual atau BBLR (<2500g)

Langkah-langkah Tinjauan Sistematis

Cochrane

• Pertanyaan yang dirumuskan dengan jelas

• Pencarian data yang komprehensif

• Proses seleksi dan abstraksi yang
tidak bias
• Penilaian kritis terhadap data
• Sintesis data
• Lakukan analisis sensitivitas dan
subkelompok jika sesuai dan memungkinkan
• Siapkan laporan terstruktur
Strategi Pencarian

• Pencarian Elektronik dari:

– MEDLINE
– EMBASE
- Daftar Percobaan Terkendali Cochrane
– CINAHL
– LILA
• Sumber Data Lainnya:
- Literatur abu-abu (PASCAL, ICP)
- Kontak dengan para ahli, tinjauan referensi yang dikutip dalam
artikel yang diambil

Langkah-langkah Tinjauan Sistematis

Cochrane

• Pertanyaan yang dirumuskan dengan jelas

• Pencarian data yang komprehensif

• Proses seleksi dan abstraksi yang
tidak bias
• Penilaian kritis terhadap data
• Sintesis data
• Lakukan analisis sensitivitas dan
subkelompok jika sesuai dan memungkinkan
• Siapkan laporan terstruktur
Ekstraksi Data

• 2 pengulas independen memilih studi

• 2 pengulas independen mengekstrak data menggunakan formulir yang
telah ditentukan sebelumnya

– desain studi
- karakteristik populasi
– Eksposur (IAP)
– Hasil (BBLR)
– hasil
• perbedaan diselesaikan dengan konsensus

Hasil

982 (dari pencarian basis data)

29 (ulasan abstrak)

7 (ulasan artikel)

4 (dipilih untuk ditinjau)

2 studi yang tidak dipublikasikan

6 (termasuk dalam ulasan)
diidentifikasi
 Langkah-langkah Tinjauan Sistematis
Cochrane

• Pertanyaan yang dirumuskan dengan jelas

• Pencarian data yang komprehensif

• Proses seleksi dan abstraksi yang
tidak bias
• Penilaian kritis terhadap data
• Sintesis data
• Lakukan analisis sensitivitas dan
subkelompok jika sesuai dan memungkinkan
• Siapkan laporan terstruktur

Studi termasuk:

• 6 studi untuk ekstraksi data (dari 982)

• 2 kelompok

2 penampang
1 kasus-kontrol
1 studi intervensi
 Penilaian kualitas:

Pilihan – 4 bintang:
(keterwakilan; penilaian paparan – kohort/
penampang; pemilihan kontrol – kasus-kontrol)

Keterbandingan – 2 bintang:
(penyesuaian untuk perancu utama/tambahan misalnya aktif/
ibu perokok pasif, usia kehamilan, nutrisi
dll)

Hasil/ Eksposur – 3 bintang:

(kecukupan hasil (diukur BBLR) dan eksposur
(polusi udara dalam ruangan – diukur vs dilaporkan sendiri)

Penilaian kualitas:
Hasil Seleksi / Eksposur Keterbandingan
Anak Laki-Laki, 2002 (CS)

Mavalankar, 1992 (CC)

Misra, 2004 (CS)

Siddiqui, 2008 (C)

Tielsch, 2009 (C)

Thompson, 2005 (RCT)

 Penilaian kualitas:
Hasil Seleksi / Eksposur Keterbandingan
Anak Laki-Laki, 2002 (CS)

Mavalankar, 1992 (CC)

Misra, 2004 (CS)

Siddiqui, 2008 (C)

Tielsch, 2009 (C)

Thompson, 2005 (RCT)

Langkah-langkah Tinjauan Sistematis

Cochrane

• Pertanyaan yang dirumuskan dengan jelas

• Pencarian data yang komprehensif

• Proses seleksi dan abstraksi yang
tidak bias
• Penilaian kritis terhadap data
• Sintesis data
• Lakukan analisis sensitivitas dan
subkelompok jika sesuai dan memungkinkan
• Siapkan laporan terstruktur
 Kuantifikasi Efek

• Paparan (misalnya bahan bakar padat vs bahan bakar bersih)

• Hasil (%BBLR)
• Estimasi efek (EE)
• Risiko Relatif (RR)
• Rasio Odds (ATAU)

• Meta-analisis efek tetap tanpa adanya

heterogenitas statistik

ATAU = 1,38 (1,25, 1,52), p<0,0001

ATAU = 1,38 (1,25, 1,52), p<0,0001
ATAU = 1,41 (1,27, 1,56) (tidak termasuk kualitas buruk)

Interpretasi Penting:

• Pengecualian dari analisis sensitivitas

berdasarkan (i) berat lahir berdasarkan laporan
diri (50%), (ii) tidak ada informasi tentang usia
kehamilan dan (iii) analisis yang tidak
disesuaikan
Aplikasi:

• Menilai kualitas studi non-acak

• Memasukkan penilaian dalam

interpretasi hasil meta-analitik
• Valid, dapat diulang, dan sederhana

• Batasan:
Desain Studi Terlalu Sederhana

Skala Newcastle-Ottawa (NOS)

untuk Menilai Kualitas Studi
Nonrandomized di Meta-
Analisis

www.lri.ca

Skala Penilaian Kualitas NOS:

Studi kasus-kontrol
Belajar kelompok
Manual untuk Timbangan NOS
Bacaan yang Direkomendasikan....