ARTICLE IN PRESS +Model AENJ-327; No.

of Pages 7

PASAL DI PRESS AENJ-327; No. Pages 7 + Model

Australasian Emergency Nursing Journal (2015) xxx, xxx — xxx

Tersedia online di www.sciencedirect.com ScienceDirect

Silakan mengutip artikel ini di media sebagai: Ekins K, Morphet J. Keakuratan dan konsistensi pedesaan, jarak jauh dan pos
terdepan triase pengambilan keputusan perawat di satu Wilayah Layanan Kesehatan Negara Australia Barat. Australas Emerg
Nurs J (2015), http://dx.doi.org/10.1016/j.aenj.2015.05.002

Keakuratan dan konsistensi

KERTAS PENELITIAN
pengambilan keputusan triase perawat
pedesaan, terpencil dan pos terdepan dalam
satu Layanan Kesehatan Negara Australia Barat
wilayah
Kylie Ekins, GradCert (Clinical Nursing) RNa,b,* Julia Morphet, PhD, RNb

Master of Nursing (Emergency) Departemen, Rumah Sakit Kalgoorlie, Western Australia negara Health Service, Australia b Sekolah Keperawatan dan Kebidanan, Universitas
Monash , Australia

Menerima 3 Februari 2015; diterima dalam bentuk revisi 14 April 2015; diterima 12 Mei 2015

KEYWORDS Triage; Layanan Darurat, Rumah Sakit; Perawatan Darurat; Rumah Sakit, Pedesaan; Pengambilan
Keputusan;Konsistensi
Ringkasan Latar Belakang: Skala Triage Australasia bertujuan untuk memastikan bahwa kategori triase dialokasikan, mencerminkan
urgensi yang dengannya pasien membutuhkan bantuan medis. Ini tergantung pada ketepatan triase perawat dalam pengambilan
keputusan. Skala Triase Australasia juga bertujuan untuk memfasilitasi konsistensi keputusan triase antara individu dan organisasi.
Berbagai penelitian telah mengeksplorasi keakuratan dan konsistensi keputusan triase di seluruh Australia, namun tidak ada penelitian
yang secara khusus memfokuskan pada pengambilan keputusan triase di layanan kesehatan pedesaan. Lebih lanjut, tidak ada standar
yang telah diidentifikasi dimana akurasi atau konsistensi harus diukur. Departemen darurat Australia diukur berdasarkan serangkaian
indikator kinerja standar, termasuk waktu dari triase hingga tinjauan pasien, dan lama tinggal pasien. Saat ini tidak ada indikator kinerja
untuk konsistensi triase. Metode: Sebuah kuesioner online dikembangkan untuk mengumpulkan data demografis dan mengukur akurasi
dan konsistensi triase. Kuisioner menggunakan skenario triase yang sebelumnya telah divalidasi.1 Akurasi keputusan triase diukur, dan
konsistensi dibandingkan dengan tipe situs kesehatan menggunakan Fleiss 'kappa. Hasil: Empat puluh enam perawat triase berpartisipasi
dalam penelitian ini. Keakuratan pengambilan keputusan triase peserta menurun dengan masing-masing kategori triase yang kurang
mendesak. Kualifikasi pascasarjana tidak memiliki kaitan dengan akurasi triase. Tidak ada perbedaan yang signifikan dalam konsistensi
pengambilan keputusan antara skenario pediatrik dan dewasa. Keseluruhan perjanjian antar penilai yang menggunakan koefisien Fleiss
'kappa, adalah 0,4. Ini mewakili tingkat perjanjian antar-penilai yang adil ke baik.

∗ Penulis yang sesuai di: Pembelajaran dan Pengembangan: Rumah Sakit Kalgoorlie, Locked Bag 7, Kalgoorlie, WA 6430, Australia. Tel .: +61 08 9080
Alamat email: 5216.kylie.ekins@health.wa.gov.au (K. Ekins).

http://dx.doi.org/10.1016/j.aenj.2015.05.002 1574-6267 / Crown Copyright © 2015 Diterbitkan oleh Elsevier Ltd atas nama College of
Emergency Nursing Australasia Ltd. Semua hak dilindungi undang-undang.
jurnal h om epage: www.elsevier.com/l ocate / aenj

ARTICLE + Model
AENJ-327; Halaman 7 DI PRESS 2 K. Ekins, J. Morphet
Kesimpulan: Definisi standar akurasi dan konsistensi dalam pengambilan keputusan triase perawat diperlukan. Keputusan triase yang
tidak akurat dapat menyebabkan peningkatan morbiditas dan mortalitas. Direkomendasikan agar ambang indikator kinerja departemen
darurat digunakan sebagai patokan untuk konsistensi triase nasional. Crown Copyright © 2015 Diterbitkan oleh Elsevier Ltd atas nama
College of Emergency Nursing Australasia Ltd. Semua hak dilindungi undang-undang.
Apa yang diketahui

• Triase adalah proses menyortir atau memilih pasien untuk mendistribusikan sumber daya secara tepat. Inkonsistensi atau
ketidaktepatan dalam keputusan triase menghasilkan konsekuensi serius bagi pasien dalam konteks morbiditas atau mortalitas.
• Perawatan triase adalah peran otonom yang biasanya dilakukan di Departemen Darurat. Seorang perawat triase bertanggung
jawab untuk menentukan urgensi dan intervensi, di samping menentukan urutan di mana pasien dilihat berdasarkan penilaian.
Standar nasional untuk pendidikan triase adalah Emergency Triage Education Kit (ETEK).
• Dalam konteks triase, pengambilan keputusan klinis mengacu pada alokasi satu Skor Triase Australasia atas empat lainnya
menggunakan keterampilan penilaian primer dan sekunder, pengetahuan tentang kriteria yang telah ditentukan dan Skala Triase
Australasia. Meskipun demikian, keputusan triase yang buruk adalah ancaman signifikan terhadap keselamatan dan hasil pasien.
Konsistensi dan akurasi Triage akan menghasilkan alokasi unilateral lateral Australia untuk Skor Triage Australasia kepada
pasien.
• Beberapa studi Australia telah mengeksplorasi konsistensi triase di lokasi seperti Victoria, Australia Barat dan New South
Wales. Namun beberapa keterbatasan dalam studi ini diidentifikasi, termasuk: penyediaan informasi klinis yang tidak memadai
kepada peserta, pelaporan data yang tidak konsisten, pemanfaatan skala triase yang ketinggalan zaman dan kegagalan untuk
mengkompensasi kurangnya stimulasi visual dan aural. . Selain keterbatasan ini, kesenjangan dalam literatur termasuk studi yang
tidak memadai dari pengambilan keputusan triase perawat di daerah pedesaan dan terpencil.

Apa yang ditambahkan makalah ini?

• Tujuan dari penelitian ini adalah untuk menentukan tingkat akurasi keputusan dan konsistensi triase dalam satu Wilayah
Layanan Kesehatan Negara Australia Barat. Penelitian ini berkontribusi terhadap kesenjangan dalam literatur seputar studi
keputusan perawat triase di daerah pedesaan dan terpencil. Penelitian sebelumnya tentang konsistensi triase memiliki sedikit
perbandingan untuk keterpencilan Australia Barat dan wilayah kesehatannya.
• Alasan paling signifikan untuk melakukan penelitian ke dalam konsistensi dan keakuratan keputusan perawat triase pedesaan,
terpencil dan pos terdepan adalah keselamatan pasien. Orang-orang yang tinggal di daerah pedesaan dan terpencil memiliki
perbedaan kesehatan yang secara signifikan lebih buruk jika dibandingkan dengan daerah metropolitan.
• Dari tenaga kesehatan, tugas rekrutmen dan retensi tenaga kesehatan di daerah pedesaan dan terpencil merupakan tantangan
bagi pengusaha, dan kombinasi penentu pribadi dan profesional menghasilkan peningkatan populasi kesehatan sementara.
• Terlepas dari dimasukkannya daerah pedesaan dalam penelitian konsistensi triase, gagal untuk menjadi pelaporan data yang
konsisten, berbagai terminologi yang terkait dengan analisis statistik, dan kegagalan untuk secara jelas menganalisis dan
menentukan apa yang pedesaan dan terpencil pada tingkat nasional - untuk perbandingan. Studi ini menggunakan definisi
nasional untuk daerah pedesaan dan terpencil, untuk memungkinkan perbandingan di masa depan. Analisis statistik dan istilah
yang digunakan didasarkan pada model Fleiss 'kappa dan karenanya akan memungkinkan analisis antar penilai, tetapi juga istilah
yang jelas terkait dengan temuan data akan berarti data ini dapat dianalisis dibandingkan dengan studi di masa depan.

Pendahuluan

Triase di departemen darurat (ED) adalah peran keperawatan otonom, dan melibatkan proses penilaian dan prioritas pasien, untuk
menentukan distribusi sumber daya kepada pasien. Di Australia, perawat triase bertanggung jawab untuk menentukan urgensi
dan ketertiban di mana pasien dilihat, berdasarkan temuan penilaian mereka, dan Skala Triase Australia (ATS).2 Tujuan ATS
adalah untuk memastikan bahwa kategori triase yang dialokasikan, mencerminkan urgensi yang dengannya pasien membutuhkan
bantuan medis. Hal ini bergantung pada ketepatan triase perawat dalam pengambilan keputusan. ATS juga dirancang untuk
memastikan keputusan yang konsisten dibuat oleh individu dan organisasi. Ini dikenal sebagai konsistensi triase. 3
Ketidaktepatan atau ketidakkonsistenan dalam keputusan triase dapat mengakibatkan konsekuensi serius bagi pasien, berpotensi
meningkatkan morbiditas dan mortalitas,4 dan juga dapat secara negatif mempengaruhi sumber daya ED. 3 Sementara sistem 5-tier
triase secara historis telah terbukti meningkatkan hasil pasien,5 triase memiliki dampak langsung pada kualitas perawatan pasien
dan pasien.
Silakan kutip artikel ini di media sebagai: Ekins K, Morphet J. Keakuratan dan konsistensi pedesaan , pengambilan keputusan
triase perawat jarak jauh dan pos terdepan di satu Wilayah Layanan Kesehatan Negara Australia Barat. Australas Emerg Nurs J
(2015), http://dx.doi.org/10.1016/j.aenj.2015.05.002

PASAL + Model
AENJ-327; Halaman 7 DALAM PERS TEKANAN Triage akurasi dan konsistensi 3

keselamatan.6 Pengembangan dan penggunaan pedoman triase telah ditunjukkan untuk meminimalkan morbiditas dan mortalitas. 4
Beberapa studi telah memeriksa keakuratan dan konsistensi pengambilan keputusan triase perawat di rumah sakit besar
metropolitan dan pedesaan di Victoria, New South Wales dan Australia Barat. 1,7-10 Namun, tidak ada penelitian yang secara khusus
mengukur akurasi dan konsistensi triase di daerah seluas dan pedesaan seperti Layanan Kesehatan Negara Australia Barat
(WACHS). Oleh karena itu tujuan dari proyek penelitian ini adalah untuk mengukur konsistensi pengambilan keputusan triase
perawat pedesaan, terpencil dan perawat di salah satu daerah WACHS.

Metode

Penelitian ini menggunakan desain kuesioner korelasional deskriptif dan dilakukan di satu wilayah WACHS. Tiga jenis tempat
kesehatan ada di wilayah WACHS: rumah sakit (tempat serban = 2),guna (MPS) (n = 4) dan pos-pos keperawatan (n = 4). Situs
multiguna mencakup fasilitas darurat, medis umum, dan perawatan lanjut usia. Situs multi-tujuan memiliki pertanggungan medis
permanen atau intermiten. Pos keperawatan adalah pos keperawatan tunggal atau ganda dengan tidak ada, atau cakupan medis
intermiten.
Pengambilan sampel purposive digunakan untuk merekrut perawat 'pesaing triase' yang bekerja di WACHS. Persetujuan etika
diperoleh dari Komite Etika Penelitian Manusia WACHS (2012: 06), dan Komite Etika Penelitian Manusia Universitas Monash
(2012001104) sebelum penelitian dimulai.
Data dikumpulkan dengan menggunakan kuesioner online. Kuesioner dipisahkan menjadi dua bagian: pengumpulan data
demografis dan skenario kasus triase. Ada 27 skenario Skor Triage Australia yang sebelumnya telah dikembangkan dan
divalidasi oleh LeVasseur.1 Skenario dikembangkan menggunakan Victorian Emergency Minimum Dataset sebagai dasar untuk
perkiraan campuran kasus. Skenario-skenario tersebut kemudian direkonsiliasi dengan bantuan panel ahli sampai alokasi kategori
triage sepihak tercapai.1
Setiap skenario triase termasuk sinopsis singkat dari presentasi pasien dan termasuk usia pasien, jenis kelamin, cara kedatangan,
masalah presentasi, laju pernapasan, penggunaan otot-otot aksesori, Sa02, denyut jantung, status kulit, status neurologis, status
nyeri, suhu, riwayat medis masa lalu dan obat-obatan. Lihat Tabel 1 untuk contoh skenario kasus triase. Ada 14 skenario dewasa
dan 13 anak-anak. Ada empat skenario ATS Kategori 1, empat skenario Kategori 2 ATS, sembilan skenario Kategori 3 ATS,
enam skenario Kategori 4 ATS dan empat skenario Kategori 5 ATS.
Untuk keperluan analisis data, lokasi kesehatan diperbanyak sesuai dengan jenis lokasi (rumah sakit, MPS, pos perawat). Data
dianalisis menggunakan SPSS (V20).11 Statistik deskriptif digunakan untuk meringkas data penelitian dan melaporkan akurasi
keputusan triase. Korelasi digunakan untuk mengeksplorasi hubungan antara variabel independen seperti lokasi ED dan
konsistensi triase.12 Koefisien Fleapp 'kappa digunakan untuk menghitung konsistensi triase atau keseluruhan perjanjian antar-
penilai. Analisis regresi digunakan untuk menguji perbedaan pada stratifikasi variabel 13 seperti jenis fasilitas kesehatan dan tahun
pengalaman triase perawat.
Tabel 1 Skenario kasus triase 1.1

Skenario kasus 1 (Kategori ATS 2)

berusia tiga puluh tiga (usia pasienLaki-laki) laki-laki (jenis kelamin pasien) datang dengan ambulans (mode kedatangan)
dengan onset tiba-tiba dari nyeri dada pusat yang menghancurkan 3 jam yang lalu (menyajikan masalah). Dia merasakan sakit
sementara dia menebang pohon di kebunnya. Setibanya dia, dia berada dalam posisi semi-telentang di troli ambulans.nya Tingkat
pernapasan adalah 18 dengan tidak menggunakan otot aksesori dannya saturasi oksigen adalah 99%nya detak jantung adalah
68 (reguler), dan kulitnya pucat, dingin dan lembab tekanan darah-Nya 135/75nya GCS adalah 15 Dia mengeluh dari
penghancurandada sentral nyeri 9/10 tanpa radiasi Temperaturnya 36,6. Dia tidak memilikirelevan. riwayat medis masa lalu
yang

Hasil

Karakteristik peserta
Undangan untuk berpartisipasi didistribusikan kepada 65 perawat triase, dan tingkat responsnya adalah 70% (n = 46). Sebagian
besar peserta (n = 42, 91,3%) menyelesaikan seluruh kuesioner.
Sebagian besar peserta adalah perempuan (n = 38, 82,6%), dan tidak ada perbedaan yang signifikan secara statistik dalam
distribusi gender di seluruh jenis situs kesehatan (p = 0,26). Ada lebih banyak peserta yang lebih muda (20-29 tahun) di dalam
lokasi rumah sakit (n = 13, 44,8%), dan lebih banyak peserta yang lebih tua (40-49 tahun) di dalam situs multiguna (n = 6, 46,2
%) (Tabel 2). Peserta bekerja sebagai Perawat Terdaftar (n = 30, 66,7%), Perawat Klinis (n = 11, 24,4%), dan Manajer Perawat
Klinis (n = 4, 8,9%). Di Australia Barat, Perawat Klinis adalah perawat level 2.0 yang tanggung jawabnya meliputi koordinasi
shift, pendidikan, dan pengawasan staf. Tidak ada perbedaan yang signifikan secara statistik dalam penyebaran Perawat
Terdaftar, Perawat Klinis dan Manajer Perawat Klinis di seluruh jenis tempat kesehatan (p = 0,13).
Setengah dari peserta memiliki 1-5 tahun pengalaman keperawatan darurat (n = 23, 50,0%). Lebih dari separuh peserta memiliki
pengalaman 1-5 tahun sebagai perawat triase (n = 26, 56,5%). Tidak ada perbedaan yang signifikan secara statistik dalam tahun
pengalaman perawatan darurat (p = 0,59) atau tahun pengalaman triase perawat (p = 0,47) bila dibandingkan dengan jenis lokasi
kesehatan.
Setengah dari peserta (n = 23, 50,0%) telah menyelesaikan kualifikasi pasca sarjana. Mayoritas peserta (n = 44, 95,7%) telah
menerima pendidikan triase. Proses pendidikan triase yang paling sering dilaporkan adalah Kit Pendidikan Triase Darurat
nasional (ETEK)3 (n = 32, 70%) dan Buku Sumber Daya Pendidikan Triage6 (n = 26, 57%). Dua peserta mengidentifikasi bahwa
mereka tidak berpartisipasi dalam pendidikan triase.

Silakan mengutip artikel ini di media sebagai: Ekins K, Morphet J. Keakuratan dan konsistensi pengambilan keputusan triase
perawat pedesaan, terpencil dan pos terdepan di satu Wilayah Layanan Kesehatan Negara Australia Barat. Australas Emerg
Nurs J (2015), http://dx.doi.org/10.1016/j.aenj.2015.05.002

PASAL + Model
AENJ-327; Halaman 7 DALAM PRESS 4 K. Ekins, J. Morphet
Tabel 2 Karakteristik peserta.

Rumah Sakit MPS Pos perawatan Total

n%n%n%n%

Kelompok umur
20—29 tahun 13 44,8 1 7,7 0 0,0 14 30,4 30—39 tahun 7 24,1 2 15,4 2 50,0 11 23,9 40-49 tahun 7 24,1 6 46,2 0 0,0 13 28.3 50—59
tahun 1 3.4 3 23.1 2 50.0 6 13.0 60—69 tahun 1 3.4 1 7.7 0 0.0 2 4.3 Jenis Kelamin
Pria 4 13.8 4 30.8 0 0.0 8 17.4 Wanita 25 86.2 9 69.2 4 100.0 38 82.6 Posisi saat ini
Perawat Terdaftar 17 60.7 10 76.9 3 75.0 30 66.7 Perawat Klinis 10 35.7 1 7.7 0 0.0 11 24.4 Manajer Perawat Klinis 1 1 2 15.4 1 25.0 4
8.9 Tahun pengalaman keperawatan darurat
1–5 tahun 14 48.3 7 53.8 2 50.0 23 50.0 6—10 tahun 8 27.6 4 30.8 0 0.0 12 26.1 11—15 tahun 6 20.7 1 7.7 2 50.0 9 19.6 16—20 tahun 0
0 0 0 0 0 0 0 20> 1 3.4 1 7.7 0 0.0 2 4.3 Tahun pengalaman triase
1—5 tahun 16 55.2 8 61.5 2 50.0 26 56.5 6—10 tahun 8 27.6 4 30.8 0 0.0 12 26.1 11—15 tahun 4 13.8 1 7.7 2 50.0 7 15.2 16—20 tahun
0 0 0 0 0 0 0 0> 20 tahun 1 3.4 0 0.0 0 0.0 1 2.2
MPS, situs serba guna.

Akurasi dan konsistensi

triase Respons partisipan terhadap skenario triase dibandingkan dengan alat yang divalidasi dan akurasi pengambilan keputusan
triase ditentukan. Peserta paling akurat dengan skenario Kategori 2 triase (78,3%), dan paling tidak akurat dengan skenario
Kategori 5 triase (40,7%) (lihat Tabel 3). Tidak ada skenario di mana semua peserta akurat; Gambar. 1 menunjukkan perjanjian
antar-penilai untuk setiap skenario, yang mencerminkan seberapa konsisten keputusan yang dibuat oleh perawat triase berbeda
adalah serupa. Peserta memiliki konsistensi yang lebih tinggi untuk kategori ATS yang lebih mendesak dan konsistensi yang
berkurang ketika tingkat urgensi skenario berkurang. Keseluruhan perjanjian antar penilai, menggunakan koefisien Fleiss 'kappa,
adalah 0,4. Ini mewakili tingkat perjanjian antar-penilai yang adil ke baik.
Jawaban yang benar dari peserta dibandingkan di seluruh tipe situs kesehatan, untuk menentukan apakah tipe situs kesehatan
memengaruhi ketepatan keputusan triase. Ada perbedaan yang signifikan secara statistik dalam ketepatan keputusan triase bila
dibandingkan dengan jenis situs kesehatan (p = 0,038). Perbedaan terjadi antara skor rata-rata situs multiguna (15,78) dan pos
perawat (19,00). Harus dicatat hanya ada 4 peserta dalam kelompok pos perawatan.
Perbandingan peserta dengan kualifikasi gawat darurat pascasarjana dan frekuensi jawaban yang benar, menggunakan ANOVA
satu langkah menentukan tidak ada perbedaan yang signifikan dalam akurasi keputusan triase (p = 0,88) Kontribusi

:
1

ATS 1 - 5
ATS 1 - 5

Tabel 3 Persentase keputusan akurat triase berdasarkan kategori triase.

Kategori ATS Persentase benar diprioritaskan

0,65 0,63 0,58 0,53 0,47 0.90.8 0,7 0,6

Pbar
Pbar
Pbar

0,3 0,2 0,1

1 74,7% 2 78,3% 3 65,8% 4 66.4% 5 40,7%
0
0,3 0,2 0,1

ATS 1 ATS 2 ATS 3 ATS 4 ATS 5

Gambar 1 Konsistensi keputusan triase untuk setiap kategori ATS.

Silakan mengutip artikel ini di media sebagai: Ekins K, Morphet J. Keakuratan dan konsistensi pengambilan keputusan triase
perawat pedesaan, terpencil dan pos terdepan di satu Wilayah Layanan Kesehatan Negara Australia Barat. Australas Emerg
Nurs J (2015), http://dx.doi.org/10.1016/j.aenj.2015.05.002

PASAL + Model
AENJ-327; Halaman 7 DALAM PERS TEKANAN Triage akurasi dan konsistensi 5

ketika keputusan yang dibuat oleh peserta dengan kualifikasi pasca sarjana dibandingkan dengan keputusan yang dibuat oleh
peserta tanpa kualifikasi pasca sarjana.
Akurasi keputusan triase juga dibandingkan dengan populasi, membandingkan akurasi dalam keputusan triase dewasa dengan
akurasi dalam keputusan triase pediatrik. Perbandingan tanggapan terhadap skenario orang dewasa dan anak-anak menunjukkan
tidak ada perbedaan yang signifikan secara statistik dalam ketepatan keputusan triase (p = 0,45)
Dua skenario anak yang serupa dimasukkan dalam kuesioner. Satu-satunya perbedaan antara skenario adalah usia anak (dalam
skenario 9, anak berusia 6 bulan, dan dalam Skenario 25, anak berusia 8 bulan). Perbandingan dibuat untuk mengukur konsistensi
intra-penilai untuk menentukan apakah, seperti yang diharapkan, peserta mengalokasikan kategori triase yang sama untuk setiap
kasus. 46,2% (n = 18) peserta konsisten dan akurat untuk skenario 9 dan skenario 25. Namun,berpasangan Tuji-menemukan
bahwa tidak ada perbedaan signifikan dalam kategori triase rata-rata yang dialokasikan untuk setiap skenario (skenario 9 = 3,59,
skenario 25 = 3,79, p = 0,06).

Diskusi

Ada empat temuan penting dalam penelitian ini: (i) tidak ada perbedaan signifikan dalam akurasi pengambilan keputusan dalam
skenario pediatrik dan dewasa; (ii) keakuratan pengambilan keputusan triase peserta menurun dengan masing-masing kategori
triase yang kurang mendesak, (iii) peserta memiliki persetujuan atau konsistensi yang adil terhadap keputusan triase mereka di
seluruh jenis situs kesehatan, dan (iv) kualifikasi pascasarjana tidak memiliki bantalan pengambilan keputusan triase. Diharapkan
bahwa peningkatan dan pelatihan spesialis harus memungkinkan proses pengambilan keputusan yang lebih terinformasi; Namun,
ini tidak terbukti dalam penelitian ini dan hasil ini adalah kongruen dengan penelitian triase berdasarkan skenario sebelumnya,
yang mengungkapkan tidak ada perbedaan dalam konsistensi triase berdasarkan pengalaman atau pendidikan pascasarjana. 14
Triage harus konsisten di semua ED di seluruh Australia.5 Perkembangan dan penggunaan pedoman triase yang konsisten telah
ditunjukkan untuk meminimalkan morbiditas dan mortalitas.4 Keputusan triase yang tidak akurat berisiko keselamatan pasien dan
kompromi kualitas perawatan.1,2,6 Sementara di bawah triase secara langsung berdampak pada keselamatan pasien karena waktu
tunggu yang tidak tepat, over triage dapat menyaring layanan kesehatan dan risiko keselamatan pasien lain. 15 Masalah-masalah ini
menyoroti perlunya memastikan ketepatan triase di antara perawat triase. Perbandingan konsistensi keputusan triase secara
keseluruhan menunjukkan tingkat kesepakatan antar-penilai yang adil terhadap baik.16 Keakuratan peserta menurun dengan
masing-masing kategori triase yang kurang mendesak. Pemeriksaan akurasi dan konsistensi triase pediatrik adalah penting karena
tidak ada ED spesifik pediatrik di WACHS. Secara historis, populasi khusus seperti pediatri memiliki tingkat konsistensi yang
lebih rendah dalam keputusan triase,17 dengan pediatri biasanya didriase lebih konsisten oleh perawat dalam ED spesialis anak.18
Berbeda dengan laporan sebelumnya, perbandingan dewasa dan skenario anak dalam penelitian ini menemukan bahwa tidak ada
perbedaan yang signifikan secara statistik dalam pengambilan triase berarti akurasi dan konsistensi(p = 0,45). Salah satu
penjelasan untuk ini mungkin adalah pengantar bab khusus anak-anak
di ETEK, diperkenalkan pada 2007.3 Kemungkinan juga bahwa paparan reguler triase perawat WACHS untuk presentasi pediatrik
berkontribusi pada akurasi dan konsistensi mereka.
Secara historis, perawat triase memiliki tingkat tinggi perjanjian antar penilai untuk deskriptor pasien yang memenuhi ATS
Kategori 1 dan ATS Kategori 519; Namun ini tidak terbukti dalam penelitian ini. Pasien yang datang dengan kondisi yang
mengancam jiwa segera memerlukan penilaian dan pengobatan simultan, 20 dan harus dialokasikan Kategori ATS 1. Semua pasien
ATS Kategori 1 diharapkan segera diobati. Empat skenario Kategori 1 ATS yang termasuk dalam penelitian ini memiliki tingkat
konsistensi tertinggi, namun akurasi keputusan triase bervariasi. Persentase alokasi kategori triase yang benar untuk skenario
Kategori 1 ATS berkisar antara 47,8% hingga 87,0%. Dalam sebagian besar kasus, ketika peserta gagal mengalokasikan Kategori
1, mereka malah mengalokasikan Kategori 2, ini menunjukkan bahwa peserta mengidentifikasi skenario sebagai presentasi yang
mendesak.
Pasien yang datang dengan kejadian yang mengancam jiwa harus segera dialokasikan triase Kategori 2 dan memiliki waktu yang
diharapkan untuk pengobatan 10 menit.20 Perawatan waktu ini harus dicapai dalam 80% presentasi. Skenario Triage Kategori 2
memiliki frekuensi tertinggi dari keputusan triase yang benar. Untuk sebagian besar skenario ini, ketika peserta tidak
mengalokasikan Kategori 2, mereka paling sering mengalokasikan Kategori 1. Sementara alokasi Kategori 1 akan salah,
pengakuan urgensi oleh peserta jelas dalam alokasi mereka dari skor triase lebih tinggi.
Secara historis, skenario Kategori 3 adalah triase yang paling tidak konsisten oleh perawat triase.19 Sementara Kategori 3
dialokasikan lebih akurat dan konsisten daripada skenario Kategori 4 atau 5 dalam penelitian ini, variasi dalam alokasi kategori
triase untuk skenario Kategori 3 melakukan span di semua lima kategori triase. Kategori triase yang salah yang paling sering
dialokasikan untuk semua sembilan skenario Kategori 3, adalah Kategori 4.
Presentasi pasien Kategori 5 ATS kurang mendesak atau klinis-administratif,3 dan ini biasanya mudah dikenali oleh perawat
triase. Perawat triase dalam penelitian ini tidak akurat atau konsisten dalam alokasi kategori triase mereka untuk skenario ini.
Ada perbedaan yang signifikan secara statistik antara ketepatan keputusan triase bila dibandingkan di seluruh jenis situs
kesehatan. Ini tidak sesuai dengan penelitian sebelumnya yang mengidentifikasi keputusan triase tidak terpengaruh oleh jenis
rumah sakit, atau pengalaman dan pendidikan perawat triase.9,14,21—24 Perawat darurat pedesaan dan terpencil memberikan proporsi
yang signifikan dari perawatan darurat secara independen, dan perawat di pos-pos perawatan sering bekerja tanpa dukungan
medis. Beberapa penelitian telah mengeksplorasi perawatan perawat darurat di daerah pedesaan dan terpencil, dan satu studi
menemukan bahwa perawat darurat pedesaan dan terpencil merawat 52% pasien tanpa ulasan medis.25 Studi yang sama menyoroti
bahwa perawat di pedesaan dan terpencil merawat pasien ATS 1 hingga 6 menit, independen dari bantuan medis, dan mengelola
8% pasien ATS 2 hingga pemeriksaan medis di pagi hari.25 Pemberian asuhan keperawatan independen bergantung pada perawat
darurat yang berpengalaman, dan ini mungkin menjadi salah satu alasan mengapa perawat di pos keperawatan lebih akurat dalam
keputusan triase mereka.

Silakan mengutip artikel ini di media sebagai: Ekins K, Morphet J. Keakuratan dan konsistensi pengambilan keputusan triase
perawat pedesaan, terpencil dan pos terdepan di satu Wilayah Layanan Kesehatan Negara Australia Barat. Australas Emerg
Nurs J (2015), http://dx.doi.org/10.1016/j.aenj.2015.05.002

PASAL + Model
AENJ-327; Halaman 7 DI PRESS 6 K. Ekins, J. Morphet
Tabel 4 Rekomendasi perjanjian antar penilai - diadaptasi dari Australasian College untuk Pengobatan Darurat: Kebijakan tentang Skala
Triage Australasia26 dan Kit Pendidikan Triase Darurat.3
kategori ATS Treatment (waktu tunggu maksimum)indikator kinerja
ambang batasfrekuensi Direkomendasikan triasekesepakatan antar-penilai
ATS 1 Segera
Segera mengancam jiwa
100% 100%
ATS 2 10 menit
waktu dekat mengancam jiwa
80% 80%
ATS 3 30 menit
Berpotensi hidup Mengancam, perawatan kritis waktu, nyeri parah
75% 75%
ATS 4 60 mnt
Berpotensi serius seumur hidup, urgensi situasional, kompleksitas yang signifikan
70% 70%
ATS 5 120 mnt
Kurang mendesak
70% 70%
a Ambang penunjuk kinerja mengacu pada persentase dari pasien yang harus dilihat dalam jangka waktu yang dialokasikan, untuk kategori ATS itu.26
Indikator kinerja
Setiap kategori triase memiliki indikator kinerja terkait yang mengidentifikasi berapa persentase pasien dalam setiap kategori
yang harus dilihat dalam kerangka waktu yang dialokasikan. Sebagai contoh, 80% dari pasien Kategori 2 harus terlihat dalam 10
menit. Kategori triase dan indikator kinerja terkait mengakui perlunya perawatan tepat waktu untuk penyakit serius. Ambang
batas 100% untuk presentasi Kategori 1 mengakui bahwa tidak ada ruang untuk penundaan waktu pada pasien dengan kondisi
yang segera mengancam jiwa.26 Sementara ED diadakan untuk indikator kinerja mengenai waktu tunggu pasien ini, saat ini tidak
ada standar dimana perawat triase diukur untuk akurasi dalam keputusan triase yang menetapkan kerangka waktu. Dalam
penelitian ini, ketidakakuratan dalam pembuatan keputusan triase menunjukkan bahwa 52,2% pasien Kategori 1 akan menerima
pengobatan yang menyelamatkan nyawa yang tertunda. Tidak dapat diterima bahwa tidak ada akurasi 100% dalam skenario yang
mengindikasikan peristiwa yang mengancam jiwa. Jika masuk akal untuk menerima bahwa 100% pasien Kategori 1 tidak boleh
menunggu pengobatan, masuk akal juga untuk mengharapkan bahwa perawat triase berpengalaman dan berpendidikan
mengidentifikasi pasien Kategori 1 dengan akurasi 100%. Dengan demikian, indikator kinerja yang sama ini yang diterapkan
pada waktu tunggu pasien dapat diadaptasi sebagai kerangka kerja untuk mengukur akurasi triase (Tabel 4).
Implikasi untuk praktik di masa depan
Ada beberapa implikasi untuk praktik yang muncul dari penelitian ini, yaitu:
1) Keakuratan dan konsistensi triase dievaluasi secara nasional untuk menentukan perubahan dalam praktik triase sejak
diperkenalkannya ETEK.
ETEK diperkenalkan pada 2007 untuk meningkatkan konsistensi dalam pengambilan keputusan triase. Tidak ada bukti bahwa
konsistensi triase nasional telah dievaluasi sejak
diperkenalkannya ETEK. Studi ini menemukan bahwa pengambilan keputusan triase konsisten antara pasien anak dan dewasa -
sebuah temuan yang kontras dengan penelitian sebelumnya. Evaluasi lebih lanjut dari akurasi triase secara nasional akan
mengidentifikasi apakah triase pediatrik telah meningkat secara nasional. 2) Bahwa suatu kerangka kerja dipertimbangkan untuk
menentukandapat diterima
tingkat akurasi yangdalam pengambilan keputusan triase.
Tidak ada kerangka kerja yang mendefinisikan tingkat akurasi yang dapat diterima dalam keputusan triase saat ini. Disarankan
agar indikator kinerja saat ini untuk perawatan3.26 diperluas untuk digunakan sebagai pedoman yang dapat diterima untuk akurasi
triase. Presentasi ATS Category 1 harus diprioritaskan secara akurat 100% dari waktu, sementara setidaknya 80% dari presentasi
ATS Category 2 harus benar-benar di-triase dan sebagainya, sejalan dengan ambang batas kinerja saat ini. 3) Penjelasan yang
diterima secara nasional untuk kuantifikasi konsistensi dipertimbangkan untuk memungkinkan perbandingan konsistensi yang
jelas dalam keputusan triase, untuk penelitian di masa depan.
Masih belum ada definisi standar untuk konsistensi triase. Kappa Fleiss memberikan nilai numerik dan deskriptor tetap 16 yang
akan memungkinkan kuantifikasi dan perbandingan konsistensi triase. Selain itu, nilai yang dapat diterima harus disepakati,
contoh nilai kappa Fleiss yang dapat diterima akan sama dengan atau lebih besar dari 0,75, atau sangat baik.
Keterbatasan
Keterbatasan dalam penelitian ini harus dipertimbangkan sebelum menafsirkan hasil. Meskipun dimasukkannya data visual dan
aural untuk mengimbangi kurangnya rangsangan visual dan aural, penggunaan teks deskriptif dalam skenario berbasis kertas atau
komputer tidak cukup untuk mengimbangi interaksi pasien yang sebenarnya dan karena itu menjadi keterbatasan dalam
penelitian ini. Ada banyak hambatan untuk partisipasi penelitian. Satu halangan untuk menyelesaikan keseluruhan kuesioner
adalah panjang.27 Survei ini mencakup 17 pertanyaan demografis dan
Harap kutip artikel ini di media sebagai: Ekins K, Morphet J. Keakuratan dan konsistensi pengambilan keputusan perawat triase
pedesaan, terpencil dan pos terdepan di satu Wilayah Layanan Kesehatan Negara Australia Barat. Australas Emerg Nurs J
(2015), http://dx.doi.org/10.1016/j.aenj.2015.05.002

PASAL + Model
AENJ-327; Halaman 7 DI PRESS. Akurasi dan konsistensi7,

triase27 skenario triase selanjutnya. Selama fase analisis data, terbukti bahwa jumlah skenario yang tidak dijawab meningkat
dengan lamanya survei. Kuesioner panjang dengan pertanyaan rumit menurunkan tingkat respons. 27

Kesimpulan
Studi ini menguji keakuratan dan konsistensi triase dalam satu wilayah WACHS, menggunakan penelitian berbasis skenario.
Akurasi triase menurun dengan masing-masing kategori triase yang kurang mendesak. Tidak ada perbedaan yang signifikan
antara akurasi skenario orang dewasa dan anak-anak. Jenis situs kesehatan, dan pencapaian kualifikasi pasca sarjana tidak
mempengaruhi akurasi peserta. Tingkat keseluruhan perjanjian atau konsistensi antar penilai adalah 0,4 atau 'cukup baik'.
Rekomendasi untuk meningkatkan triase dalam wilayah dan secara nasional mencakup pengembangan kerangka kerja yang
menetapkan standar minimum untuk tingkat akurasi dalam pengambilan keputusan triase menggunakan indikator kinerja yang
ada. Adopsi deskriptor yang diterima secara nasional untuk perjanjian antar penilai yang dapat memberikan perbandingan data
numerik dan deskriptif, seperti Fleiss 'kappa, dapat mendukung kerangka kerja seperti itu. Finally, a national evaluation of triage
deci- sions should be undertaken, to measure changes in triage decision-making since the introduction of the ETEK.

Provenance and conflict of interest

No conflict of interest exists among the authors. This paper was not commissioned.

Funding

No funding was utilised in this research project.

Acknowledgements

Fiona Watt — Staff Development Nurse (Critical Care), Kal- goorlie Hospital.
Dr Louisa Lam — Lecturer, School of Nursing and Mid- wifery, Monash University.

References

1. LeVasseur S, Considine J, Charles A, Castle C, Villanueva E. In: Services VDoH, editor. Consistency of triage in Victoria's emergency
departments: consistency of triage report. Victoria, Australia: Monash Institute of Health Services Research; 2001. hlm. 1—96. 2. College of
Emergency Nursing Australasia. Position statement:
triage nurse. Australas Emerg Nurs J 2007;10:93—5. 3. Department of Health and Aging. In: Aging DoHa, editor. Emer- gency Triage
Education Kit: workbook. Canberra, Australia: Commonwealth of Australia; 2009. 4. Fry M, Burr G. Review of the triage literature: past,
present,
future? Aust Emerg Nurs J 2002;5(2):33—8. 5. Pardey T. The clinical practice of Emergency Department Triage: application of the
Australasian Triage Scale — an extended lit- erature review. Part 1: Evolution of the ATS. Australas Emerg Nurs J 2006;9:155—62.
6. Innes K, Plummer V, Considine J. Nurses' perceptions of their
preparation for triage. Australas Emerg Nurs J 2011;14:81—6. 7. Dilley S, Standen P. Victorian nurses demonstrate concordance in the
application of the National Triage Scale. Emerg Med 1998;10(1):12—8. 8. Considine J, Ung L, Thomas S. Triage nurses' decisions using the
National Triage Scale for Australian emergency departments. Accid Emerg Nurs 2000;8:101—8. 9. Jelinek G, Little M. Inter-rater reliability of
the National Triage Scale over 11,500 simulated occasions of triage. Emerg Med 1996;8(4):226—30. 10. Doherty S. Application of the National
Triage Scale is not uni-
form. Emerg Nurs J 1996;1(1):26. 11. IBM Corporation. IBM SPSS Statistics for Windows, Version 20.0.
Armonk, NY: IBM Corp; 2011. 12. Scrutinizing quantitative research design.Polit D, Beck C, edit- ors. Essentials of nursing research:
methods, appraisal and utilization. Philadelphia, USA: Lippincott Williams and Wilkins; 2006. p. 177—208. 13. Polit D, Beck C. Essentials
of nursing research: meth- ods, appraisal, and utilisation. Philadelphia, USA: Lippincott Williams and Wilkins; 2006. 14. Considine J, Ung
L, Thomas S. Clinical decisions using the National Triage Scale: how important is postgraduate education? Accid Emerg Nurs 2001;9:101—8.
15. Kennedy K, Aghababian R, Gans L, Lewis C. Triage: tech- nique and applications in decision making. Ann Emerg Med 1996;28:136—44.
16. Feinstein AR. Principles of medical statistics. FL, USA: CRC
Press; 2002. 17. Gerdtz M, Chu M, Collins M, Considine J, Crellin D, Sands N, et al. Factors influencing consistency of triage using the Aus-
tralasian Triage Scale: implications for guideline development. Emerg Med Australas 2009;21:277—85. 18. Durojaiye L, O'Merara M. A study
of triage of paediatric patients
in Australia. Emerg Med Australas 2002;14(1):67—76. 19. Gerdtz M, Collins M, Chu M, Grant A, Tchernomoroff R, Pollard C, et al.
Optimizing triage consistency in Australian emergency departments: the Emergency Triage Education Kit. Emerg Med Australas
2008;20:250—9. 20. Australasian College for Emergency Medicine. Guidelines on the implementation of the Australasian Triage Scale in
Emer- gency Departments; 2000. Available from: http://www.acem. org.au/media/policies and guidelines/g24 implementation ats.pdf 21.
Standen P, Dilley S. A review of triage nursing practice and experience in Victorian public hospitals. Emerg Med 1997;9(4):301—5. 22. Hollis
G, Sprivulis P. Reliability of the National Triage Scale with changes in emergency department activity level. Emerg Med 1996;8(4):231—4. 23.
Richardson D. No relationship between emergency depart- ment activity and triage categorization. Acad Emerg Med 1998;5(2):141—5. 24.
Considine J, LeVasseur S, Charles A. Development of physiologi- cal discriminators for the Australasian Triage Scale. Accid Emerg Nurs
2002;10(4):221—34. 25. Tescher P, Chen T. Emergency Department performance at a small rural hospital: an independent in-depth review. Aust
J Rural Health 2009;17:292—7. 26. Australasian College for Emergency Medicine. Policy on the Australasian Triage Scale; 2000.
Available from: http://www. acem.org.au/media/policies and guidelines/P06 Aust Triage Scale - Nov 2000.pdf [cited 04.02.12]. 27. Dillman DA.
Mail and internet surveys: the tailored design
method. New York: John Wiley; 2000.

Please cite this article in press as: Ekins K, Morphet J. The accuracy and consistency of rural, remote and outpost triage nurse
decision making in one Western Australia Country Health Service Region. Australas Emerg Nurs J (2015),
http://dx.doi.org/10.1016/j.aenj.2015.05.002

Australasian Emergency Nursing Journal (2015) xxx, xxx—xxx

Available online at www.sciencedirect.com ScienceDirect

Please cite this article in press as: Ekins K, Morphet J. The accuracy and consistency of rural, remote and outpost triage nurse decision
making in one Western Australia Country Health Service Region. Australas Emerg Nurs J (2015),
http://dx.doi.org/10.1016/j.aenj.2015.05.002

The accuracy and consistency of rural,

RESEARCH PAPER

remote and outpost triage nurse decision making

in one Western Australia Country Health Service
Region

Kylie Ekins, GradCert (Clinical Nursing) RNa,b,∗ Julia Morphet, PhD, RNb

a Master of Nursing (Emergency) Department, Kalgoorlie Hospital, Western Australian Country Health Service, Australia
b School of Nursing and Midwifery, Monash University, Australia

Received 3 February 2015; received in revised form 14 April 2015; accepted 12 May 2015
KEYWORDS Triage; Emergency Service, Hospital;
Emergency Nursing; Hospitals, Rural; Decision Making;
Consistency
Summary Background: The Australasian Triage Scale aims to
ensure that the triage category allocated, reflects the urgency with
which the patient needs medical assistance. This is dependent on
triage nurse accuracy in decision making. The Australasian Triage
Scale also aims to facilitate triage decision consistency between
individuals and organisations. Various studies have explored the
accuracy and consistency of triage decisions throughout Australia,
yet no studies have specifically focussed on triage decision
making in rural health services. Further, no standard has been
identified by which accuracy or consistency should be measured.
Australian emergency departments are measured against a set of
standard performance indicators, including time from triage to
patient review, and patient length of stay. There are currently no
performance indicators for triage consistency. Methods: An
online questionnaire was developed to collect demographic data
and mea- sure triage accuracy and consistency. The questionnaire
utilised previously validated triage scenarios.1 Triage decision
accuracy was measured, and consistency was compared by health
site type using Fleiss’ kappa. Results: Forty-six triage nurses
participated in this study. The accuracy of participants’ triage
decision-making decreased with each less urgent triage category.
Post-graduate qualifications had no bearing on triage accuracy.
There was no significant difference in the consistency of decision-
making between paediatric and adult scenarios. Overall inter-rater
agreement using Fleiss’ kappa coefficient, was 0.4. This
represents a fair-to-good level of inter-rater agreement.

∗ Corresponding author at: Learning and Development: Kalgoorlie Hospital, Locked Bag 7, Kalgoorlie, WA 6430, Australia. Tel.: +61 08 9080 5216.
E-mail address: kylie.ekins@health.wa.gov.au (K. Ekins).

http://dx.doi.org/10.1016/j.aenj.2015.05.002 1574-6267/Crown Copyright © 2015 Published by Elsevier Ltd on behalf of College of Emergency Nursing Australasia Ltd. All rights
journal h om epage: www.elsevier.com/l ocate/aenj

ARTICLE +Model AENJ-327; No. of Pages 7 IN PRESS 2 K. Ekins, J. Morphet

Conclusions: A standard definition of accuracy and consistency in triage nurse decision making is required. Inaccurate triage decisions can result in increased morbidity
recommended that emergency department performance indicator thresholds be utilised as a benchmark for national triage consistency. Crown Copyright © 2015 Publishe
behalf of College of Emergency Nursing Australasia Ltd. All rights reserved.

• Triage is the process of sorting or selecting patients in order

to distribute resources appropriately. Incon- sistencies or
inaccuracies in triage decisions result in serious consequences
What is known
for the patient in the context of morbidity or mortality.
• Triage nursing is an autonomous role that is usually
undertaken in the Emergency Department. A triage nurse is
responsible for the determination of urgency and
interventions, in addition to determining the order in which
patients are seen based on assess- ment. The national standard
for triage education is the Emergency Triage Education Kit
(ETEK).
• In the context of triage, clinical decision-making refers to the
allocation of one Australasian Triage Score over four others
using primary and secondary assessment skills, knowledge of
pre-determined criteria and the Australasian Triage Scale.
Despite this, a poor triage decision is a significant threat to
patient safety and outcomes. Triage consistency and accuracy
will result in an Australian-wide uni- lateral allocation of an
Australasian Triage Score to a patient.
• Several Australian studies have explored triage consistency
in locations such as Victoria, Western Australia and New
South Wales. However several lim- itations in these studies
were identified, including: inadequate provision of clinical
information to par- ticipants, inconsistent data reporting, the
utilisation of out-dated triage scales and a failure to compen-
sate for a lack of visual and aural stimuli. In addition to these
limitations, a gap in the literature includes the insufficient
study of triage nurse decision-making in rural and remote
areas.
What this paper adds?
• The aim of this study was to determine the level of triage
decision accuracy and consistency in one Western Australian
Country Health Service Region. This research contributes to
the gap in literature surrounding the study of triage nurse
decisions in rural and remote areas. Previous research on the
consistency of triage held little comparison for the remoteness
of Western Australia and its health regions.
• The most significant reason to conduct research into the
consistency and accuracy of rural, remote and outpost triage
nurse decisions is patient safety. People residing in rural and
remote areas have sig- nificantly poorer health differentials
when compared to metropolitan areas.
Please cite this article in press as: Ekins K, Morphet J. The accuracy and consistency of rural, remote and outpost triage nurse decision making in one Weste
Health Service Region. Australas Emerg Nurs J (2015), http://dx.doi.org/10.1016/j.aenj.2015.05.002
ARTICLE +Model AENJ-327; No. of Pages 7
safety.6 The development and use of triage guidelines have
been shown to minimise morbidity and mortality.4 Sev- eral
• Of the health workforce, the task of recruitment and
retention of health professionals in rural and remote areas is
challenging for employers, and a combi- nation of personal
and professional determinants results in an increased transient
health population.
• Despite the inclusion of rural areas in the research of triage
consistency, there failed to be consistent data reporting,
varying terminology associated with sta- tistical analysis, and
a failure to clearly analyse and define what rural and remote
was on a national level — for comparison. This study utilises
national defi- nitions for rural and remote areas, to enable
future comparison. Statistical analysis and terms used were
based on a Fleiss’ kappa model and would therefore enable
inter-rater analysis, but also clear terms asso- ciated with data
findings would mean this data can be analysed in comparison
to future studies.
Introduction
Triage in the emergency department (ED) is an autonomous
nursing role, and involves the process of patient assessment
and prioritisation, to determine the distribution of resources to
patients. In Australia, the triage nurse is responsible for
determining the urgency and order in which patients are seen,
based on their assessment findings, and the Aus- tralasian
Triage Scale (ATS).2 The aim of the ATS is to ensure that the
triage category allocated, reflects the urgency with which the
patient needs medical assistance. This is depend- ent on triage
nurse accuracy in decision making. The ATS is also designed
to ensure consistent decisions are made by individuals and
organisations. This is known as triage consistency.3
Inaccuracy or inconsistency in triage decisions can result in
serious consequences for the patient, potentially increas- ing
morbidity and mortality,4 and can also negatively affect ED
resources.3 While 5-tier triage systems have historically been
shown to improve patient outcomes,5 triage has a direct impact
on the quality of patient care and patient
IN PRESS Triage accuracy and consistency 3
studies have examined the accuracy and consistency of triage
nurse decision making in both large metropoli- tan and
country hospitals across Victoria, New South Wales and
Western Australia.1,7—10 However, no study has singularly
measured the accuracy and consistency of triage in an area as
large and rural as the Western Australian Country Health
Service (WACHS). Therefore the aim of this research project
was to measure the consistency of rural, remote and nurs- ing
outpost triage nurse decision making in one of the WACHS
regions.
Method
This study used a descriptive correlational questionnaire
design and was conducted in one WACHS region. Three types
of health sites exist in the WACHS region: hospitals (n = 2),
multi-purpose sites (MPS) (n = 4) and nursing posts (n = 4).
Multi-purpose sites encompass emergency, general medical
and aged care facilities. Multi-purpose sites have perma- nent
or intermittent medical cover. Nursing posts are single or dual
nursing posts with no, or intermittent medical cov- erage.
Purposive sampling was used to recruit ‘triage com- petent’
nurses employed within WACHS. Ethics approval was gained
from both the WACHS Human Research Ethics Committee
(2012:06), and Monash University Human Research Ethics
Committee (2012001104) prior to the study commencing.
Data were collected using an online questionnaire. The
questionnaire was separated into two sections: demographic
data collection and triage case scenarios. There were 27
Australian Triage Score scenarios which had been previously
developed and validated by LeVasseur.1 The scenarios were
developed using the Victorian Emergency Minimum Dataset
as a basis for case mix approximation. The scenarios were
further reconciled with the assistance of an expert panel until
unilateral triage category allocation was reached.1
Each triage scenario included a short synopsis of the patient’s
presentation and included patient age, gender, mode of arrival,
presenting problem, respiratory rate, use of accessory muscles,
Sa02, heart rate, skin status, neurolog- ical status, pain status,
temperature, past medical history and medications. See Table
1 for an example of a triage case scenario. There were 14 adult
and 13 paediatric scenarios. There were four ATS Category 1
scenarios, four ATS Category 2 scenarios, nine ATS Category
3 scenarios, six ATS Category 4 scenarios and four ATS
Category 5 scenarios.
For the purpose of data analysis, health sites were aggre- gated
according to site type (hospital, MPS, nursing post). Data were
analysed using SPSS (V20).11 Descriptive statis- tics were
used to summarise the study data and report triage decision
accuracy. Correlations were used to explore the relationship
between independent variables such as ED location and triage
consistency.12 Fleiss’ kappa coef- ficient was used to calculate
triage consistency or the overall inter-rater agreement.
Regression analysis was used to test for differences on the
stratification of variables13 such as the type of health facility
and years of triage nurse experience.
Table 1 Triage case scenario 1.1
Case scenario 1 (ATS Category 2)
Fifty-three year old (patient age) male (patient gender)
presents by ambulance (mode of arrival) with sudden onset of
crushing central chest pain 3 h ago (presenting problem). He
got pain whilst he was chopping down a tree in his garden. On
arrival he is in a semi-recumbent position on the ambulance
trolley. His respiratory rate is 18 with no use of accessory
muscles and his oxygen saturation is 99% His heart rate is
68 (regular), and his skin is pale, cool and moist His blood
pressure is 135/75 His GCS is 15 He is complaining of crushing
central chest pain 9/10 with no radiation His temperature is
36.6 He has no relevant past medical history
Results
Participant characteristics
Invitations to participate were distributed to 65 triage nurses,
and the response rate was 70% (n = 46). Most partic- ipants (n
= 42, 91.3%) completed the entire questionnaire.
Most participants were female (n = 38, 82.6%), and there was
no statistically significant difference in the distribu- tion of
gender across health-site type (p = 0.26). There were more
younger participants (20—29 years of age) within the hospital
sites (n = 13, 44.8%), and more older participants (40—49
years of age) within the multi-purpose sites (n = 6, 46.2%)
(Table 2). Participants were working as Registered Nurses (n
= 30, 66.7%), Clinical Nurses (n = 11, 24.4%), and Clinical
Nurse Managers (n = 4, 8.9%). In Western Australia, a
Clinical Nurse is a level 2.0 nurse whose responsibili- ties
include shift coordination, education and supervision of staff.
There was no statistically significant difference in the spread
of Registered Nurses, Clinical Nurses and Clinical Nurse
Managers across health-site type (p = 0.13).
Half of the participants had 1—5 years of emergency nursing
experience (n = 23, 50.0%). More than half of the participants
had 1—5 years of experience as a triage nurse (n = 26,
56.5%). There was no statistically significant differ- ence in
the years of emergency nursing experience (p = 0.59) or years
of triage nurse experience (p = 0.47) when compared by
health site type.
Half of the participants (n = 23, 50.0%) had completed a post-
graduate qualification. The majority of participants (n = 44,
95.7%) had received triage education. The most frequently
reported triage education processes were the national
Emergency Triage Education Kit (ETEK)3 (n = 32, 70%) and
the Triage Education Resource Book6 (n = 26, 57%). Two
participants identified that they had not participated in any
triage education.
Please cite this article in press as: Ekins K, Morphet J. The accuracy and consistency of rural, remote and outpost triage nurse decision making in one Weste
Health Service Region. Australas Emerg Nurs J (2015), http://dx.doi.org/10.1016/j.aenj.2015.05.002

ARTICLE +Model AENJ-327; No. of Pages 7 IN PRESS 4 K. Ekins, J. Morphet

Table 2 Participant characteristics.

Hospital MPS Nursing post Total

n%n%n%n%

Age groups
20—29 years 13 44.8 1 7.7 0 0.0 14 30.4 30—39 years 7 24.1 2 15.4 2 50.0 11 23.9 40—49 years 7 24.1 6 46.2 0 0.0 13 28.3 50—59 years 1 3.4 3 23.1 2 50.0 6 13.0 60

Male 4 13.8 4 30.8 0 0.0 8 17.4 Female 25 86.2 9 69.2 4 100.0 38

Registered Nurse 17 60.7 10 76.9 3 75.0 30 66.7 Clinical Nurse 10 35.7 1 7.7 0 0.0 11 24.4 Clinical Nurse Manager 1 1 2 15.4 1 25.0 4 8.9 Years of emergen
1—5 years 14 48.3 7 53.8 2 50.0 23 50.0 6—10 years 8 27.6 4 30.8 0 0.0 12 26.1 11—15 years 6 20.7 1 7.7 2 50.0 9 19.6 16—20 years 0 0 0 0 0 0 0 0 >20 years 1 3.4 1

1—5 years 16 55.2 8 61.5 2 50.0 26 56.5 6—10 years 8 27.6 4 30.8 0 0.0 12 26.1 11—15 years 4 13.8 1 7.7 2 50.0 7 15.2 16—20 years 0 0 0 0 0 0 0 0 >20 years 1 3.4 0

MPS, multi-purpose site.

Triage accuracy and consistency Consi sten cy:

1
Participant responses to triage scenarios were compared
ATS 1 - 5
against the validated tool and the accuracy of triage decision-
ATS 1 - 5
making was determined. Participants were most accurate with
triage Category 2 scenarios (78.3%), and were least accurate
with triage Category 5 scenarios (40.7%) (see Table 3). There
was no scenario where all participants were accurate; Fig. 1 Table 3 Percentage of triage accurate decisions by triage
shows the inter-rater agreement for each scenario, reflecting category.
how consistently decisions made by different triage nurses
ATS category Percentage correctly triaged
were similar. Participants had higher consistency for the more
0.65 0.63 0.58 0.53 0.47
urgent ATS categories and that consistency reduced as the
0.90.8 0.7 0.6 0.5
level of scenario urgency reduced. Overall inter-rater 0.90.8 0.7 0.6 0.5
agreement, using Fleiss’ kappa coefficient, was 0.4. This 0.4
0.4
represents a fair-to-good level of inter-rater agreement. Pbar
Participants’ correct answers were compared across health site Pbar
Pbar
type, to determine if health site type impacted triage decision
accuracy. There was a statistically signifi- cant difference in 0.3 0.2 0.1
triage decision accuracy when compared by health site type (p 1 74.7% 2 78.3% 3 65.8% 4 66.4% 5 40.7%
0
= 0.038). The difference occurred between the average score 0.3 0.2 0.1
of multi-purpose sites (15.78) and nursing posts (19.00). It
must be noted there were only 4 participants in the nursing ATS 1 ATS 2 ATS 3 ATS 4 ATS 5

post group.
Figure 1 Consistency of triage decisions for each ATS cate-
A comparison of participants with an emergency nurs- ing
gory.
post-graduate qualification and the frequency of correct
answers, using a single-step ANOVA determined there was no
significant difference in triage decision accuracy (p = 0.88)

Please cite this article in press as: Ekins K, Morphet J. The accuracy and consistency of rural, remote and outpost triage nurse decision making in one Weste
Health Service Region. Australas Emerg Nurs J (2015), http://dx.doi.org/10.1016/j.aenj.2015.05.002

ARTICLE +Model AENJ-327; No. of Pages 7 IN PRESS Triage accuracy and consistency 5

when decisions made by participants with a post-graduate
qualification were compared with the decisions made by
participants without a post-graduate qualification.
Triage decision accuracy was also compared by popu- lation,
comparing accuracy in adult triage decisions with accuracy in
paediatric triage decisions. A comparison of responses to adult
and paediatric scenarios showed no sta- tistically significant
difference in triage decision accuracy (p = 0.45)
Two similar paediatric scenarios were included in the
questionnaire. The only difference between the scenarios was
the age of the child (in scenario 9, the child was 6 months old,
and in Scenario 25, the child was 8 months old). A
comparison was made to measure intra-rater consis- tency to
determine if, as expected, participants allocated the same
triage category for each case. 46.2% (n = 18) of participants
were consistent and accurate for both scenario 9 and scenario
25. However, a paired T-test found that there was no
significant difference in the mean triage cate- gory allocated
for each scenario (scenario 9 = 3.59, scenario 25 = 3.79, p =
0.06).
Discussion
There were four important findings in this study: (i) there was
no significant difference in the accuracy of decision- making
in paediatric and adult scenarios; (ii) the accuracy of
participants’ triage decision-making decreased with each less
urgent triage category, (iii) participants had fair to good
agreement or consistency in their triage decisions across
health site types, and (iv) post-graduate qualifications had no
bearing on triage decision-making. It was expected that
increased and specialist training should enable a more
informed decision-making process; however, this was not
evident in this study and these results are congruent with
previous scenario based triage research, which revealed no
difference in triage consistency based on experience or post-
graduate education.14
Triage should be consistent across all EDs throughout
Australia.5 The development and consistent use of triage
guidelines have been shown to minimise morbidity and
mortality.4 Inaccurate triage decisions risk patient safety and
compromise quality of care.1,2,6 While under triage directly
impacts patient safety due to inappropriate wait times, over
triage may strain a health service and risk the safety of other
patients.15 These issues highlight the need to ensure triage
accuracy amongst triage nurses. An over- all comparison of
triage decision consistency indicated a fair-to-good level of
inter-rater agreement.16 Participant accuracy decreased with
each less urgent triage category. The examination of paediatric
triage accuracy and consis- tency was important as there are
no paediatric specific EDs in WACHS. Historically, specialty
populations such as paediatrics have a lower level of
consistency in triage decisions,17 with paediatrics usually
triaged more con- sistently by nurses within paediatric
specialist EDs.18 In contrast to previous reports, a comparison
of adult and paediatric scenarios in this study found that there
was no statistically significant difference in triage decision
mean accuracy and consistency (p = 0.45). One explanation
for this may be the introduction of the paediatric specific
chapters
in the ETEK, introduced in 2007.3 It is also likely that the
regular exposure of WACHS triage nurses to paediatric
presentations contributed to their accuracy and consis- tency.
Historically, triage nurses have high levels of inter-rater
agreement for patient descriptors meeting ATS Category 1 and
ATS Category 519; however this was not evident in this study.
Patients presenting with immediately life- threatening
conditions require simultaneous assessment and treatment,20
and should be allocated an ATS Category 1. All ATS
Category 1 patients are expected to be treated imme- diately.
The four ATS Category 1 scenarios included in this study had
the highest rate of consistency, however triage decision
accuracy varied. The percentage of correct triage category
allocations for ATS Category 1 scenarios ranged from 47.8%
to 87.0%. In the majority of cases, when partici- pants failed
to allocate a Category 1, they instead allocated a Category 2,
this is indicative that participants identified the scenario as an
urgent presentation.
Patients presenting with imminently life-threatening events
should be allocated a triage Category 2 and have an expected
time-to-treatment of 10 min.20 This time-to- treatment should
be achieved in 80% of presentations. Triage Category 2
scenarios had the highest frequency of correct triage decisions.
For the majority of these scenarios, when participants did not
allocate a Category 2, they most fre- quently allocated a
Category 1. Whilst the allocation of a Category 1 would be
incorrect, the recognition of urgency by participants is evident
in their allocation of a higher triage score.
Historically Category 3 scenarios are triaged the least
consistently by triage nurses.19 While Category 3 was allo-
cated more accurately and consistently than Category 4 or 5
scenarios in this study, the variation in triage category allo-
cation for Category 3 scenarios did span across all five triage
categories. The most frequenctly allocated incorrect triage
category for all nine Category 3 scenarios, was a Category 4.
ATS Category 5 patient presentations are less urgent or
clinico-administrative,3 and these are usually easily recog-
nised by triage nurses. The triage nurses in this study were
neither accurate nor consistent in their triage category allo-
cation for these scenarios.
There was a statistically significant difference between the
accuracy of triage decisions when compared across health site
type. This is incongruent with previous research that identified
triage decisions were unaffected by the type of hospital, or
experience and education of triage nurses.9,14,21—24 Rural and
remote emergency nurses provide a significant proportion of
emergency care independently, and the nurses in nursing posts
often work without medi- cal support. Several studies have
explored emergency nurse care in rural and remote areas, and
one study found that rural and remote emergency nurses cared
for 52% of patients without medical review.25 The same study
highlighted that rural and remote nurses cared for an ATS 1
patient for up to 6 min, independent of medical assistance, and
managed 8% of ATS 2 patients until medical review in the
morning.25 The provision of independent nursing care relies on
experi- enced emergency nurses, and this may be one reason
why nurses at nursing posts were more accurate in their triage
decisions.

Please cite this article in press as: Ekins K, Morphet J. The accuracy and consistency of rural, remote and outpost triage nurse decision making in one Weste
Health Service Region. Australas Emerg Nurs J (2015), http://dx.doi.org/10.1016/j.aenj.2015.05.002

ARTICLE +Model AENJ-327; No. of Pages 7 IN PRESS 6 K. Ekins, J. Morphet

Table 4 Inter-rater agreement recommendation — adapted from the Australasian College for Emergency Medicine: Policy on the Australasian Triage Scale26 and Emerg
Education Kit.3
ATS category Treatment (maximum waiting time) Performance indicator
Recommended frequency of
thresholda triage inter-rater agreement
ATS 1 Immediate
Immediately life-threatening
100% 100%
ATS 2 10 min
Imminently life-threatening
80% 80%
ATS 3 30 min
Potentially life-threatening, time critical treatment, severe pain
75% 75%
ATS 4 60 min
Potentially life-serious, situational urgency, significant complexity
70% 70%
ATS 5 120 min
Less urgent
70% 70%
26
a Performance indicatory threshold refers to the percentage of patients who should be seen within the allocated timeframe, for that ATS category.
Performance indicators
Each triage category has an associated performance indi- cator which identifies what percentage of patients in each category must be seen within the alloc
example, 80% of Category 2 patients must be seen within 10 min. Triage categories and the associated performance indicators recognise the need for timely t
illness. A threshold of 100% for Category 1 presentations acknowledges that there is no room for time delays in the patient with an immediately life-threatenin
EDs are held to performance indicators regarding these patient waiting times, there is currently no standard by which triage nurses are measured for accuracy in
which set the time frames. In this study, inaccuracy in triage decision-making indicates that 52.2% of Category 1 patients would receive delayed life-savin
acceptable that there was not 100% accuracy in scenarios that are indicative of immediately life- threatening events. If it is reasonable to accept that 100% of
should not wait for treatment, it is also reasonable to expect that experienced and educated triage nurses identify a Category 1 patient with 100% accuracy.
performance indicators which are applied to patient waiting times could be adapted as a framework to measure triage accuracy (Table 4).
Implications for future practice
There are several implications for practice that have arisen from this study, these are:
1) That triage accuracy and consistency be nationally eval- uated to determine changes in triage practice since the introduction of the ETEK.
The ETEK was introduced in 2007 to improve consis- tency in triage decision making. There is no evidence that national triage consistency has been evaluated
introduction of the ETEK. This study found that triage decision making was consistent between paediatric and adult patients — a finding which contrasts w
Further evaluation of triage accuracy nationally will identify if paediatric triage has improved nationally. 2) That a framework be considered
rates of accuracy in triage decision-making.
No framework that defines acceptable accuracy rates in triage decisions currently exists. It is suggested that the current performance indicators for time to treat
expanded for use as acceptable guide- lines for triage accuracy. ATS Category 1 presentations should be accurately triaged 100% of the time, while at least 80%
2 presentations should be accu- rately triaged and so on, in line with current performance thresholds. 3) A nationally accepted descriptor for the quantification o
considered to enable clear comparison of consistency in triage decisions, for future research.
There remains no standardised definition for triage consistency. Fleiss’ kappa provides a numerical value and fixed descriptors 16 which will enable th
comparison of triage consistency. In addition, an acceptable value must be agreed upon, an example of an acceptable Fleiss’ kappa value would be equal to or
excellent.
Limitations
The limitations in this study should be considered before interpreting the results. Despite the inclusion of visual and aural data to compensate for a lack of visu
the use of descriptive text in paper or computer based scenarios are insufficient to compensate for actual patient interaction and is therefore a limitation in
many barriers to research participation. One likely barrier to the overall completion of the questionnaire was length. 27 The survey included 17 demographic que
Please cite this article in press as: Ekins K, Morphet J. The accuracy and consistency of rural, remote and outpost triage nurse decision making in one Weste
Health Service Region. Australas Emerg Nurs J (2015), http://dx.doi.org/10.1016/j.aenj.2015.05.002
ARTICLE +Model AENJ-327; No. of Pages 7
a further 27 triage scenarios. During the data analysis phase it
was evident that the number of unanswered scenarios
increased with the length of the survey. Lengthy question-
naires with complex questions decrease response rates.27
Conclusion
This study examined the accuracy and consistency of triage
within one WACHS region, using scenario based research.
Triage accuracy decreased with each less urgent triage cat-
egory. There was no significant difference between the
accuracy of adult and paediatric scenarios. The health site
type, and the attainment of a post-graduate qualification did
not affect participants’ accuracy. The overall level of inter-
rater agreement or consistency was 0.4 or ‘fair-to- good’.
Recommendations to improve triage within the region and
nationally include the development of a framework that
defines a minimum standard for accuracy rates in triage
decision-making using existing performance indicators. The
adoption of a nationally accepted descriptor for inter-rater
agreement that can provide numerical and descriptive data
comparisons, such as Fleiss’ kappa, may support such a
framework. Finally, a national evaluation of triage deci- sions
should be undertaken, to measure changes in triage decision-
making since the introduction of the ETEK.
Provenance and conflict of interest
No conflict of interest exists among the authors. This paper
was not commissioned.
Funding
No funding was utilised in this research project.
Acknowledgements
Fiona Watt — Staff Development Nurse (Critical Care), Kal-
goorlie Hospital.
Dr Louisa Lam — Lecturer, School of Nursing and Mid-
wifery, Monash University.
References
1. LeVasseur S, Considine J, Charles A, Castle C, Villanueva E. In:
Services VDoH, editor. Consistency of triage in Victoria’s
IN PRESS Triage accuracy and consistency 7
emergency departments: consistency of triage report. Victoria,
Australia: Monash Institute of Health Services Research; 2001. p. 1—
96. 2. College of Emergency Nursing Australasia. Position statement:
triage nurse. Australas Emerg Nurs J 2007;10:93—5. 3. Department
of Health and Aging. In: Aging DoHa, editor. Emer- gency Triage
Education Kit: workbook. Canberra, Australia: Commonwealth of
Australia; 2009. 4. Fry M, Burr G. Review of the triage literature: past,
present,
future? Aust Emerg Nurs J 2002;5(2):33—8. 5. Pardey T. The
clinical practice of Emergency Department Triage: application of the
Australasian Triage Scale — an extended lit- erature review. Part 1:
Evolution of the ATS. Australas Emerg Nurs J 2006;9:155—62.
6. Innes K, Plummer V, Considine J. Nurses’ perceptions of their
preparation for triage. Australas Emerg Nurs J 2011;14:81—6. 7.
Dilley S, Standen P. Victorian nurses demonstrate concordance in the
application of the National Triage Scale. Emerg Med
1998;10(1):12—8. 8. Considine J, Ung L, Thomas S. Triage nurses’
decisions using the National Triage Scale for Australian emergency
departments. Accid Emerg Nurs 2000;8:101—8. 9. Jelinek G, Little
M. Inter-rater reliability of the National Triage Scale over 11,500
simulated occasions of triage. Emerg Med 1996;8(4):226—30. 10.
Doherty S. Application of the National Triage Scale is not uni-
form. Emerg Nurs J 1996;1(1):26. 11. IBM Corporation. IBM SPSS
Statistics for Windows, Version 20.0.
Armonk, NY: IBM Corp; 2011. 12. Scrutinizing quantitative research
design.Polit D, Beck C, edit- ors. Essentials of nursing research:
methods, appraisal and utilization. Philadelphia, USA: Lippincott
Williams and Wilkins; 2006. p. 177—208. 13. Polit D, Beck C.
Essentials of nursing research: meth- ods, appraisal, and
utilisation. Philadelphia, USA: Lippincott Williams and Wilkins;
2006. 14. Considine J, Ung L, Thomas S. Clinical decisions using the
National Triage Scale: how important is postgraduate education?
Accid Emerg Nurs 2001;9:101—8. 15. Kennedy K, Aghababian R,
Gans L, Lewis C. Triage: tech- nique and applications in decision
making. Ann Emerg Med 1996;28:136—44. 16. Feinstein AR.
Principles of medical statistics. FL, USA: CRC
Press; 2002. 17. Gerdtz M, Chu M, Collins M, Considine J, Crellin D,
Sands N, et al. Factors influencing consistency of triage using the Aus-
tralasian Triage Scale: implications for guideline development. Emerg
Med Australas 2009;21:277—85. 18. Durojaiye L, O’Merara M. A
study of triage of paediatric patients
in Australia. Emerg Med Australas 2002;14(1):67—76. 19. Gerdtz
M, Collins M, Chu M, Grant A, Tchernomoroff R, Pollard C, et al.
Optimizing triage consistency in Australian emergency departments:
the Emergency Triage Education Kit. Emerg Med Australas
2008;20:250—9. 20. Australasian College for Emergency Medicine.
Guidelines on the implementation of the Australasian Triage
Scale in Emer- gency Departments; 2000. Available from:
http://www.acem. org.au/media/policies and guidelines/g24
implementation ats.pdf 21. Standen P, Dilley S. A review of triage
nursing practice and experience in Victorian public hospitals. Emerg
Med 1997;9(4):301—5. 22. Hollis G, Sprivulis P. Reliability of the
National Triage Scale with changes in emergency department activity
level. Emerg Med 1996;8(4):231—4. 23. Richardson D. No
relationship between emergency depart- ment activity and triage
categorization. Acad Emerg Med 1998;5(2):141—5. 24. Considine J,
LeVasseur S, Charles A. Development of physiologi- cal
discriminators for the Australasian Triage Scale. Accid Emerg Nurs
2002;10(4):221—34. 25. Tescher P, Chen T. Emergency Department
performance at a small rural hospital: an independent in-depth review.
Aust J Rural Health 2009;17:292—7. 26. Australasian College for
Emergency Medicine. Policy on the Australasian Triage Scale;
2000. Available from: http://www. acem.org.au/media/policies and
guidelines/P06 Aust Triage Scale - Nov 2000.pdf [cited 04.02.12]. 27.
Dillman DA. Mail and internet surveys: the tailored design
method. New York: John Wiley; 2000.

Please cite this article in press as: Ekins K, Morphet J. The accuracy and consistency of rural, remote and outpost triage nurse decision making in one Weste
Health Service Region. Australas Emerg Nurs J (2015), http://dx.doi.org/10.1016/j.aenj.2015.05.002