Anda di halaman 1dari 10

Revista de Psicopatología y Psicología Clínica, 23, 99-107, 2018

doi: 10.5944 / rppc.vol.23.num.2.2018.21050 Rev. Psicopatol. Psicol. Clin. http://www.aepcp.net ISSN 1136-5420
http://revistas.uned.es/index.php/rppc © Asociación Española de Psicología Clínica y Psicopatología

Menjelajahi kapasitas pemutaran 15 item versi bahasa Portugis Eropa


Skala Depresi Geriatri
João L. Alves Apostle 1, Elzbieta M. Bobrowicz-Campos1, Ivo A. Carvalho dos Reis 2, Susana Justo
Henriques3 dan Carla A. Veiga Correia 4
1
Unit Penelitian Ilmu Kesehatan: Keperawatan, Sekolah Perawat Coimbra, Coimbra, Portugal.
2
ARS Centro, Alfarelos, Portugal.
3
Asosiasi Solidaritas Sosial Ribeira de Fráguas, Albergaria Velha, Portugal
4
ARS Centro, Coimbra, Portugal

Abstrak: Tujuan dari penelitian ini adalah untuk menganalisis kinerja skrining versi bahasa Portugis Eropa dari 15-item Skala
Depresi Geriatrik (GDS-15) terhadap kriteria diagnostik DSM-5 untuk episode depresi mayor. Penelitian ini dilakukan di berbagai
pusat dan melibatkan 139 orang dewasa yang lebih tua yang direkrut dalam konteks perawatan kesehatan primer. Dua puluh tiga
peserta didiagnosis dengan depresi klinis. Sensitivitas dan spesifisitas untuk titik potong yang berbeda ditentukan berdasarkan
analisis kurva ROC. Titik potong ≥ 4,5 memberikan tingkat sensitivitas optimal (95,7%) dan spesifisitas (52,6%). Setelah
dikeluarkan dari analisis data peserta yang buta huruf, batas optimal tetap tidak berubah. GDS-15 versi Portugis Eropa adalah alat
yang efektif untuk skrining depresi pada orang dewasa yang lebih tua. Studi lebih lanjut diperlukan untuk memverifikasi jika ada
faktor, selain pendidikan formal, yang dapat mempengaruhi kinerja skala.
Kata kunci: Depresi; Skala Depresi Geriatri; orang tua; penyaringan.
judul
Eksplorasi kapasitas penyaringan versi Portugis dari Skala Depresi Geriatri 15 itemSkala Depresi Geriatri versi Portugis dari 15 item
Ringkasan: Tujuan dari penelitian ini adalah untuk membandingkan kapasitas(GDS-15) sehubungan dengan Kriteria DSM-5
dalam kaitannya dengan gangguan depresi mayor. Studio itu multisenter dan termasuk 139 lansia (23 dengan diagnosis depresi)
yang direkrut dalam konteks perawatan primer. Sensitivitas dan spesifisitas untuk berbagai titik potong yang diperoleh melalui
kurva KOP. Hubungan sensitivitas dan spesifisitas terbukti paling baik pada titik potong ≥ 4,5, menghasilkan sensitivitas 95,7%
dan spesifisitas 52,6%. Setelah mengeluarkan analisis data dari peserta tanpa pendidikan formal, titik potong optimal tetap tidak
berubah. Skala GDS-15 versi Portugis Eropa adalah alat yang efektif untuk menyaring depresi pada orang tua. Jika studi buruk
diperlukan untuk memeriksa apakah ada faktor lain yang dapat mempengaruhi kinerja skala.
Kata kunci: Depresi; Skala Depresi Geriatri; orang tua; penyaringan.
Yayasan João Bento Raimundo atas kerjasama mereka dalam
pengumpulan data.
Pendahuluan

Diterima: 24 Januari 2018; diterima: 17 Mei 2018 Menurut Organisasi Kesehatan Dunia (WHO, 2015),
Penulis koresponden: Elzbieta Bobrowicz-Campos, Unit Penelitian sekitar 2-3% lansia yang tinggal di masyarakat dan
Ilmu Kesehatan: Keperawatan, Sekolah Perawat Coimbra, Avenida sekitar 10% lansia yang tinggal di fasilitas perawatan
Bissaya Barreto (Polo A), Apartado 7001, 3046-851 Coimbra,
jangka panjang dipengaruhi oleh gangguan depresi.
Portugal. Correo-e: elzbieta.campos@gmail.com
Ucapan Terima Kasih: Penulis ingin mengucapkan terima kasih Lebih lanjut, hampir satu dari 10 orang dewasa yang
kepada Rui Maia dan Replicar Socialform atas kontribusinya terhadap lebih tua menderita depresi di bawah ambang batas.
pengembangan studi, serta ACES Baixo Mondego - UCSP Soure, Depresi pada usia lanjut dianggap sebagai salah satu
ACES Baixo Mondego - USF Briosa, ASAVIDA - Asosiasi Bantuan penyebab utama kecacatan, morbiditas dan mortalitas
Sosial Membantu Hidup, Cediara - Asosiasi Solidaritas Sosial Ribeira
pada populasi lanjut usia (Fiske, Wetherell, & Gatz,
de Fráguas, Pusat Kesejahteraan Sosial Alcanena, CERCIVAR -
Koperasi Pendidikan dan Rehabilitasi Anak Cacat di Ovar dan 2009). Namun, karenaatipikal

Revista de Psicopatología y Psicología Clínica 2018, Vol. 23 (2), 99-107


100 JL Alves-Apóstolo, EM Bobrowicz-Campos, IA Carvalho-dos-Reis, S. Justo Henriques dan CA Veiga Correia
instrumen yang dapat dengan mudah digunakan sebagai
profil, sering kurang didiagnosis dan dirawat (Munk, bagian dari evaluasi medis komprehensif pasien geriatri,
2007; Sözeri-Varma, 2012). Ada kebutuhan akan memberikan dukungan yang berharga untuk mendeteksi
gangguan depresi dan untuk memantau kemanjuran Ertan, Kızıltan, & Uyguçgil, 2005; Huang, Hsieh, Wu, &
pengobatan antidepresan. The Geriatric Depression Scale Lu, 2017; Weintraub, Oehlberg, Katz, & Stern, 2006)
(GDS) adalah instrumen seperti itu. telah membuktikan keandalan dan validitas GDS di
GDS adalah ukuran laporan diri singkat dan mudah antara pasien dengan Penyakit Parkinson . GDS juga
komprehensif yang dirancang khusus untuk skrining telah diidentifikasi sebagai alat yang sesuai untuk tujuan
depresi akhir kehidupan (Yesavage et al., 1983). Ini skrining pada orang dewasa yang lebih tua dengan jenis
adalah instrumen yang sangat andal dan valid yang kelamin, tingkat pendidikan dan usia yang berbeda
memungkinkan deteksi dini perubahan suasana hati yang (Conradsson, 2013; Chiesi et al., 2017; Dias et al., 2017).
signifikan dan, oleh karena itu, manajemen yang lebih GDS telah digunakan secara luas di berbagai negara,
baik dari konsekuensi merugikan terkait depresi (Peach, diterjemahkan ke lebih dari 30 bahasa, termasuk Portugis.
Koob, & Kraus, 2001). GDS adalah instrumen hemat Adaptasi dari versi 15-item GDS ke dalam bahasa
waktu dengan format respon sederhana (ya / tidak), yang Portugis Eropa dimulai pada tahun 2010 (Apóstolo,
memfasilitasi penggunaannya dalam pengaturan 2011). Dalam sampel 195 orang dewasa yang lebih tua
perawatan kesehatan yang berbeda (Jongenelis et al., (usia rata-rata: 73 tahun; 63% dengan tingkat pendidikan
2005; Peach et al., 2001). ≤ 4 tahun), GDS-15 mengungkapkan nilai alpha
Versi asli GDS (Yesavage et al., 1983) berisi 30 item Cronbach 0,83. Untuk validasi bersamaan, subskala
yang berfokus pada motivasi, orientasi masa depan / depresi Depression Anxiety and Stress Scale-21
masa lalu, energi, kelelahan dan suasana hati itu sendiri, (DASS-21; Lovibond & Lovibond, 1995) digunakan,
tetapi tidak pada keluhan somatik, karena yang terakhir menunjukkan hubungan yang kuat (= 0,70) dengan
mungkin hanya mencerminkan proses penuaan atau hasil GDS-15.
dari masalah medis umum lainnya di kemudian hari Kemudian, GDS 15 versi Portugis Eropa diberikan
(Fiske et al., 2009). Item GDS juga fokus pada keluhan kepada 889 orang dewasa yang lebih tua (usia rata-rata:
kognitif subjektif dan gejala atipikal yang umum terjadi 78 tahun; 89% dengan tingkat pendidikan ≤ 4 tahun).
pada depresi akhir kehidupan, seperti kecemasan dan Dalam sampel ini, nilai alpha Cronbach adalah 0,83
iritabilitas (Munk, 2007). Versi GDS yang lebih pendek, (Apóstolo et al., 2014). Sifat psikometri GDS versi
terdiri dari 1, 4, 5, 10, 12 atau 15 item, juga telah Portugis Eropa dengan 5 (GDS-5) dan dengan 10
dikembangkan (Jongenelis et al., 2005). Mereka terbukti (GDS-10) item juga dinilai (Apóstolo et al., 2014). Nilai
memiliki nilai klinis potensial dalam pengaturan medis alpha Cronbach adalah 0,841 untuk GDS-10 dan 0,794
yang berbeda (Almeida & Almeida, 1999; Jongenelis et untuk GDS-5. Baik GDS-10 dan GDS-5 memiliki
al., 2005; Mitchell, Bird, Rizzo, & Meader, 2010). korelasi yang kuat dan signifikan dengan GDS-15.
Namun, masih belum diketahui alternatif hemat waktu Masih ada kebutuhan untuk menentukan sensitivitas
mana yang paling andal dan valid. dan spesifisitas GDS versi Portugis Eropa terhadap tes
Kegunaan GDS tampaknya terbatas pada beberapa referensi yang ada dan menghitung titik potong yang
populasi khusus. Menurut beberapa penulis (Debruyne et memadai untuk skrining depresi. Titik potong ini telah
al., 2009), validitas dan reliabilitas skala sangat diidentifikasi untuk versi GDS
berkurang pada pasien dengan Penyakit Alzheimer. 15 yang divalidasi untuk konteks budaya dan sosial
Schwarzbach dkk. (2014) menyimpulkan bahwa, karena lainnya. Penulis skala versi Brazil-Portugis (Almeida &
format laporan sendiri, GDS kurang cocok untuk orang Almeida, 1999) telah menentukan bahwa titik potong
dewasa yang lebih tua dengan keterbatasan kognitif, optimal untuk skrining depresi adalah 4/5. Penulis lain
sementara Chiesi et al. (2018) telah menunjukkan bahwa (Herman et al., 1996; Marc, Raue, & Bruce, 2008;
individu dengan gangguan kognitif lebih mungkin untuk Rinaldi et al., 2003) telah memeriksa kapasitas skrining
menjawab item GDS tentang masalah memori dan GDS-15 versi Kanada, Amerika Utara dan Italia,
ketakutan tentang masa depan dengan cara yang bias. menunjukkan dari titik 5/6. Ada kemungkinan bahwa
Penulis lain (Cwikel & Ritchie, 1989; Kim, Prince, Shin, perbedaan batas yang diusulkan untuk versi GDS-15 ini
& Yoon, 2001) telah mengidentifikasi sejumlah besar dihasilkan dari pengaruh variabel sosiodemografi dan
kesalahan klasifikasi GDS dalam mata pelajaran tanpa budaya; mereka juga dapat mencerminkan perbedaan
pendidikan formal atau tingkat pendidikan yang sangat pada profil klinis dan kognitif dari sampel yang diteliti.
rendah. Meskipun demikian, penggunaan GDS-15 yang
Di sisi lain, Debruyne et al. (2009), Jongenelis et al. bertanggung jawab dalam sistem perawatan kesehatan
(2005) dan Midden dan Mast (2017) telah Portugis memerlukan penentuan nilai sensitivitas dan
mengkonfirmasi bahwa GDS dapat digunakan dengan spesifisitas untuk versi skala yang diadaptasi dan
andal pada orang dewasa yang lebih tua denganringan divalidasi secara budaya,
gangguan kognitifsampai sedang. Penulis lain (Ertan,

© Asociación Española de Psicología Clínica y Psicopatología


Kapasitas skrining dari 15 item Geriatric Skala Depresi 101
Tabel 1. Karakteristik demografis, klinis dan
neuropsikologis dari peserta penelitian
dan pemilihan titik potong yang paling sesuai untuk
digunakan dalam praktik klinis rutin.
Gender (angka): Pria / Wanita 55/84 Usia (tahun): Mean ± SD
Penelitian ini bertujuan untuk memverifikasi apakah
GDS-15 versi Portugis Eropa adalah metode yang efisien (Range) 77.68 ± 7.11 (65-96) Pendidikan (tahun): Mean ± SD
untuk skrining depresi pada orang dewasa yang tinggal di (Range) 5.59 ± 4.79 (0-21)
komunitas berusia 65 tahun ke atas, menggunakan
sebagai standar diagnostik.
kriteria untuk episode depresi mayor, Statistik Gangguan Mental, janda / cerai
berasal dari Manual Diagnostik dan Status Perkawinan (%): lajang / menikah / 2.9 /57.6 /36.0 /3.6

edisi ke-5 (DSM-5) (American Psychiatric Association 6CIT (skor): Rata-rata ± SD (Rentang) 6,88 ± 5,98 (0-21)
[APA] , 2013). Data tentang 5- dan 10-item GDS telah Skor 6CIT (%): <10 / ≥ 10 64,7 / 35,3 GDS (skor): Rata-rata
disajikan di tempat lain (Apóstolo, Bobrowicz-Campos, ± SD (Rentang) 5,42 ± 4,06 (0- 15)
Reis, Henriques, & Correia, 2018).
DSM-5 Kriteria (angka): Rata-rata 1,96 ± 2,30 (0-8)
Metode ± SD (Rentang)
peserta memberikan informasi tentangmereka
Note. 6CIT: Enam item Tes Penurunan Kognitif; DSM-5:
Peserta Manual Diagnostik dan Statistik Gangguan Mental, edisi ke-5;
GDS: Skala Depresi Geriatri.
Komite Etik Lokal dari Unit Penelitian Ilmu
Kesehatan: Keperawatan (UICISA: E) menyetujui
penelitian (Opini 11- 11/2010), dan semua peserta fitur sosiodemografi, dan kemudian menjawab
memberikan persetujuan mereka. pertanyaan hetero-terapan GDS-15. Setiap jawaban “ya”
Sampel penelitian awal terdiri dari 144 orang dewasa diberi nilai 1 poin, dan setiap jawaban “tidak” diberi nilai
yang lebih tua berusia ≥ 65 tahun, direkrut dalam 0, kecuali item 1, 5, 7, 11 dan 13 yang diberi kode
konsultasi dokter umum, pusat penitipan anak dewasa terbalik. Skor GDS yang tinggi menunjukkan adanya
dan panti jompo di beberapa daerah perkotaan, pedesaan gejala depresi yang signifikan secara klinis, sedangkan
dan sementara di Wilayah Tengah Portugal. Untuk skor yang rendah menunjukkan tidak adanya gejala yang
memastikan keakuratan data yang diperoleh, semua relevan secara klinis.
peserta diskrining untuk gangguan kognitif dengan Sesi kedua dilakukan oleh tim medis yang terlatih
6-Item Cognitive Impairment Test (6CIT; Brooke & (dokter umum dan psikolog klinis) yang tidak
Bullock, 1999). Versi Portugis dari tes ini (Apóstolo, mengetahui skor GDS-15 yang diperoleh peserta. Selama
Paiva, da Silva, Santos, & Schultz, 2017; Paiva & sesi ini, wawancara diagnostik semi-terstruktur yang
Apóstolo, 2015) terbukti memiliki reliabilitas tes-ulang menilai kriteria DSM-5 dilakukan. Subjek
yang tinggi (r = 0,95) dan konsistensi internal yang baik diklasifikasikan sebagai memiliki episode depresi mayor
(α = 0,88). Untuk tujuan penelitian ini, batas 6CIT ≤ 21 ketika (i) mereka bertemu setidaknya lima dari gejala
digunakan, yang menunjukkan bahwa setidaknya DSM-5 selama periode dua minggu yang sama, dengan
beberapa keterampilan kognitif seperti orientasi dalam salah satu gejala depresi mood atau kehilangan minat
ruang dan waktu, atau memori kerja dan perhatian, atau atau kesenangan; (ii) fungsinya berubah secara signifikan
memori jangka panjang tetap dipertahankan. Sampel dari tingkat sebelumnya; dan (iii) gejala saat ini tidak
penelitian akhir terdiri dari 139 orang dewasa yang lebih disebabkan oleh efek fisiologis zat atau kondisi medis
tua, 84 wanita dan 55 pria. Karakteristik lain, dan tidak dijelaskan dengan lebih baik oleh
sosio-demografis sampel disajikan pada Tabel 1. gangguan afektif atau psikotik lainnya. Tingkat
keparahan episode ini dievaluasi menurut tingkat
Instrumen dan prosedur keparahan gejala saat ini dan dampaknya pada area
fungsi yang berbeda.
Penelitian dilakukan dari Januari 2016 hingga
Februari 2017. Semua peserta menyelesaikan GDS-15 Analisis statistik
versi Portugis Eropa (Apóstolo et al., 2014) dan disaring
untuk kehadiran episode depresi mayor dengan Konsistensi internal GDS-15 diukur dengan
wawancara klinis menggunakan kriteria DSM menggunakan koefisien alpha Cronbach. Kurva
5 (APA, 2013). Data dikumpulkan selama dua sesi karakteristik operasi penerima (ROC) diplot untuk skor
terpisah yang dilakukan pada hari yang sama. Sesi GDS-15 dan diagnosis DSM-5 (ada / tidak ada) ke
pertama dilakukan oleh tim perawat. Dalam sesi ini, para
Revista de Psicopatología y Psicología Clínica 2018, Vol.23 (2), 99-107
102 JL Alves-Apóstolo, EM Bobrowicz-Campos, IA Carvalho-dos-Reis, S. Justo Henriques dan CA Veiga Correia
Cohen (1988) dan Marôco (2011), dengan η2hal > .50
membandingkan sensitivitas dan spesifisitas setiap menunjukkan ukuran efek yang sangat besar, η2p > .25
ambang untuk episode depresi mayor. Titik potong dan ≤ .50 ukuran efek yang besar, η2p > .05 dan ≤ .25 efek
optimal pada kurva KOP dihitung menggunakan nilai sedang, dan η2p ≤ .05 ukuran efek kecil.
maksimal indeks Youden, yaitu nilai maksimal Selain itu, untuk menganalisis apakah skor GDS-15
“Sensitivitas + Kekhususan - 1” (Fluss, Faraggi, & dapat dipengaruhi atau tidak oleh kapasitas kognitif,
Reiser, 2005). Ukuran ringkasan standar lainnya dari ANCOVA non parametrik dilakukan dengan
akurasi tes, seperti nilai prediksi positif dan negatif, dan menggunakan peringkat rata-rata dari variabel dependen
rasio kemungkinan positif dan negatif juga dihitung. dan kovariat. Tingkat probabilitas 0,05 dianggap
Tes Wilcoxon - Mann-Whitney untuk dua sampel signifikan. Data dianalisis menggunakan program SPSS
independen digunakan untuk menganalisis distribusi skor Statistics (v. 24, IBM SPSS, New York).
GDS-15 dan 6CIT pada peserta dengan dan tanpa depresi
menurut kriteria DSM-5. Ukuran efek dihitung dengan Hasil
menggunakan rumus r = Z / √N (Field, 2004). Nilai yang
diperoleh diinterpretasikan berdasarkan indikasi yang Reliabilitas GDS-15
dikemukakan oleh Cohen (1988), dengan r ≥ .20 dan
<.50 dianggap sebagai indikasi ukuran efek kecil, r ≥ .50 Seperti dapat dilihat pada Tabel 2, rata-rata item
dan <.80 dari ukuran efek sedang dan r ≥ .80 dari ukuran berkisar dari .05 (item 11) sampai .53 (item 6).
efek besar. Berkenaan dengan korelasi item-total, empat ditemukan
Analisis distribusi skor GDS-15 pada peserta tanpa menjadi kuat (item 2, 12, 14 dan 15; r ≥ .70), dua terbukti
depresi dan dengan derajat keparahan gejala yang lemah (item 11 dan 13; r ≤ .40), dan sembilan sisanya
berbeda didasarkan pada uji Kruskal Wallis untuk sampel dinyatakan sedang (0,40 < r <0,70).item yang dikoreksi
independen. Perbedaan antara kelompok dianalisis Korelasi totalberkisar antara 0,26 (item 13) dan 0,75
menggunakan perbandingan berganda berpasangan dari (item 12). Konsistensi internal GDS-15 yang
peringkat rata-rata. Untuk menentukan ukuran efek, diperkirakan oleh Cronbach's alpha terbukti tinggi (α =
2
digunakan uji Partial Eta Squared (η p). 0,86).
2
Interpretasi dari η hal nilai-nilai didasarkan pada saran

Tabel 2. Statistik item dan item dengan total GDS-15


Item Rata-rata Itemstandar item Korelasi total dikoreksi item dihapus
deviasi item Korelasi total item yang Alfa jika

1. Apakah pada dasarnya Anda puas dengan hidup Anda .20 .41 . 51 .43 .86 2. Apakah Anda telah menghilangkan banyak
aktivitas dan minat Anda .49 .50 .63 .54 .85 3. Apakah Anda merasa hidup Anda kosong que .52 .50 .70 .63 .85 4. Apakah
Anda sering bosan .52 .50 .64 .56 .85 5. Apakah Anda selalu bersemangat .18 .39 .47 .39 .86 6. Apakah Anda takut sesuatu
yang buruk akan terjadi pada Anda .53 .50 .62 .53 .85 7. Apakah Anda sering merasa bahagia .23 .43 .51 .42 .86 8. Apakah
Anda sering merasa tidak berdaya .38 .49 .63 .55 .85
9. Apakah Anda lebih suka untuk tinggal di rumah. dengan memori daripada kebanyakan
daripada keluar dan melakukan hal-hal baru .39 .49 .43 .33 .86 .34 .48 .54 .45 .86
10. Apakah Anda merasa memiliki lebih banyak masalah
11. Apakah menurut Anda menyenangkan untuksekarang hiduplah.05 .22 .37 .32 .86 12. Apakah Anda merasa sangat tidak
berharga seperti Anda sekarang .45 .50 .80 .75 .84 13. Apakah Anda merasa penuh energi .31 .46 .36 . 26 0,87 14. Do Anda
merasa bahwa situasi Anda harapan 0,37 0,49 0,75 0,69 0,84 15. Do Anda berpikir bahwa kebanyakan orang lebih baik daripada
Anda 0,50 0,50 0,73 0,66 0,85

© Asociación Española de Psicología Clínica y Psicopatología


Kapasitas skrining dari 15-item Skala Depresi Geriatrik 103

skor GDS-15 pada orang dewasa yang lebih Dari 139 orang dewasa yang lebih tua yang termasuk
tua dengan dan tanpa depresi dalam penelitian ini, 23 memenuhi kriteria diagnostik
DSM-5 untuk episode depresi mayor dan 116 tidak. Tiga bahwa skor GDS yang diperoleh oleh peserta non-depresi
belas peserta depresi dan 22 peserta non-depresi diobati berbeda secara signifikan dari yang diperoleh oleh pasien
dengan antidepresan. Sembilan peserta depresi dan 81 dengan depresi sedang (p = 0,020) atau berat (p <0,001),
peserta non-depresi tidak diberi antidepresan. Dalam tetapi tidak dengan depresi ringan (p = 0,307). Ukuran
kasus lainnya, tidak ada data yang diberikan. Rata-rata efeknya adalah 0,176. Pasien dengan derajat keparahan
skor GDS-15 pada kelompok lansia depresi dan non gejala depresi yang berbeda tidak berbeda nyata pada
depresi masing-masing adalah 8,91 (± 3,30, kisaran 3-15) skor GDS (pasien dengan depresi ringan dan sedang: p =
dan 4,73 (± 3,84, kisaran 0-13). Perbedaannya signifikan .440, pasien dengan depresi ringan dan berat: p = .110;
secara statistik (p <.001, r = .36). pasien dengan depresi sedang dan berat: p = 0,403).
Peserta diklasifikasikan lebih lanjut berdasarkan
tingkat keparahan gejala. Kriteria episode depresi ringan Skor GDS-15 dan 6CIT Skor
terpenuhi pada tiga subjek, episode depresi sedang pada
empat subjek, dan episode depresi berat pada enam rata-rata pada 6CIT adalah 9,78 (± 5,49) pada pasien
subjek. Dalam 10 kasus, data tentang tingkat keparahan depresi dan 6,30 (± 5,92) pada pasien non-depresi.
gejala hilang. Skor rata-rata GDS-15 adalah 7,33 (± 2,08, Perbedaan yang diamati terbukti signifikan secara
kisaran 5-9) pada pasien depresi ringan, 9,75 (± 2,22, statistik (p = 0,006, r = 0,24). Untuk menganalisis apakah
kisaran 7-12) pada pasien depresi sedang, dan 12,67 (± perbedaan kapasitas kognitif ini dapat mempengaruhi
1,21, kisaran 12-15) pada pasien depresi berat. pasien skor GDS, dilakukan ANCOVA non parametrik. Setelah
depresi. Representasi grafis dari distribusi skor GDS pada menyesuaikan perbedaan awal antar kelompok pada skor
peserta dengan dan tanpa depresi dapat ditemukan pada 6CIT, perbedaan antara peserta depresi dan non-depresi
Gambar 1. pada skor GDS 15 tetap signifikan (p <0,001).

Gambar 1. Skor Skala Depresi Geriatri 15 item untuk Sensitivitas dan spesifisitas GDS-15
peserta dengan depresi ringan, sedang, berat dan tanpa
depresi menurut kriteria DSM-5 (n = 129).
Seperti yang dapat dilihat pada Gambar 2, analisis
kurva ROC skor GDS-15 dan diagnosis DSM-5 (ada vs
tidak ada) menghasilkan AUC 0,78 (95% CI = 0,69). -
.87; p <.001). Nilai sensitivitas dan spesifisitas untuk titik
potong yang berbeda dari GDS-15 disajikan pada Tabel
3. Titik potong yang ditunjukkan oleh Indeks Youden
maksimal adalah ≥ 4,5 menghasilkan sensitivitas 95,7%
dan spesifisitas 52,6% . Nilai prediksi positif dan negatif
serta rasio kemungkinan positif dan negatif untuk titik
potong ≥ 4,5 disajikan pada Tabel 4.
Pengecualian data yang diperoleh peserta tanpa
pendidikan formal (n = 17) dari analisis kurva KOP tidak
signifikan. berdampak pada AUC (= .78; 95% CI = .69 -
.88; p <.001). Juga dalam hal ini titik potong optimal
untuk GDS-15 adalah ≥ 4,5 menghasilkan sensitivitas
100% dan spesifisitas 53%. Karena pengurangan jumlah
pasien yang diklasifikasikan berdasarkan tingkat
Catatan. Sumbu Horizontal: Tingkat keparahan gejala depresi keparahan gejala, kurva ROC untuk skor GDS-15 dan
menurut kriteria DSM-5; Sumbu Vertikal: Skor Skala Depresi kriteria DSM-5 untuk depresi ringan, sedang dan berat
Geriatrik 15 item. Garis gelap menunjukkan skor rata-rata. Kotak tidak dilakukan.
mewakili interval kepercayaan 95% dari mean.

Diskusi
Distribusi skor GDS-15 pada kelompok lansia
non-depresi dan lansia dengan
Tujuan dari penelitian ini adalah untuk memverifikasi
derajat keparahan gejala depresi berbeda secara
apakah GDS-15 versi Portugis Eropa dapat menjadi
bermakna (p <0,001). Perbandingan berganda
berpasangan dari peringkat rata-rata telah membuktikan

Revista de Psicopatología y Psicología Clínica 2018, Vol. 23 (2), 99-107


104 JL Alves-Apóstolo, EM Bobrowicz-Campos, IA Carvalho-dos-Reis, S. Justo Henriques dan CA Veiga Correia
15-item Skala Depresi Geriatrik
Tabel 3. Sensitivitas, spesifisitas dan Indeks Youden dari
penurunan kognitif sedang, mewakili sepertiga dari
Titik potong Sensitivitas Spesifisitas Indeks Youden ≥ 0,5 sampel akhir.
100% 17,2% 0,17 Konsistensi internal GDS-15 versi Portugis Eropa
sebelumnya dilaporkan tinggi (Apóstolo et al., 2014).
≥ 1,5 100 % 32,0% 0,31 ≥ 2,5 100% 37,9% 0,38 ≥ 3,5
Penelitian kami telah mengkonfirmasi temuan ini.
95,7% 45,7% 0,41 ≥ 4,5 95,7% 52,6% 0,48 ≥ 5,5 Perbandingan skor GDS-15 pada lansia dengan dan tanpa
78,3% 57,8% 0,36 ≥ 6,5 73,9% 63,8% 0,38 ≥ 7,5 depresi menurut kriteria DSM-5 mengungkapkan bahwa
56,5% 69,8% 0,26 ≥ 8,5 52,2% 72,4% 0,25 ≥ 9,5 GDS-15 memiliki kapasitas diskriminan yang baik.
43,5% 86,2% 0,30 ≥ 10,5 43,5% 96,6% 0,40
Setelah mempertimbangkan potensi efek gangguan
kapasitas kognitif, perbedaan skor GDS antara peserta
≥ 11,5 34,8% 97,4% 0,32 ≥ 12,5 8,7% 98,3% 0,07 ≥
yang depresi dan yang tidak mengalami depresi tetap
14,0 4,3% 100% 0,04 signifikan, yang menunjukkan bahwa versi skala yang
Catatan. Cetak tebal: nilai titik potong, sensitivitas dan dianalisis cocok untuk digunakan pada orang dewasa
spesifisitas untuk Indeks Youden maksimal. yang lebih tua dengan gangguan kognitif ringan hingga
sedang. Hasil ini konsisten dengan yang ditemukan oleh
digunakan secara efisien untuk mendeteksi depresi berat penulis lain (Debruyne et al., 2009; Jongenelis et al.,
dalam komunitas lansia yang tinggal di komunitas. 2005; Midden & Mast, 2017).
Diagnosis episode depresi mayor didasarkan pada kriteria Nilai sensitivitas dan spesifisitas GDS-15 dihitung
DSM-5 (APA, 2013). Data dikumpulkan di pusat untuk titik potong yang berbeda, dan titik potong ≥ 4,5
perawatan kesehatan primer, pusat penitipan anak dewasa
terbukti paling sesuai untuk tujuan skrining. Pada
dan panti jompo. Semua peserta diskrining untuk
ambang ini, sensitivitas
gangguan kognitif dengan 6CIT. Apóstolo dkk. (2017)
telah mengusulkan skor 6CIT ≥ 10 sebagai ambang batas
untuk gangguan kognitif pada populasi Portugis. Namun,
mengingat bukti yang menunjukkan bahwa GDS dapat
digunakan dengan andal pada orang dewasa yang lebih
tua dengan gangguan kognitif ringan dan sedang
(Conradsson et al., 2013; Debruyne et al., 2009;
Jongenelis et al., 2005), itu diputuskan bahwa subjek
yang tidak menunjukkan kerusakan parah pada beberapa
domain kognitif harus tetap dalam penelitian. Oleh
karena itu, hanya mereka yang memperoleh skor> 21
pada 6CIT yang dikeluarkan. Peserta dengan skor 6CIT
antara 10 dan 21, menunjukkan kemungkinan kehadiran
ringan hingga
Gambar 2. Kurva KOP untuk 15-item skor Skala Depresi
Geriatrik, menggunakan kriteria DSM-5 untuk depresi
sebagai "standar emas".
Tabel 4. Sifat skrining dari 15-item Skala Depresi Geriatrik untuk cut-off ≥ 4,5

Sensitivitas Spesifisitas AUC PPV NPV LR + LR


0,96 0,53 .78 * 0.29 0.99 2.02 0.08
(0,87-1,04) (0,43-0,62) (0,692 - 0.87) (0.18-0.39) (0.95-1.02) (1.63-2.49) (0.01-0.57)

Catatan. ABK: area di bawah kurva; LR-: rasio kemungkinan negatif; LR +: rasio kemungkinan positif; NPV: nilai prediksi negatif;
PPV: nilai prediksi positif. Angka dalam tanda kurung menunjukkan interval kepercayaan 95%. *p <0,001.

© Asociación Española de Psicología Clínica y Psicopatología


Kapasitas penapisan 15-item Geriatric Depression Scale 105
dalam definisi titik potong optimal.
dan spesifisitas GDS-15 masing-masing mencapai 95,7% Pengaruh tingkat pendidikan terhadap kinerja di
dan 52,6%. Sebagai perbandingan, penggunaan titik GDS-15 juga perlu dipelajari secara sistematis. Seperti
potong ≥ 5,5 menghasilkan sensitivitas 78,3% dan disebutkan di atas, ada bukti yang menunjukkan (Cwikel
spesifisitas 57,8%. Dengan demikian, titik potong ≥ 4,5 & Ritchie, 1989; Kim et al., 2001) bahwa kurangnya
tampaknya memastikan deteksi yang lebih akurat dari pendidikan formal atau tingkat pendidikan yang rendah
pasien dengan depresi geriatri; namun, kemampuannya dapat menyebabkan kesalahan klasifikasi dalam versi
untuk mengidentifikasi pasien yang tidak depresi cukup skala yang dipersingkat. Di sisi lain, penggunaan format
berkurang. pilihan respon dikotomi tampaknya mengurangi risiko
Penggunaan batas antara empat dan lima poin untuk kesalahan klasifikasi, karena tidak memerlukan gradasi
GDS 15 juga dipertimbangkan oleh penulis lain. tingkat gejala. Menurut beberapa
Berdasarkan analisis meta data diagnostik dari 32 studi penulis, format ya / tidak atau setuju / tidak setuju sangat
tentang versi singkat GDS, Pocklington, Gilbody, Manea sesuai untuk orang dewasa yang lebih tua dengan
dan McMillan (2016) menyimpulkan bahwa untuk skala keterbatasan kognitif (misalnya Mababu &
versi 15 item, titik potong yang direkomendasikan adalah Ruiz-Sánchez, 2016). Namun, penggunaannya dalam
5, dengan sensitivitas gabungan 0,89 dan spesifisitas sampel tanpa gangguan kognitif dapat menyebabkan
0,77. Salah satu studi meta-analisis oleh Pocklington et hilangnya informasi yang relevan. Hasil yang diperoleh
al. (2016) merujuk pada GDS-15 versi Brasil-Portugis dalam penelitian ini menunjukkan bahwa kapasitas
(Almeida & Almeida, 1999), diperiksa dalam sampel penyaringan GDS-15 versi Portugis Eropa tidak
pasien rawat jalan dari klinik kesehatan mental. Menurut terpengaruh oleh memiliki atau tidak memiliki
penulis studi ini (Almeida & Almeida, 1999), titik potong pendidikan formal. Namun, peserta tanpa pendidikan
4/5 menghasilkan hasil yang kuat untuk identifikasi formal mewakili 12% dari sampel penelitian. Secara
non-kasus / kasus. Utilitas skrining dari 4/5 titik potong komparatif, 68,3% sampel memiliki tingkat pendidikan
GDS-15 versi Portugis Brasil juga dikonfirmasi oleh antara satu dan empat tahun. Jadi, ada kemungkinan
penulis lain (Dias et al., 2017). Dalam kasus ini, sampel bahwa hasil sensitivitas dan spesifisitas yang diperoleh
yang ditargetkan termasuk individu yang berpendidikan untuk versi GDS yang dianalisis terutama mewakili orang
rendah dan yang paling tua. Meskipun tingkat sensitivitas dewasa yang lebih tua dengan tingkat pendidikan yang
tinggi juga ditemukan untuk titik potong 2, 3 dan 4, nilai lebih rendah, perlu untuk memverifikasi apakah titik
spesifisitas yang sesuai hanya terbukti memuaskan untuk potong yang diusulkan ≥ 4,5 juga memadai untuk
titik potong 4 (Pocklington et al., 2016). orang-orang dengan tahun lebih banyak. Pendidikan
Menariknya, analisis kinerja GDS-15 pada sampel formal.
orang dewasa tertua dengan fungsi kognitif yang baik Selanjutnya, meta-analisis oleh Pocklington et al.
(Craen, Heeren, & Gussekloo, 2003) menunjukkan (2016) menyatakan bahwa kesesuaian titik potong
bahwa titik potong optimal untuk skrining depresi adalah mungkin bergantung pada pengaturan perawatan
2/3. Sebagai perbandingan, penulis lain (Costa et al., kesehatan. Yakni, perbandingan data diagnostik yang
2016) menegaskan bahwa pada orang dewasa yang lebih diperoleh dalam pengaturan yang berbeda menunjukkan
tua tanpa gangguan neurokognitif, batas 6 harus bahwa titik potong 5 sesuai untuk digunakan pada orang
digunakan untuk tujuan deteksi depresi. Usia rata-rata dewasa yang lebih tua yang dievaluasi dalam konteks
peserta yang termasuk dalam penelitian terakhir ini perawatan kesehatan primer dan sekunder, sedangkan
adalah 71 tahun. Temuan yang berbeda ini menunjukkan untuk orang dewasa dalam suatu komunitas yang
bahwa validitas diskriminan GDS-15 mungkin menetapkan titik potong 6 tampaknya lebih tepat.
bergantung pada usia peserta, dan dengan demikian Penelitian ini memiliki beberapa keterbatasan.
penelitian lebih lanjut diperlukan untuk memverifikasi Pertama, sampel penelitian bersifat nyaman dan
apakah variabel ini harus dipertimbangkan atau tidak non-probabilistik, yang secara substansial membatasi
generalisasi temuan penelitian ke populasi yang lebih depression). The results obtained might have also been
luas. To reduce the impact of this limitation, the affected by antidepressant medication intake, which was
recruitment of older adults was carried out in different reported in relation to thirty-five participants. However,
geographical locations and included different settings. due to differences in the type and dosage of the
Second, the generalizability of the study findings may medication taken, it was difficult to examine the effect of
have also been affected by sample size. Although 139 this variable on the participants' answers. There is a need
older adults were included in the study, only 23 of them for further research with larger samples to strengthen the
met DSM-5 criteria for major depressive episode. generalizability of the study findings. It is also necessary
Moreover, in 10 cases the information on symptom to verify if the proposed cut-off point is suitable in
severity was missing, and therefore, it was impossible to secondary healthcare.
perform ROC curve analyses of the 15-item GDS scale In conclusion, the European Portuguese version of
for each diagnostic category (mild, moderate and severe GDS-15 is a reliable instrument for screening major

Revista de Psicopatología y Psicología Clínica 2018, Vol. 23 (2), 99-107


106 JL Alves-Apóstolo, EM Bobrowicz-Campos, IA Carvalho-dos-Reis, S. Justo Henriques and CA Veiga Correia
the Six Item Cognitive Impairment Test (6CIT). Aging &
Mental Health, 0(0), 1-6.
depressive episode in older adults. This brief instrument
Brooke, P., & Bullock, R. (1999). Validation of a 6-item cognitive
is simple to understand and easy-to-use, and it provides impairment test with a view to primary care usage.
relevant data on the patient's clinical status in a less International Journal of Geriatric Psychiatry, 14(11), 936-940.
tiring, time-saving and resource-saving way. It is also Chiesi, F., Primi, C., Pigliautile, M., Baroni, M., Ercolani, S.,
appropriate for use in patients with mild and moderate, Boccardi, V., ... Mecocci, P. (2017). Is the 15-item Geriatric
but not severe cognitive decline. For all these reasons, the Depression Scale a fair screening tool? A differential item
use of GDS functioning analysis across gender and age. Psychological
Reports, 0(0), 1-16.
15 in the primary healthcare and in the long-term care
Chiesi, F., Primi, C., Pigliautile, M., Baroni, M., Ercolani, S.,
facilities seems to be justified. However, more studies are Paolacci, L., ... Mecocci, P. (2018). Does the 15-item Geriatric
needed to confirm the screening capacity of GDS-15 and Depression Scale function differently in old people with
to verify if there are factors other than high levels of different levels of cognitive functioning? Journal of Affective
dementia that can influence the performance of the scale. Disorders, 227, 471-476.
Cohen, J. (1988). Statistical power analysis for the behavioral
Conflict of interests sciences (2ª ed.). New York, USA: Erlbaum, Hillsdale.
Conradsson, M., Rosendahl, E., Littbrand, H., Gustafson, Y.,
Olofsson, B., & Lövheim, H. (2013). Usefulness of the Geriatric
The authors report no conflicts of interest Depression Scale 15-item version among very old people with and
without cognitive impairment. Aging & Mental Health, 17(5),
References 638-645.
Costa, M., Diniz, M., Nascimento, K., Pereira, K., Dias, N.,
Almeida, OP, & Almeida, SA (1999). Short versions of the Malloy-Diniz, L., & Diniz, S. (2016). Accuracy of three
Geriatric Depression Scale: A study of their validity for the depression screening scales to diagnose major depressive
diagnosis of a major depressive episode according to ICD-10 episodes in older adults without neurocognitive disorders.
and DSM-IV. International Journal of Geriatric Psychiatry, Revista Brasileira de Psiquiatria, 38, 154-156.
14, 858-865. Craen, A., Heeren, TJ, & Gussekloo, J. (2003). Accuracy of the
American Psychiatric Association. (2013). Diagnostic and 15-item Geriatric Depression Scale (GDS-15) in a community
statistical manual of mental disorders, fifth edition. Washington, sample of the oldest old. International Journal of Geriatric
DC, USA: American Psychiatric Association. Psychiatry, 18, 63–66.
Apóstolo, J. (2011). Adaptation into European Portuguese of the Cwikel, J., & Ritchie, K. (1989). Screening for depression among
Geriatric Depression Scale (GDS-15). Revista de Enfermagem the elderly in Israel: an assessment of the Short Geriatric
Referência - Suplemento Actas e Comunicações XI Depression Scale (S-GDS). The Israel Medicine Association
Conferência Iberoamericana de Educação em Enfermagem, Journal, 25(3), 131-137.
Vol. II, 3(4 Supl.), 452. Debruyne, H., Van Buggenhout, M., Le Bastard, N., Aries, M.,
Apóstolo, J., Bobrowicz-Campos, E., Reis, I., Henriques, S., & Audenaert, K., De Deyn, PP, & Engelborghs, S. (2009). Is the
Correia, C., (2018). Screening capacity of Geriatric Depression geriatric depression scale a reliable screening tool for
Scale with 10 and 5 items. Revista de Enfermagem Referência, depressive symptoms in elderly patients with cognitive
IV(16), 29-38. impairment? International Journal of Geriatric Psychiatry,
Apóstolo, J., Loureiro, L., Reis, I., Silva, I., Cardoso, D., & Sfetcu, 24(6), 556-562.
R. (2014). Contribution to the adaptation of the Geriatric Dias, F., Teixeira, A., Guimarães, H., Barbosa, M., Resende, E.,
Depression Scale -15 into Portuguese. Revista de Enfermagem Beato, R., Carmona, K., & Caramelli, P. (2017). Accuracy of
Referência, IV(3), 65-73. the 15-item Geriatric Depression Scale (GDS-15) in a
Apóstolo, J., Paiva, D., da Silva, R., Santos, E., & Schultz, T. community-dwelling oldest-old sample: the Pietà Study.
(2017). Adaptation and validation into Portuguese language of Trends in Psychiatry and Psychotherapy, 39(4), 276-279.
Ertan, FS, Ertan, T., Kızıltan, G., & Uyguçgil, H. (2005). Huang, S., Hsieh, C., Wu, R., & Lu, W. (2017). Test-retest
Reliability and validity of the Geriatric Depression Scale in reliability and minimal detectable change of the Beck
depression in Parkinson's disease. Short report. Journal of Depression Inventory and the Taiwan Geriatric Depression
Neurology, Neurosurgery & Psychiatry, 76, 1445-1447. Scale in patients with Parkinson's disease. Plos One, 12(9),
Field, A. (2004). Discovering statistics using SPSS for Windows. 1-19.
New York, USA: Sage Publication. Jongenelis, K., Pot, AM, Eisses, AM, Gerritsen, DL, Derksen, M.,
Fiske, A., Wetherell, JL, & Gatz, M. (2009). Depression in older Beekman, AT, … & Ribbe, MW (2005). Diagnostic accuracy
adults. Annual Review of Clinical Psychology, 5, 363–389. Fluss, of the original 30-item and shortened versions of the Geriatric
R., Faraggi, D., & Reiser, B. (2005). Estimation of the Depression Scale in nursing home patients. International
Youden Index and its associated cutoff point. Biometrical Journal of Geriatric Psychiatry,
Journal, 47(4), 458–472. 20(11), 1067-1074.
Herrmann, N., Mittmann, N., Silver, IL, Shulman, KI, Busto, UA, Kim, JM, Prince, MJ, Shin, IS, & Yoon, JS (2001). Validity of
Shear, NH, & Naranjo, CA (1996). A validation study of the Korean Form of Geriatric Depression Scale (KGDS) among
Geriatric Depression Scale short form. Research Article.
International Journal of Geriatric Psychiatry, 11(5), 457-460.

© Asociación Española de Psicología Clínica y Psicopatología


Screening capacity of the 15-item Geriatric Depression Scale 107
(pp. 3-18). Coimbra, Portugal: Unidade de Investigação em
Ciências da Saúde: Enfermagem, Escola Superior de
cognitively impaired Korean elderly and the development of a
Enfermagem de Coimbra.
15-item short version (KGDS-15). International Journal of
Peach, J., Koob, JJ, & Kraus, MJ (2001). Psychometric evaluation
Methods in Psychiatric Research, 10, 204-210.
of the Geriatric Depression Scale (GDS): Supporting its use in
Lovibond, SH, & Lovibond, PF (1995). Manual for the Depression
health care settings. Clinical Gerontology, 23(3/4), 57-68.
Anxiety Stress Scales (2nd ed). Sydney, Australia: Psychology
Pocklington, C., Gilbody, S., Manea, L., & McMillan, D. (2016).
Foundation.
The diagnostic accuracy of brief versions of the Geriatric
Mababu, R., & Ruiz-Sánchez, G. (2016). Factorial validity of the
Depression Scale: A systematic review and meta-analysis.
Spanish version of the Geriatric Anxiety Inventory (GAI):
International Journal of Geriatric Psychiatry, 31, 837-857.
Empirical analysis of its structure and dimensions. Revista de
Rinaldi, P., Mecocci, P., Benedetti, C., Ercolani, S., Bregnocchi,
Psicopatología y Psicología Clínica, 21(3), 201-208.
M., Menculini, G., ... & Cherubini, A. (2003). Validation of the
Marc, LG, Raue, PJ, & Bruce, ML (2008). Screening performance
five-item geriatric depression scale in elderly subjects in three
of the 15-item geriatric depression scale in a diverse elderly
different settings. Journal of American Geriatrics Society,
home care population. The American Journal of Geriatric
51(5), 694-698.
Psychiatry, 16(11), 914-921.
Schwarzbach, M., Luppa, M., Hansen, H., König, HH, Gensichen,
Marôco, J. (2011). Análise Estatística com o SPSS Statistics
J., Petersen, JJ, … & MultiCare study group (2014). A
[Statistical Analysis with SPSS Statistics] (5th ed.). Pêro
comparison of GP and GDS diagnosis of depression in late life
Pinheiro, Portugal: Report Number – Análise e Gestão de
among multimorbid patients - results of the MultiCare study.
Informação, Lda.
Journal of Affective Disorders, 168, 276-283.
Midden, A., & Mast, B. (2017). Differential item functioning
Sözeri-Varma, G. (2012). Depression in the elderly: Clinical
analysis of items on the Geriatric Depression Scale-15 based
features and risk factors. Aging and Disease, 3(6), 465-471.
on the presence or absence of cognitive impairment. Aging &
Weintraub, D., Oehlberg, KA, Katz, IR, & Stern, MB (2006). Test
Mental Health, 14 (2), 1-7.
characteristics of the 15-item Geriatric Depression Scale and
Mitchell, AJ, Bird, V., Rizzo, M., & Meader, N. (2010). Which
Hamilton Depression Rating Scale in Parkinson disease. American
Version of the Geriatric Depression Scale is most useful in
Journal of Geriatric Psychiatry, 14(2), 169-175. World Health
medical settings and nursing homes? Diagnostic validity
Organization. (2015). World report on ageing and health. Geneva,
meta-analysis. The American Journal of Geriatric Psychiatry,
Swiss: Author.
18(12), 1066-1077.
Yesavage, JA, Brink, TL, Rose, TL, Lum, O., Huang, V., Adey, M.,
Munk, K. (2007). Late-life depression: Also a field for
& Leirer, VO (1983). Development and validation of a geriatric
psychotherapists! Part one. Nordic Psychology, 59(1), 7-26. Paiva,
depression screening scale: A preliminary report. Journal of
D., & Apóstolo, J. (2015). Estudo de adaptação transcultural e
Psychiatric Research, 17(1), 37-49.
validação do six item cognitive impairment test. In J. Apóstolo, &
M. Almeida (eds.), Elderly Health Care Nursing
Revista de Psicopatología y Psicología Clínica 2018, Vol. 23 (2), 99-107

Reproduced with permission of copyright owner. Further


reproduction prohibited without permission.

Anda mungkin juga menyukai