CITEE 2017 Yogyakarta, 27 Juli 2017 ISSN: 2085-6350

QUALITY OF EXPERIENCE (QOE) ASSESSMENT

PADA LAYANAN BROADBAND INTERNET
PERSONAL ,KELUARGA DI LINGKUNGAN URBAN DAN
PROGRAM DESA INTERNET (PLIK)
1 2 3
Eka Indarto , Lukito Edi Nugroho , Silmi Fauziati
Departemen Teknik Elektro Teknologi Informasi,
Fakultas Teknik,, Universitas Gadjah Mada
Jl. Grafika 2 Kampus UGM, Yogyakarta, Indonesia
1)
eka.mti.18b@mail.ugm.ac.id

Abstract- Growth and development of broadband acceptability of an application or service, as perceived

services adopted from technology implemented in all subjectively by the end-user “ Pengukuran ini focus untuk
telecommunication operators to produce new services based memenuhi harapan pengguna/user akhir –end user tentang
on multimedia. The previous service focus on public access layanan dan mencakup end-to -end sistem sistem ( client
shifts to personal and home customers, while from the aspect
of the urban serving area to the rural areas. Benchmark in
, terminal , jaringan , layanan infrastruktur , dll ) . QOE
service quality is end-to-end, where the quality of service juga merupakan konsekuensi dari aspek dan lingkungan
provided meets prespective users of services that bring the internal pengguna/user ( misalnya , kecenderungan ,
application And content. The services provided are measured harapan , kebutuhan , motivasi , mood) , karakteristik
in terms of services network performance (QOS), whereas sistem yang dirancang ( misalnya , kompleksitas , tujuan ,
user-based user experience and behavior change (QOE) have kegunaan, fungsi , relevansi ) dan konteks ( atau
not been adapted into operations and are included in the lingkungan ) dimana layanan ini diterapkan ( misalnya ,
service quality framework. Correlation between QOE / QOS, organisasi / pengaturan social lingkup aktivitas ,
engineering services with QOE approach and assessment on keberterimaan dalam pengguna/useran ) .Pengembangan
aspects of service impact. The research will focus on the types
of personal / home-based customers for urban and rural
tool dan teknik untuk secara akurat mengukur ,
areas in this case the customers of the internet village memodelkan , dan meningkatkan QOE di system layanan
program partners. internet end to end,jaringan infrastruktur telah menjadi
fokus dari industry , lembaga riset dan badan
Kata Kunci ; Quality of Services, Quality of telekomunikasi dunia. Beberapa aspek QOE juga
Experience, user experience and perspective. ditangani oleh semua badan standardisasi. Meskipun
Intisari .Pertumbuhan dan pengembangan layanan kemajuan mendasar sudah dibuat , teknik QOE tetap
broadband yang diadopsi dari teknologi yang menjadi tantangan dalam riset dan pengembangan.
diimplementasikan di semua operator telekomunikasi
menghasilkan layanan-layanan baru berbasis
multimedia. Fokus layanan yang sebelumnya pada
akses publik bergeser ke pelanggan personal dan
rumahan, sedangkan dari aspek wilayah melayani
urban hingga ke wilayah rural.Tolok ukur dalam
kualitas layanan bersifat end to end , dimana kualitas
layanan yang diberikan akan bertemu dengan
prespective user terhadap layanan yang membawa
aplikasi dan konten. Layanan yang diberikan diukur
selama ini dari sisi services network performance (
QOS), sedangkan dari sisi user berdasar experience
user dan perubahan perilaku (QOE) dimana belum
diadaptasi dalam operasional dan masuk dalam
framework kualitas layanan. Korelasi antara
QOE/QOS, rekayasa layanan dengan pendekatan
QOE dan assessment pada aspek dampak layanan.
Penelitian akan focus pada jenis pelanggan Figur 1. QOS/QOE
personal/rumahan untuk wilayah urban dan rural
dalam hal ini pelanggan mitra program desa internet Siklus diaadaptasi dari ITU-T Rec. G.1000 , Qualinet
Termasuk didalamnya assesment untuk QOE secara
I. PENDAHULUAN end-to -end , strategi peningkatan kinerja untuk layanan
The International Telecommunication Union ( ITU ) jaringan Internet , pemodelan kepuasan pengguna/user
mendefinisikan QOE sebagai penerimaan keseluruhan dan toleransi degradasi kualitas, studi testbed QOE untuk
aplikasi atau layanan , sebagai prespektif subyektif oleh aplikasi pada jaringan , dampak mobilitas /wilayah
pengguna/user akhir/pelanggan/ (end user) . “The overall /psikografi dan demografi pengguna/user pada QOE ,

Departemen Teknik Elektro dan Teknologi Informasi, FT UGM 411

ISSN: 2085-6350 Yogyakarta, 27 Juli 2017
dampak pemanfaatan perangkat , sumber daya jaringan,
manajemen pada QOE , dampak penagihan dan harga pada
QOE , demikian juga dari masalah regulasi pada QOE .
Berfokus pada pengembangan konsep QOE ,
menekankan persyaratan pengukuran dan komunikasi
yang sesuai untuk digunakan pada industri dengan
menyajikan penjelasan pendekatan terstruktur untuk
mendefinisikan dan mengukur QOE dikorelasikan dengan
kualitas layanan ( QOS ). Pengukuran QOE meliputi
parameter obyektif kinerja pengguna/user sehingga
memberikan validitas yang lebih tinggi . para peneliti
berpendapat bahwa pengukuran QOE memberikan
pandangan bagi profesional industri untuk
membandingkan berbagai layanan , produk , dan tingkat
QOS . Pendekatan terstruktur menunjukkan QOE
memiliki empat atribut penting : situasi komunikasi ,
deskripsi layanan , parameter teknis ,dan pengalaman
pengguna/user .
Figur. 2. model jaringan
Operator telekomunikasi tertarik untuk
memaksimalkan pendapatan mereka dengan mencoba
untuk mempertahankan pelanggan mereka . Di sisi lain ,
pengguna/user mempertimbangkan operator yang
memenuhi harapan mereka atas dasar biaya dan kualitas
layanan ( QOS ) yang ditawarkan kepada mereka . Dengan
asumsi bahwa dengan memaksimalkan QOS jaringan (
misalnya , peningkatan bandwidth jaringan atau
meningkatkan kekuatan sinyal wireless ) atau dengan
mengurangi biaya layanan , pengguna/user akan puas
dengan layanan yang diberikan kepada mereka .
Figur 3. model pengukuran
ETSI mendefinisikan QOE sebagai [ 14 ] : " Sebuah
ukuran kinerja pengguna/user berdasarkan kedua tujuan
(QOS dan QOE) dan langkah-langkah psikologis subjektif
dari pengunaan layanan ICT atau produk " .
412
CITEE 2017
Figur 4. Relationship Network Provider, QOS/QOE
Perkembangan terakhir riset bidang sistem komunikasi
banyak difokuskan pada berdasarkan Quality of Service
(QOS) [1] dan merupakan dampak dari target organisasi
internasional, seperti IETF dan 3GPP, difokuskan yang
difokuskan pada QOS [2]. Definisi QOS diberikan [2]
dsebagai berikut ini:
"QOS adalah ukuran kinerja pada tingkat paket dari
perspektif jaringan dan kinerja perangkat lain yang terlibat
dalam layanan ini."
Selain itu, QOS mencakup kumpulan teknologi, yang
juga dikenal sebagai mekanisme QOS, yang merupakan
tools yang berguna di tangan administrator jaringan karena
dengan bantuannya dapat mengatasi adanya potensi
kemacetan yang akan terjadi pada kinerja aplikasi. Dan
terlebih lagi dengan mekanisme tersebut, dimungkinkan
untuk menangani arus lalu lintas/ trafik jaringan yang
berbeda secara spesifik atau sejumlah pengguna/user akhir
dengan memberikan tingkat pelayanan lain yang lebih
baik. Dalam istilah awam, kita dapat menggambarkan
QOS sebagai kemampuan untuk menawarkan prioritas di
antara pengguna/user akhir yang berbeda, aplikasi dan
arus data yang berbeda. Selanjutnya, parameter yang
digunakan untuk menjamin tingkat QOS tertentu adalah
network centric seperti jitter, delay, bit error rate, bit rate,
packet loss rate, dimana dapat mempengaruhi kualitas
layanan tertentu yang dirasakan. Yang akan menjadi
experience bagi pengguna/user akhir, namun demikian
belum mampu memberikan ukuran dan kemudian
mengukur dampaknya[1].
Seiring bidang multimedia yang terus berkembang,
fakta positif bahwa perkembangan itu sedang diamati
bahwa kualitas produk dan layanan yang akan datang
semakin meningkat. Oleh karena itu, dilakukan langkah
evaluasi pada produk tidak berfokus secara eksklusif pada
fitur yang ada pada produk, namun juga fitur ini ditujukan
kepada pengguna/user akhir dan terlebih lagi dampaknya
terhadapnya. Dengan kata lain, user tidak khawatir dengan
teknologi yang digunakan oleh produk atau layanan,
namun lebih memerhatikan dan berkonsentrasi pada
apakah produk atau layanan ini memberikan solusi yang
cukup untuk masalah tertentu dan apa yang akan mereka
alami saat menggunakannya. Ini berarti bahwa era baru
akan datang, era multimedia yang user-centric, di mana
kualitas akan menjadi faktor kunci dan hal itu menjadi
fokus di Quality of Experience (QOE). Berbeda dengan
QOS, yang bergantung pada karakteristik terkait sistem
(misalnya jitter, delay), QOE mempertimbangkan
karakteristik seperti persepsi, harapan, perilaku, kegunaan,
kebutuhan, konteks, dll. [1]. Oleh karena itu, minat pada
Departemen Teknik Elektro dan Teknologi Informasi, FT UGM
 CITEE 2017 Yogyakarta, 27 Juli 2017 ISSN: 2085-6350

interaksi antara manusia (pengguna/user akhir) dan tersebut adalah resolusi, warna, frame rate, video atau
komputer telah mengubah perhatiannya dari efisiensi dan codec audio, dll) yang ditangani agar memenuhi tingkat
efektivitas hingga faktor yang mempengaruhi pengalaman QOE yang diinginkan.
pengguna/user akhir (misalnya keterlibatan, kesenangan,
dll.) [4].
Transport
Assessing Network/Quality
Networkof Experience,Layer:
Version FinalPada lapisan ini dilakukan
Ada banyak definisi mengenai QOE yang berasal dari
pengelolaan parameter yang terkait dengan kinerja
organisasi internasional seperti ITU dan ETSI, atau dari
literatur lain [4]. Dalam QOE didefinisikan "sebagai transportasi dan jaringan seperti jitter, packet loss dan
delay (sebenarnya parameternya sama dengan QOS) untuk
keseluruhan kinerja sistem dari sudut pandang Table 2: Mapping of Quality of Service (QoS) and Quality of Experience (QoE)onto extended Open
pengguna/user" dan "sebagai keseluruhan mekanisme mencapai QOE yang pada tingkatan yang layak.
System Interconnection (OSI) model (after Bauer and Patrick)
QOS, disediakan untuk menjamin kelancaran pengiriman
video dan audio melalui jaringan IP". Dalam [5] Classification according to Bauer and Patrick QoS/QoE
digambarkan "sebagai karakteristik sensasi, persepsi, dan
Human Needs (communication, education,
pendapat orang saat mereka berinteraksi dengan 10 acquisition, security, entertainment...)
lingkungan mereka. Karakteristik ini dapat HCI: User
menyenangkan, atau tidak menyenangkan bahkan Human
Computer 9
Human Performance (perception, cognition,
memory, motor control, social...)
membuat frustrasi, sebagai pengalaman yang dirasakan Interaction

pengguna/user tentang apa diberikan Application Layer, 8 Display (screen, keyboard…)

di mana lapisan aplikasi bertindak sebagai antarmuka QoE
pengguna/user front-end yang menyajikan keseluruhan
7 Application
hasil kualitas layanan individu ". Akhirnya, dalam hal ini Application
didefinisikan sebagai "Ukuran kinerja pengguna/user
6 Presentation
berdasarkan ukuran psikologis obyektif dan subjektif
untuk menggunakan layanan atau produk TIK (Teknologi
Informasi dan Komunikasi)". OSI: 5 Session

Open
Dari semua definisi di atas, dapat disimpulkan bahwa System
4 Transport
Inter-
QOE memiliki tingkat abstraksi yang lebih tinggi connection
Reference
dibandingkan dengan QOS dan selanjutnya dimungkinkan Model
3 Network
untuk dianggap sebagai lapisan pseudo persepsi, yang Network QoS
ditambahkan setelah layer pada OSI. QOE dapat juga
2 Data Link
dianggap sebagai perpanjangan QOS, karena memasok
informasi mengenai layanan yang disampaikan seperti
yang dirasakan oleh pengguna/user akhir [5]. 1 Physical

Figur
The table indicates 6.can
that QoE Lapisan OSIfromuntuk
potentially span QOE of a system at application
the performance
level 5 right up to highly subjective human needs. This wide span is reflected in other research.
For example, van Moorsel7 suggests that QoE be split into a narrower QoE and a class of
descriptors called Quality of Business (QoBiz). This metric was intended to capture the outcomes
Meskipun
of the interactionQOE
process adalah
(e.g. dollarskonsep yang
per transaction). Whilstrelatif
this doesbaru dalam
not explicitly address the
TIK,user’s experience lain
di bidang as such,seperti
it is relatedsektor
to QoE because it translatesdan
kesehatan a user’s smooth transactional
makanan
experience into a benefit for the content provider. QoBiz is of limited use, however, as it applies
telahonly
digunakan ,karena
to a restricted set menerapkan pendekatan kualitatif
of applications.
sehingga dapat mengantisipasi keinginan konsumen.
Selain itu, dalam TIK untuk jangka waktu yang lama,
dianggap bahwa QOE hanya dapat dihitung secara
Figure 1.1 QoE/QoS layered model [5]
Figur. 5. Model berlapis QOE / QOS [5] subjektif [8], karena pengalaman/experience itu sendiri
bersifat subyektif dan bergantung pada pengalaman
7
van Moorsel, A. Metrics for the Internet Age: Quality of Experience and Quality of Business.
Lapisan yang disajikan pada Gambar 5, adalah yang
The layers presented in Figure 1, are the most significant from the pribadi pengguna/user akhir, budaya latar belakang
http://www.hpl.hp.com/techreports/2001/HPL-2001-179.pdf
paling signifikan dari sudut pandang QOS / QOE. Ketiga pengguna/user dan dari status sosial 14 atau ekonominya
/QoE point of tingkat
view. Those three
tersebut [5]levels [5] are
dijelaskan di described
bawah ini: below: (misalnya jika sebuah antarmuka dibeda hanya dengan © Sagentia 2009

beberapa warna, itu akan berdampak berbeda pada orang

1. Lapisan Layanan: Lapisan ini sesuai dengan lapisan
yang berbeda) [6]. Selain itu, ini adalah tingkat
pseudo
1. Service Layer: This persepsi yang ditempatkan
layer corresponds to thesetelah lapisan
perceptual aplikasi
pseudo-layer pertarungan konsumen, mengenai layanan tertentu, yang
dan sebagai domain dimana dilakukan evaluasi QOE,
which is placed after berpotensi mengukur atau mengevaluasi QOE [8]. Oleh
karena inithe application
adalah lapisanlayer
yangand it is actually where
merepresentasikan ke the
karena itu, untuk menilai QOE secara subjektif,
pengguna/user akhir, baik denganukuran subjektif yang
evaluation of QoE is taking place, as this is the layer which is exhibited eksperimen dilakukan dengan partisipasi penguji manusia,
mempertimbangkan dampak layanan khusus kepada
to the end-user, either with dengan ketelitian ilmiah untuk menghasilkan hasil yang
pengguna/user akhirsubjective metricsatau
(misalnya MOS) which consider
dengan ukuran the
dapat dipercaya dan valid [1]. Dalam percobaan tersebut,
objektif yang mencoba memperkirakan dan memprediksi
impact that a specific service have to an end-user (e.g. MOS) or with
para pengguna/user biasanya diminta untuk mengevaluasi
pendapat pengguna/user akhir.
objective metrics which try to approximate and predict end-users' kualitas yang mereka alami dengan menggunakan layanan
dalam skala seperti Mean Opinion Score (MOS) atau
opinion.
menginformasikan tentang kemampuan mereka untuk
ApplicationLayer:
2. Application Layer: Ini lapisan are
In this layer parameters yangcorrelated
berkorelasi
to auntuk
specific menangani layanan atau memberikan umpan balik
aplikasi spesifik (misalnya dalam kasus video parameter mengenai tingkat kepuasan mereka melalui survei. Teknik
application (for example in case of video those parameters would be
resolution, color, frame rate, video or audio codecs, etc) are being
handled in so as to fulfill the desired level of QoE.
Departemen Teknik Elektro dan Teknologi Informasi, FT UGM 413
3. Transport/ Network Layer: in this layer it takes place a management
of parameters that are linked to transport and network performance
ISSN: 2085-6350 Yogyakarta, 27 Juli 2017
seperti kuesioner dan wawancara atau fokus
group/kelompok [4].
Namun, pengujian subyektif memiliki beberapa
kekurangan. Ini menuntut waktu yang cukup agar bisa
dilakukan, berbiaya tinggi dan juga tidak bisa diterapkan
secara real-time. Akibatnya, situasi ini memusatkan
perhatian pada penelitian dalam pengembangan metrik
dan algoritma objektif, yang dapat memprediksi QOE
sebagaimana mestinya oleh manusia, berdasarkan
karakteristik sistem yang dapat diukur [1].
Untuk mencapai kemungkinan mencapai keandalan
terbaik di QOE, ideal untuk menggabungkan pengujian
subjektif dan metrik objektif, kita harus mengkorelasikan
kualitas subjektif yang dialami pengguna/user akhir dan
kualitas terukur objektif [2]. Misalnya, efisiensi dan
efektivitas dapat dievaluasi secara obyektif bersama
dengan tingkat kepuasan pengguna/user subjektif [4].
QOE dapat digambarkan dengan berbagai faktor dalam
definisi; Meskipun demikian, hal ini tidak menimbulkan
masalah jika faktor tersebut objektif dan mudah dinilai.
Kesulitan untuk mencapai QOE melibatkan banyak
subjektivitas dan menempatkan berbagai tantangan pada
komunitas multimedia [6]. Menurut [9] (saat sedang
mencoba laporan faktor-faktor tersebut) penilaian
pengguna/user akhir, mengenai kualitas, agar sistem dapat
dipengaruhi oleh aspek "pragmatis dan hedonis", yang
harus dinilai dengan bantuan dari pengguna/user akhir atau
uji coba, untuk mengantisipasi dampak yang
ditimbulkannya terhadap mereka. Aspek tersebut adalah:
. 1. Kualitas Interaksi: Ini berisi input dan output yang
dirasakan kualitas sistem. Kualitas input didefinisikan
sebagai "pemahaman sistem dan kenyamanan masukan
yang dirasakan" dan kualitas keluaran sebagai "kesesuaian
sistem yang dirasakan dan sesuai dengan kesesuaian",
sementara kooperatif mengandung "distribusi inisiatif
antara mitra, pertimbangan pengetahuan latar belakang
dan kemampuan untuk perbaikan dan klarifikasi . Secara
umum, kualitas interaksi dapat diukur dengan kerangka
kerja kuesioner seperti, dengan mempertimbangkan
karakteristik berikut: kehalusan, kecepatan atau
kecepatan, keringkasan dan kealamian interaksi.
2. Aspek terkait efisiensi: Ini berisi keefektifan, yang
menggambarkan apakah ketepatan dan kelengkapan
pengguna/user akhir yang berbeda dapat mencapai target
tertentu di lingkungan tertentu. Ini juga mengandung
intuitif, yang menggambarkan tingkat keefektifan yang
dapat dicapai pengguna/user akhir saat berinteraksi
dengan sistem teknis hanya dengan menggunakan
pengetahuan tanpa disadari, serta kemampuan belajar,
yaitu seberapa cepat dan mudah pengguna/user akhir dapat
sepenuhnya Kontrol sistem Akhirnya itu termasuk
efisiensi, yaitu usaha dan sumber daya yang dituntut diberi
ketepatan dan kelengkapan yang spesifik. Untuk
pengukuran aspek efisiensi terkait sedang digunakan
kuesioner.
3. Kegunaan: Definisi yang diberikan oleh ISO,
menjelaskan kegunaan sebagai "sejauh mana produk dapat
digunakan oleh pengguna/user tertentu untuk mencapai
tujuan yang ditentukan dengan efektivitas, efisiensi dan
kepuasan dalam konteks pengguna/useran yang
414
CITEE 2017
ditentukan". Aspek ini selanjutnya terbagi dalam dua sub
aspek, kemudahan pengguna/useran dan
kesenangan/kenyamanan pengguna/useran. Pertama
dipengaruhi oleh konsekuensi yang dimaksud dari kualitas
interaksi dan yang terakhir, di luar kualitas interaksi, hal
itu dipengaruhi oleh aspek hedonis "kepribadian" sistem.
Meskipun demikian, kedua sub-aspek tersebut
berkontribusi pada tingkat kepuasan pengguna/user akhir.
Akhirnya, aspek ini juga diukur dengan bantuan kuesioner.
4. Estetika, kepribadian dan daya tarik sistem:
Pertama, estetika didefinisikan sebagai pengalaman
sensorik yang dikeluarkan oleh sistem dan tingkat target
pribadi yang dipenuhi oleh pengalaman ini.
Kedua, kepribadian/personality adalah sejauh mana
pengguna/user akhir memahami karakteristik sistem yang
berasal dari kombinasi faktor agen dan bentuk permukaan.
Akhirnya, daya tariknya adalah kombinasi antara estetika
produk atau layanan, faktor fisik dan apakah fitur
produknya tidak atau baru, mengejutkan atau mempesona.
5. Kegunaan: Jika kita ingin memahami betapa
bermanfaatnya sistem, kita harus membuat perbandingan
antara persyaratan fungsional yang dimiliki pengguna/user
akhir dan fungsi yang disediakan sistem tertentu. Di sisi
lain, utilitas dapat didefinisikan sebagai jawaban atas
pertanyaan berikut: "Apakah pengguna/user akhir dapat
memberikan solusi untuk tugas pribadinya dengan bantuan
sistem?"
6. Acceptability: Ini menunjukkan betapa mudahnya
bagi pengguna/user akhir untuk memanfaatkan sistem ini.
Selain itu, akseptabilitas dapat digunakan sebagai ukuran
ekonomi dengan menghubungkan jumlah pengguna/user
akhir yang mungkin dengan jumlah kelompok sasaran.
Selanjutnya, penyedia layanan dapat memperhatikan
bahwa pengguna/user akhir mungkin mengalami kualitas
yang sangat baik untuk layanan tertentu, yang memiliki
tingkat QOS yang spesifik, walaupun dimungkinkan untuk
tingkat layanan QOS yang berbeda untuk menawarkan
pengalaman buruk sampai end user. Meskipun demikian,
tidak selalu dijamin bahwa ketika penyedia layanan
menawarkan tingkat QOS yang tinggi, pengguna/user
akhir akan mengalami kualitas tinggi. Itu terjadi bahwa
end user/pelanggan di mana kecewa dengan layanan yang
ditawarkan, meskipun memiliki QOS yang tinggi dan
akibatnya hal ini menyebabkan tingkat QOE rendah [10],
[2].
Sebagai beberapa hal yang diketahui tentang QOE
sejauh ini:
• QOE dan QOS tidak sama [8]
• QOS dapat dipertimbangkan sebagai QOE [2]
• QOS dan QOE bisa eksis secara bersamaan, tapi
ini bukan Menjamin bahwa yang satu akan
mengarah ke yang lain [2]
• Dengan bantuan QOS saja, tidak memungkinkan
untuk membuat layanan / produk yang akan
mempertimbangkan pengalaman pengguna/user
akhir [2]
• Target mutlak yang harus dimiliki QOS adalah
mengarah pada tingkat QOE yang tinggi[8]
Departemen Teknik Elektro dan Teknologi Informasi, FT UGM
CITEE 2017 Yogyakarta, 27 Juli 2017 ISSN: 2085-6350

• QOE adalah fungsi dari variabel perilaku yang A. QOE Engineering

mungkin bisa dilakukan untuk mengukur secara
kuantitatif [2]
• Sejumlah tindakan itu bisa berupa fisiometrik,
sementara beberapa Lainnya bisa jadi psikometri
II. PERANCANGAN SISTEM
Perancangan sistem dengan Pendekatan End to End
Sistem mengacu pada TR- 126 kualitas end-to-end yang
direkomendasikan (QOE) yang dalam hal ukuran tujuan
teknis untuk aplikasi triple play yang dikirimkan melalui
infrastruktur broadband. Persyaratan QOE mendefinisikan
keseluruhan, kinerja pada tingkat layanan dari perspektif
pengguna/user akhir/ end user . Pembentukan QOE
subjektif yang konsisten dan mendasar untuk
pengguna/user akhir dan target teknik obyektif yang sesuai
sangat penting bagi keberhasilan pasar penawaran layanan
broadband. Arsitektur layanan, dan implementasi dengan
aplikasi awal yang disajikan adalah internet akses suara,
dan data best-effort (browsing web, game).
Persyaratan QOE dan jaringan penyedia layanan
harus dipertimbangkan dalam sistem end-to-end yang
lengkap. Semua layanan aplikasi dan elemen jaringan
yang dapat berkontribusi terhadap pengalaman konsumen
dalam menggunakan layanan harus diperhitungkan
termasuk:
• Node/Noc layanan aplikasi (contoh video head end)
• Jaringan nasional dan regional
Proses rekayasa jaringan untuk layanan meliputi:
• analisis kebutuhan pengguna/user akhir,
• definisi persyaratan lapisan aplikasi QOE
• translasi dari persyaratan QOE subjektif ke
kinerja layanan objektif persyaratan end-to-
end di lapisan jaringan dan aplikasi
• alokasi kerusakan kinerja ke lapisan protokol,
Triple-play Servicessegmen jaringan
Quality of Experience atau node
(QoE) Requirements TR-126
1- Define Service QoE Performance Metrics & Targets
User
(QoE) 2- Identify QoE Contributing Factors & Dependencies
Top/Down
Space Approach
• Impairments - Delay, loss, jitter • Client/server interaction,
• Application decomposition • Flow type and duration
3- Determine Architecture, QoS Mechanisms & Configuration
• Define service level guarantees (best effort, relative, soft, hard
• Determine aggregation level, control node placements (centralized /
distributed)
• Nodal and end-to-end level: scheduling, policing, queue management,
admission control
Network
Architecture
(QoS) space
4- Traffic Engineering & Resource Allocation
• Determine traffic demands, distribution & bottleneck links
• Budget allocation: delay, loss, jitter
• Router resource – buffer dimensioning & scheduler share
• BW Provisioning: static vs. dynamic/on demand and routing constraints

• Jaringan akses
• Jaringan rumah YES
NO Meet QoE Validated => Service QoE
• Peralatan tempat pelanggan Targets? requirements are satisfied
by the QoS enabled solution
• Terminal aplikasi

Quality of Service (QoS) refers to a

Quality of Experience (QoE) is set of technologies (QoS
QoE

QoS

the overall performance at the mechanisms) that improve

services / application level from performance at the packet level from
the user’s perspective. the network perspective.

FigureEngineering
Figur 7. Alur QOE 4 QoE Engineering ProcessTR-126
Proses
. B. QOS Desain
Diadaptasi dari [ITU-T G.1000] menunjukkan empat
In the QoEpandang
sudut engineering methodology,
QOS, the yang inter-relationship of QoE / QoS anduntuk
berorientasi traffic
engineering is defined based on a top-down approach, starting at the end-user level. The
mengidentifikasi masalah yang terkait dengan kualitas
layanan
top-down dari perspektif
approach is an effectivepelanggan danenhanced
technique to deliver penyedia layanan:
customer value while
performing network engineering.
• Persyaratan QOSThis document focuses onDeklarasi
pelanggan: the first two steps of the
bahasa
process in defining
sederhanathe QoEtentang
requirementstingkat
and corresponding
QOS yang service dibutuhkan
performance
oleh
requirements. pelanggan / pengguna/user saat
menggunakan layanan / aplikasi.
4.2 • QoEQOS ditawarkan / direncanakan oleh penyedia
Dimensions
Figur 4. Konfigurasi System Layanan Akses Desa layanan: Pernyataan harapan tingkat QOS saat
Internet memberikan layanan kepada pelanggan.
To identify factors that underlie QoE for a new service, three aspects of service delivery
should be considered:

Departemen Teknik Elektro dan Teknologi Informasi, FT UGM 415

December 13, 2006 16

 ISSN: 2085-6350 Yogyakarta, 27 Juli 2017 CITEE 2017

• QOS dicapai / disampaikan oleh penyedia

jaringan luar,

oduction layanan: Deklarasi tingkat QOS yang dicapai dan misal internet

dikirim ke pelanggan. Modem

• customer
komputer

ompetitive pressures, QOS yang expectations and the

dirasakan oleh complexities
pelanggan: of quality control for voice
Pernyataan Headend
(sentral)
Fiber
node tap

tingkat QOS yang diyakini / dipikirkan Antena Parabola Splitter two way Splitter

data services rise and profit margins shrink, there is a need for communication
pelanggan adalah tingkat kualitas yang diterima network/service amplifier set top box

ders to transform theiratau

businesses
dialami. from network-oriented to service-oriented businesses in
Antenna UHF/VHF
televisi

to embrace a broader concept of quality of service (QoS) as described in [ITU-T G.1000].

Headend Saluran Transmisi

Sisi Pelanggan

Gambar 2.1 : Jaringan HFC

HFC merupakan teknologi baru jaringan akses

yang mulai digunakan oleh negara-negara maju
yang dapat mengurangi kompleksitas jaringan dan
transmisi beberapa layanan dalam satu media
transmisi. HFC merupakan penggabungan dua
teknologi, yaitu teknologi Serat Optik dan
teknologi Kabel Koaksial sehingga dapat
Figure 8. Relasi QOS Provider Customer (ITU-T memberikan layanan yang sifatnya multiservice
G.1000) seperti layanan broadcast analog dan broadcast
Figure 1 – Four viewpoints of QoS digital dan layanan interaktif (mis : Video on
(source: [ITU-T
Identifikasi bagaimana QOS G.1000])
berperilaku berkaitan Demand).
dengan sudut pandang ini dapat dicapai dengan lebih
mudah melalui proses otomatis yang membantu
re 1 adapted from [ITU-T G.1000]
membangun shows four
dan memantau viewpointskunci
parameter of QoS,
yangwhich are oriented to
ify problems memberikan informasi mengenai masalah ini, dari sudut
associated with quality of service from the perspective of customers and service
pandang konsumen.
ders:
Oleh karena itu, pengenalan dua paradigma tersebut,
Customer's misalnya
QoS requirements:
manajemen Simple language
kualitas declaration
layanan (SQM) of the
danQoS level required by
customers/users when utilizing services/applications.
manajemen pengalaman pelanggan (CEM) yang dikelola
melalui pusat operasi layanan (service operation center /
QoS offered/planned by the service
SOC) merupakan komponenprovider:
penting Declaration
untuk: of QoS level expectations when
providing services to customers.
Memantau dan mempertahankan tingkat kualitas yang
dapat diterimaby
QoS achieved/delivered untuk
the layanan
service end-to-end yang dikirimofkethe real achieved and
provider: Declaration
individu atau sekelompok pelanggan. Figure. Layanan Rumahan
delivered-to-customers QoS level.
Mengukur parameter QOS tidak hanya tetapi juga Saat ini ada dua standar internasional yang
QoS perceived
tingkatbykepuasan
the customer: Statement
konsumen of the
terhadap QoS yang
layanan level that the customer
ditetapkan untuk produk cable modem. Standar
disampaikan oleh jaringan komunikasi / penyedia
believes/thinks is the level of quality received or experienced. layanan. tersebut adalah : DOCSIS (Data Over Cable Service
Tambahan ini dapat digunakan oleh penyedia jaringan Interface Specification). Cable modem dan CMTS
identification of how QoSlayanan
/ penyedia behaveskomunikasi
with regarduntuk
to these viewpoints
memberikan QOEcould be achieved more
yang akan dibahas dalam tugas akhir ini adalah produk
y by means of dan
automated
QOS processes that help
yang lebih baikconstruct
kepadaandpelanggan
monitor key/ parameters providing
Motorola yang sesuai dengan standar DOCSIS versi
1.0. Untuk itu yang akan dibahas di sini hanya standar
mation on this pengguna/user
matter, from theakhir mereka.
consumer point of view. DOCSIS. Standar tersebut mengatur komunikasi
Dengan demikian, Supplement ini berfokus pada antara (SQM)
cable modem dan CMTS yang meliputi teknik
efore, the introduction
penyediaanof the twofungsi
dasar paradigms,
SQM for
daninstance
CEM danservice quality management
parameter modulasi dan demodulasi, alokasi frekuensi, interface
customer experience
utama management
yang terkait (CEM) managed
dengan SQMviadana service
CEM operation
untuk centrejaringan,
(SOC) ismanajemen
an jaringan dan format data yang
mendukung
ntial component in order to: operasi di lingkungan SOC. ditransmisikan serta syarat unjuk kerja jaringan dari
HFC sehingga dapat menyalurkan layanan data.
Monitor and maintain an acceptable level of quality for end-to-end services delivered to an
Layanan yang diberikan adalah : Internet data,
individual or a Pada
grouppenelitian ini jaringan yang digunakan adalah
of customers. Voice dan Video ( Televisi)
jaringan Broadband HFC ( Hybrid Fiber Coaxial ) dan
Measure notJaringan
only QoS parameters but also the level of consumer satisfaction regarding
Wireless
services delivered by the communication network/service provider.
Supplement can be used by communication network/service providers in order to provide a
r QoE and QoS to their customers/end users.
, this Supplement focuses on providing the basis of the SQM and CEM functions and key
meters related to SQM and CEM for supporting operations within a SOC environment.
416 Departemen Teknik Elektro dan Teknologi Informasi, FT UGM
 • Bandwidth (B) = 2.5Mbps network quality
Avg BW/Sub = C * U / N (1) • Call success rate(S) = 99.0% but are one exa
• QoS = F(D, J, L, E, B, S) = 8+10+7+10+10+8=53 value about the
CITEE 2017where: Yogyakarta, 27 Juli 2017 ISSN: 2085-6350
separately exe
C = Channel Capacity score need to b
U = Channel Utilization Table 3. QoS parameter and range related with
the question sur
N = No. Active Subscribers QoE

QoS parameter and range QoE

Note 5
Parameter Range Score
MOS Scores Based On CMTS Scheduling Algorithms and SLAs Of Active
70ms ~ 100ms 10
Y.1541, 4
Subscribers Delay (D) 100ms ~ 150ms 8
G.1010
150ms ~ 200ms 6 3
Pre
30ms ~ 50ms 10
The Average BW per Sub formula (formula 1) above assumes thatJitter the (J)bandwidth was
50ms shared
~ 60ms 5 Y.1541 2
equally by all of the active subscribers. This assumption may not always be true,60ms because
~ 70ms the 3
1
details behind any CMTS scheduler might be quite a bit more complicated. As an ~ 10-5
example, 10 Y.1541
Packet loss
assume that a particular CMTS scheduling algorithm is designed rate to give 10-5 ~subscriber
10-4 7 DSL-
(L) each active -4 -3
10 ~ 10(Tmin) 3 Forum 10
an amount of bandwidth that is proportional
Figure. Broadband Services Flow to their Minimum Reserved Traffic Rate
~ 10-6 10 Y.1541
value divided by the sum of all of the Tmin values for all of the active subscribers. The
Packet error bandwidth
10-6 ~ 10-5 7 DSL-
Untuk
offeredmencapai
by the CMTS SLA/QOS
schedulingyang mencukupi
algorithm to a particular subscriber’s
rate (E) Service Flow-5 (ABW) would 4
10 ~ 10-4 Forum
Figure 4. The
dengan formulabe: given by:
therefore 256 ~ 128Kbps 10
Qo
Voice 128 ~ 80Kbps 8 G.1010
(2) Bandwidth 80 ~ 64Kbps 6 DSL-
(B) 3 ~ 2Mbps 10 Forum
where: Video 2 ~ 1Mbps 8 WiMAX 6. Conclusio
ABW = Avg Service Flow BW for Sub #i 1Mbps~512Kbps 5
C = Channel Capacity Call success
100 ~ 99.9% 10 Because ex
U = Channel Utilization 99.9% ~ 99.0% 9 Undefined measure QoE
rate (S)
99.0% ~ 98.0% 8
Tmin(i) = Tmin for i-th Subscriber Flow parameters, the
HO within the cell N/A
= Sum of Tmin(i) over Active Subs services. The qu
Handover
HO between the cells N/A Undefined preexistence Qo
(H)
HO between the frequencies N/A
the objective q
If the QoE Monitoring tool was cognizant of the fact that the CMTS scheduling algorithm was However, this q
Channel RF Power,tool
using this formula, then the same formula could be used by the QoE Monitoring RSSI,if/when it N/A Undefined

724
III. PENGUKURAN
14
a. Kualitas
© ARRIS 2013. All rights reserved. Layanan
Tampilan Layar di Televisi ( kejernihan )
Merujuk pada data responden personal internet,
dengan versi yang dipakai adalah DOCSIS 2.0
didapatkan bahwa tampilan layar di televisi adalah sebagai
berikut :
• QOE dan QOSQoS
parameter
vs. QoE KUALITAS LAYANAN [ KEJERNIHAN DI LAYAR
32 47

TV ]
© 2010 ALBEDO Telecom - All rights reserved.

1%
3%
Blurring Edge distortion
Pixelation Zapping Delay Jernih
Sync error Packet Loss PCR Jitter
Coding error Distortion Buram
Transport error Freezing
Continuity error Invalid Data

Video Router STB

Audio
Audio IP Network
PASS 96%
Data
Contribution
FAIL
Packet Delay Packet Delay Packet Jitter
Test Figure. Data Responden terkait kualitas layanan tv
QoS QoE
( kejernihan )
Dari data diatas dapat dilihat bahwasanya untuk
Figure
Disruptions .canParameter
occur anywhere onQOS vsandQOE
the network determineuntuk
the quality jaringan HFC
of the network service (QoS) layanan TV Kabel 96 % responden menyatakan bahwa
that affect the experienced quality (QoE). kualitas layanan TV jernih Kelengkapan siaran / program
Televisi
Merujuk pada data Responden pelanggan personal
internet , bahwa 77 % dari responden pelanggan internet
menyatakan channel TV Kabel yang diberikan oleh Jogja
MediaNet sudah lengkap.

Departemen Teknik Elektro dan Teknologi Informasi, FT UGM 417

ISSN: 2085-6350 Yogyakarta, 27 Juli 2017 CITEE 2017

KELENGKAPAN LAYANAN TV • Keluhan yang lambat

1%
22%

Sudah Cukup lengkap

Kurang Lengkap
Invalid Data

77%

Figur Kelengkapan Channel TV

Saran Channel / Content Tambahan
Beberapa channel yang disarankan responden untuk
ditambahkan adalah sebagai berikut :
JUMLAH RESP. kost perdana ; keluhannya untuk dota ping server
9
tinggi
8
8

7
7 sedang akses tidak banyak pengguna dengan user
6 6 dibawah 10 orang
6

5
4 4 JUMLAH RESP.
4
3 3
3
2
1 1 1 1
1

0
MTV Asia

AFC

Network

HBO Signature

Discovery

News

Premiere

Hallmark

Nickelodeon

Sport Channel

Play house

Saudi TV
Cartoon

League
Group

disney

Gambar Rekomendasi Channel Tambahan

4 ranking teratas diduduki oleh MTV Asia, HBO
Signature, Cartoon Network serta Nickelodeon
Saran Channel yang diganti, sedangkan saran channel kategori bagus : tanpa keluhan user banyak diatas 20
yang diganti adalah channel mandarin, TV italia, serta orang
MTV India Kecepatan Browsing
Monitoring Jaringan Pelanggan Merujuk pada data responden yang masuk, komentar
responden mengenai kecepatan browsing dengan
- sinyal dan air max quality = semakin tinggi semakin menggunakan layanan internet Jogja MediaNet adalah
bagus sebagai berikut :
sinyal < - 70 db kualitias jelek
KECEPATAN UNTUK BROWSING
70 < baik < 60 3%
16%
20%
> - 50 sangat baik Cepat
Cukup
- untuk air max Lambat
Invalid data

< 60% kurang baik

61%
60% < baik < 80%
> 90% sangat baik Gambar Kecepatan Browsing Menurut pendapatan
Responden
untuk kualitas bandwidth layanan
Jumlah Invalid Data bertambah dikarenakan beberapa
Download minimal 10mb
responden keberatan untuk diinstall active x saat membuka
upload 2 mbps website www.speedtest.net , sehingga pengukuran untuk
kecepatan download dan upload tidak dilakukan
jika kurang layanan kurang maksimal
untuk monitoring yg terlihat lebih trafik pemakaian
maka bila kulaitas layanan sedang dengan kondisi
penguna belum banyak normal/koneksi stabil

418 Departemen Teknik Elektro dan Teknologi Informasi, FT UGM

CITEE 2017 Yogyakarta, 27 Juli 2017 ISSN: 2085-6350

KECEPATAN MEMBUKA WWW.FACEBOOK.COM Rata – rata kecepatan upload yang didapatkan oleh
pelanggan adalah sebagai berikut :
1%

27% Server local ( CBN – Jakarta ) : 0,123 Mbps

< 10 detik Server Singapore : 0,126 Mbps ( 126 Kbps )
> 10 detik
Invalid data
Server US : 0,129 Mbps ( 129 Kbps )
72%
Server UK : 0,130 Mbps ( 130 Kbps )
Saran Dan Kritik
Gambar . Kecepatan Membuka www.facebook.com
Adapun saran dan kritik yang diterima dari responden
Dari data responden diatas didapatkan bahwa kita golongkan menjadi 4 golongan :
membuka www.facebook.com relativ lebih lama
dibandingkan dengan 2 website yang lain • terkait dengan perbaikan koneksi layanan internet
sering down, koneksi melambat, dan segala hal
Kecepatan Download terkait dengan permasalahan teknis lapangan
Merujuk pada pendapat responden mengenai • Terkait dengan perbaikan aftersales
kecepatan data untuk download adalah sebagai berikut : servicePenanganan keluhan yang kurang baik
seperti telphone yang sering dilempar – lemparkan
KECEPATAN DOWNLOAD ke beberapa divisi, petugas pembayaran yang
3% kurang serius, kurang adanya panduan produk dan
22%
18%
lain – lain
• Harga Saran dan kritik terkait dengan perbaikan
Cepat
Cukup
harga layanan
Lambat • Tambahan hadiah Mengharapkan tambahan
Data Invalid voucher atau discount untuk pelanggan
57%

SARAN DAN KRITIK

Gambar Kecepatan Download Menurut Responden 4%

17%
Terkait dengan
Kbps untuk Download Perbaikan Koneksi
Aftersales Service
8%
Harga
Rata – rata kecepatan download yang didapatkan Triple-play Services Quality of Experience (QoE)71%
Requirements TR-126
pelanggan adalah sebagai berikut : Tambahan hadiah
degraded service (e.g. Degraded Seconds, Errored Seconds, Unavailable Seconds) provide

Server local ( CBN – Jakarta ) : 0,0943 Mbps ( 94,3 less information but may be easier to measure. QoE is also studied and formally defined in
the ITU-T Study Group 1226, specifically in Question 13/1227 and in the ATIS IPTV
Interoperability Forum (IIF), QoS Metrics Task Force (QoSM)22.
Kbps )
Gambar Saran
QoS is a measure dan Kritik
of performance Dari
at the packet Responden
level from the network perspective. QoS
also refers to a set of technologies (QoS mechanisms) that enable the network
Server Singapore : 0,0784 Mbps ( 78,4 Kbps ) administrator to manage the effects of congestion on application performance as well as
Dari hasil-hasil
providing asessment
differentiated service maka
to selected network Quality
traffic of Ecperience
flows or to selected users. QoS

Server US : 0,0682 Mbps ( 68,2 Kbps ) secarametrics may include network layer measurements such as packet loss, delay or jitter.
ringkas adalah :
In general there is a non linear relationship between the subjective QoE as measured by the
MOS and various objective parameters of service performance (e.g. encoding bit rate,
Server UK : 0,0793 Mbps ( 79,3 Kbps ) QoE
packet= f (service;
loss, QoS
delay, availability, etc.) as1,shown
QoS 2, …
in Figure 1. QoSn) + konten

Kecepatan Upload
QoE (e.g. MOS)

Merujuk pada pendapat yang disampaikan responden

mengenai kecepatan untuk upload adalah sebagai berikut :
KECEPATAN UPLOAD

3%
15% Ann. Telecommun. (2010) 65:47–57 53
16% QoS (e.g. Packet loss)
5 5
Cepat avg
avg+std
Cukup avg-std Figure 1 QoE relationship to QoS
4 Lambat 4

Data Invalid Typically there will be multiple service level performance (QoS) metrics that impact
overall QoE. The relation between QoE and service performance (QoS) metrics is typically
3 derived empirically.
3 Having identified the QoE/QoS relationship, it can be used in two
QoE [OS]

QoE [OS]

ways:

66% 2 a. Given2 a QoS measurement, one could predict the expected QoE for a user
b. Given a target QoE for a user, one could deduce the net required service layer
performance.
1 1 the appropriate service quality is delivered, QoE targets should be
To ensure that
Gambar Kecepatan Upload Menurut Responden established for each service and be included early on in system design and engineering

0 0
Kbps untuk Upload 0 2 4 6
Throughput [Mbps]
8 10
December 0
13, 2006 2 4 6
Throughput [Mbps]
8 10 13

Fig. 6 Quality of Experience as a function of the applicative
throughput (average±standard deviation)
network on a Broadband Access Server (BAS) that collects
the traffic coming from many Digital Subscriber Line
Access Multiplexer (DSLAM). Each BAS multiplexes the
traffic of ten DSLAMs connecting 4000 residential and
small enterprises clients in total. The probe is located
between the BAS and the first router of the backbone
Departemen Teknik Elektro dan Teknologi Informasi, FT UGM
network. The TCP/IP headers of the whole HTTP traffic are
captured without any other sampling. These TCP/IP headers
are then used to compute many traffic metrics for each flow
(size in packets, volume in bytes) and performance criteria
(throughput, loss ratio). The traffic of all the flows between
the same source and the same destination (IP addresses) is
Fig. 7 Quality of Experience as a function of network-level
throughput for a single flow
Figure . QOE vs Troughput
to detect some correlations between the user behaviour and
the network performance, even if traffic characteristics are
also influenced by the protocols as observed in [3].
The network performance metrics we consider in this
subsection are the packet loss and the throughput. The loss
ratio concerns more the network operator, as it is an
indication of the congestion state in its network or in
peering networks. A user does not really perceive the loss
419
ratio, only its consequences such as longer response times,
or lower throughputs as observed in section 2. On the
contrary, the user is more concerned by the throughput of
his transfers, which conditions the time he need to get large
ISSN: 2085-6350 Yogyakarta, 27 Juli 2017
IV. KESIMPULAN
QOE merupakan ekstensi dari QOS . Pada aspek
desain jaringan dan layanan broadband QOE merupakan
pengembangan layanan dengan fokus pada prespective
user/ User Centric sedangkan QOS pada core infrastruktur.
Pengukuran menunjukkan total dari services
performance berpengaruh pada tingkat QOE.
V. DAFTAR PUSTAKA
[1] ETSI STF 354, “Guidelines and Tutorials for
Improving the User Experience of Real-time
Communication Services;”
http://portal.etsi.org/STFs/STF_HomePages/STF354/
STF354.asp
[2] ITU-T Rec. P.910, “Subjective Video Quality
Assessment Methods for Multimedia Applications,”
Geneva, Switzerland, 1996.
[3] ITU-R BS.1534-1, “Method for the Subjective
Assessment of Intermediate Quality Level of Coding
Systems,” Geneva, Switzerland, 2003.
[4] B. Reeves and C. Nass, “The Media Equation:
How People Treat Computers, Television, and New
Media Like Real People and Places,” Cambridge
Univ. Press, 1996.
[5] ITU-T Rec. E.800, “Definitions of Terms
Related to Quality of Service,” Geneva, Switzerland,
2008.
[6] Nokia, “Quality of Experience (QOE) of
Mobile Services: Can It Be Measured and
Improved?,” White Paper, Finland, 2004.
420
CITEE 2017
[7] R. Jain, “Quality of Experience,” IEEE
Multimedia, vol. 11, no. 1, 2004, pp.
96–95.
[8] D. Soldani, M. Li, and R. Cuny, QOS and QOE
Management in UMTS Cellular Systems, Wiley,
2006.
[9] ITU-T Rec. P.10/G.100, “Amendment 2: New
Definitions for Inclusion in Recommendation ITU-T
P.10/G.100,” Geneva, Switzerland, 2008.
[10] ITU-T Rec. P.862, “Perceptual Evaluation of
Speech Quality (PESQ): An Objective Method for
End-to-end Speech Quality Assessment of
NarrowbandTelephone Networks and Speech
Codecs,” Geneva, Switzerland, 2001.
[11] L. Alben, “Quality of Experience,” ACM
Interactions, vol. 3, 1996, pp. 11–15.
[12] P. Brooks et al., “Communicating Quality of
Experience Data for the Development of Multimedia
Services,” Proc. 20th Int’l. Symp. Human Factors
Telecommun., Sophia Antipolis, France, Mar. 21–23,
2006.
[13] S. Zielinski, F. Rumsey, and S. Bech, “On
Some Biases Encountered in Modern Audio Quality
Listening Tests — A Review,” J. Audio Eng. Soc.,
vol. 56, no. 6, 2008, pp. 427–51.
[14] ETSI TR 102 643, “Human Factors; Quality
of Experience (QOE) Requirements for Real-time
Communication Services,” Sophia Antipolis,
France,2009.
Departemen Teknik Elektro dan Teknologi Informasi, FT UGM