Ruang Konotatif untuk Mendukung Rekomendasi Film

Abstrak Ditujukan pada Masalah konten media yang berkaitan dengan tanggapan afektif pengguna.
Pekerjaan sebelumnya menunjukkan bahwa pemetaan langsung properti audio visual ke kategori emosi
yang ditimbulkan oleh film agak sulit, karena variabilitas reaksi individual yang tinggi. Untuk mengurangi
kesenjangan antara tingkat tujuan fitur video dan lingkungan emosi subjektif, kami mengusulkan untuk
mengalihkan representasi terhadap sifat konotatif film, dalam ruang yang dibagi antar subyektif dan antar
pengguna. Akibatnya, ruang konotatif memungkinkan untuk mendefinisikan, menghubungkan dan
membandingkan deskripsi afektif video film dengan pijakan yang sama. Tes ekstensif yang melibatkan
sejumlah pengguna yang menonton adegan film yang terkenal, menunjukkan bahwa ruang konotatif
dapat dikaitkan dengan kategori afektif pengguna tunggal. Kami menerapkan temuan ini untuk mencapai
kinerja tinggi dalam memenuhi preferensi emosional pengguna.

I. Pengenalan

ORANG menyelesaikan pekerjaan dan pulang ke rumah setelah hari yang panjang, seringkali
menginginkan sesuatu yang dapat memperbaiki atau merangsang keadaan emosional mereka. Dalam
situasi ini, bahkan jika perkembangan komunitas media sosial baru-baru ini dan akses media digital yang
luas memungkinkan kemungkinan menghasilkan saran otomatis mengenai pengalaman media yang
relevan, upaya mencari konten afektif yang sesuai secara aktif masih cukup besar. Karena kita menangani
analisis afektif media [1] dan penggunaannya untuk mendukung rekomendasi konten, masalahnya adalah:
sejauh mana kita bisa mempercayai label emosional yang diberikan oleh orang lain terhadap konten yang
mereka tonton? Pendapat kami adalah: tidak banyak, karena emosi bersifat pribadi, dan semua orang
bereaksi terhadap kejadian atau, dalam hal ini, terhadap konten media dengan cara yang bergantung pada
faktor subjektif budaya, pribadi, dan lainnya, bahkan jangka pendek. Contoh ekstrem diberikan oleh
berbagai reaksi yang dimiliki orang saat menonton film horor, yang berkisar dari rasa takut yang luar biasa
sampai tertawa geli, bahkan tergantung pada komposisi penonton (yaitu apakah mereka menonton film
sendiri atau dalam kelompok). Oleh karena itu, pertanyaan pertama yang kami ajukan dalam penelitian
ini adalah: dapatkah kita menemukan beberapa cara lain untuk memberikan deskripsi konten afektif yang
lebih disetujui di antara pengguna? Atau, apakah ada cara yang lebih efektif untuk merekomendasikan
konten emosional daripada mengandalkan tanggapan afektif orang lain? Menurut kami jawabannya
adalah: ya, ada, dan itu bergantung pada "konotasi".

Konotasi sangat penting dalam sinematografi, seperti dalam disiplin seni lainnya. Hal ini diberikan oleh
seperangkat konvensi (seperti elemen editing, musik, mise-en-scene, warna, suara, pencahayaan, dll.)
Yang memengaruhi bagaimana makna yang disampaikan oleh sutradara ditransmisikan untuk
meyakinkan, meyakinkan, marah, menginspirasi , atau menenangkan penonton. Sementara respons
afektif berada pada tingkat yang benar-benar subjektif, konotasi biasanya dianggap berada pada tingkat
antar-subyektif, yaitu keadaan subjektif oleh individu yang lebih banyak. Dengan menggunakan lagi
contoh film horor, jika kita memiliki dua orang yang bereaksi berbeda terhadap film yang sama (misalnya
yang tertawa dan satu menangis), mereka tetap berbagi pandangan serupa tentang apa yang filmnya
"sarankan", terlepas dari afektif individual mereka. tanggapan. Sebagai contoh, kemungkinan besar
mereka sepakat bahwa atmosfer film horor sangat suram, musiknya mencekam, dan seterusnya, bahkan
jika ini menghasilkan reaksi yang berbeda dalam masing-masingnya. Nah, bagaimana konotasi bisa
membantu rekomendasi emosional? Artinya, apakah konotasi terkait dengan emosi? Jawaban kami
adalah: ya itu. Jika kita mengetahui reaksi emosional pengguna tunggal, yang berarti bahwa ia telah secara
emosional menandai beberapa item di masa lalu, maka mewakili media di ruang konotatif yang diusulkan
sangat membantu untuk menargetkan keinginan emosional pengguna tunggal.

Tujuan Kertas dan Organisasi Dalam karya ini kita mengembangkan ruang untuk deskripsi afektif film
melalui sifat konotatifnya. Ini akan ditunjukkan bagaimana ruang ini bisa menjadi dasar untuk
menentukan kapan adegan-adegan buram menghasilkan respons emosional yang konsisten dalam satu
pengguna tunggal. Kami membuktikan bahwa adegan film yang memiliki konotasi serupa cenderung
muncul, pada pengguna yang sama, reaksi afektif yang sama, yang berarti ketika merekomendasikan item
afektif, menggunakan properti konotasi dapat lebih dapat diandalkan daripada mengeksploitasi anotasi
emosional oleh pengguna lain. Dalam contoh pengantar kami, pengguna takut dengan film horor dan
menginginkan lebih banyak materi yang sama, mungkin akan lebih bahagia jika kami merekomendasikan
item fi lmic lainnya yang dicirikan oleh sifat konotatif yang serupa daripada menggunakan anotasi
emosional orang lain, karena reaksi emosional Bisa sangat berbeda. Sebagai kemungkinan penggunaan,
temuan ini akan digunakan untuk mendukung rekomendasi film. Sebagai keuntungan berkenaan dengan
keadaan seni, solusi yang diajukan memungkinkan untuk memberikan deskripsi afektif produk-produk fi
lmic yang lebih objektif daripada yang disediakan oleh model emosional yang ada, oleh karena itu
merupakan platform intersubjektif untuk analisis dan perbandingan berbagai jenis fitur pada pijakan yang
sama. . Kedua, berdasarkan ruang yang diusulkan, penelitian lebih lanjut mengenai pemahaman afektif
yang dapat dihitung [2] dapat mengarah pada definisi metode yang lebih obyektif untuk menilai emosi
manusia yang ditimbulkan oleh film.

II. ULASAN KERJA

A. Teori Emosional Filmik

Teori emosi berapi-api yang baru muncul [3] [4] memberi beberapa wawasan tentang mekanisme
elisitasi yang dapat memberi informasi pemetaan antara fitur video dan model emosional. Tan [3]
mengemukakan bahwa emosi dipicu oleh persepsi "perubahan", namun kebanyakan ia menekankan
peran realisme lingkungan film dalam membangkitkan emosi. Smith [4] malah mencoba untuk
menghubungkan emosi dengan struktur naratif film. Dia menggambarkan emosi tanpa emosi karena
kurang berorientasi pada karakter atau berorientasi pada tujuan, memberikan tingkat perhatian yang
lebih besar. Informasi penting dari pendahulunya adalah informasi pendahulunya dan, yang lebih khusus,
berpendapat bahwa suasana hati menghasilkan harapan dari beberapa jenis pilihan. Menurut
pandangannya, lingkaran emosional harus dibuat dari beberapa isyarat moodinducing, yang sebagai
gantinya membuat Penampil lebih mudah menafsirkan isyarat lebih lanjut sesuai moodnya saat ini.
Kesimpulan Smith bahwa "asosiasi emosi yang diberikan oleh musik, unsur-unsur mise-en-scene, warna,
suara, dan pencahayaan sangat penting untuk demonstrasi fisik", jika hal itu menghalangi perhatian
terhadap fitur video terhadap respons emosional. Selain itu, ada pandangan yang bertentangan mengenai
respons emosional terhadap film bergantung pada individu. Soleymani dkk. [5] menyelidiki tanggapan
fisiologis terhadap virus, mengeksplorasi berbagai sinyal fisiologis dan korelasi antara laporan pengguna
dan dimensi afektif yang dapat diakses melalui pengukuran fisiologis. Studi mereka menekankan
perbedaan individu dalam respon afektif dengan analisis mendalam tentang korelasi antara variabel
dimensi dan fitur video untuk setiap subjek. Sebaliknya, Smith [4] dan Tan [3] setuju mengenai sejauh
mana respons emosional terhadap virus tradisional bergantung pada individu, dengan meyakinkan bahwa
jenis respons emosional yang relatif seragam yang direspon secara kebetulan terhadap kesepahaman,
terlepas dari variasi individual.
 B. ULASAN PADA ANALISIS VIDEO AFEKTIF

Bahkan jika kemungkinan yang menarik dapat ditawarkan oleh pendekatan berbasis emosi
terhadap aplikasi multimedia yang saat ini diselidiki, karya terkait dalam analisis afektif video. konten
sedikit, jarang dan terbaru. Minat terbatas ini terutama disebabkan oleh ketidakmungkinan untuk
mendefinisikan metode yang obyektif untuk menilai emosi yang ditimbulkan oleh video film, kecuali
langsung mendaftarkan reaksi individu dengan mencatat respons fisiologis terhadap pengamatan video.
Cara alternatif dan praktis untuk menilai dimensi afektif media diberikan oleh penggunaan "mood yang
diharapkan", yang diajukan oleh Hanjalic di [1], yaitu serangkaian emosi pembuat film yang bermaksud
untuk berkomunikasi saat dia menghasilkan film untuk audiens tertentu dengan latar belakang budaya
yang sama, karena ini juga tampak konsisten dengan kesimpulan Smith seperti yang dilaporkan
sebelumnya.

Dalam sebuah karya yang ditulis bersama dengan Xu [6], pelopor Hanjalic menganalisis konten
video afektif, melalui sebuah pendekatan yang didasarkan pada pemetaan langsung fitur video tertentu
ke dimensi Gairah dan Kesenangan model emosional Pleasure-Arousal-Dominance (PAD) [7]. Mereka
menggambarkan intensitas gerak, kepadatan potong dan energi suara sebagai primitif gairah,
menentukan fungsi penentuan waktu analitik untuk menggabungkan properti ini dan menggunakan
bingkai video untuk dimensi waktu.

Meskipun pemetaan properti video pada model yang dimaksudkan untuk menggambarkan emosi
terinspirasi dari literatur sebelumnya, namun belum sepenuhnya divalidasi oleh kuesioner psikologis atau
pengukuran fisiologis, yang merupakan metode yang tepat untuk menilai model yang bergantung pada
waktu. Selanjutnya, contoh pemetaan gairah yang diberikan pada [1] merujuk pada acara olah raga live
(pertandingan sepak bola video), yang propertinya mungkin tidak dapat ditransfer sepenuhnya ke kasus
video dan film fitur lainnya, yang memiliki pengeditan dan suara yang berbeda dari yang berbeda alam
(karena yang terakhir tidak harus mencakup reaksi penonton spontan).

Sampai saat ini, karakterisasi emosional terutama digunakan untuk mempelajari sekumpulan
situasi yang sempit, seperti acara olahraga tertentu seperti pada [8] atau film yang termasuk dalam genre
tertentu, misalnya film horor, seperti pada [9].

Memperluas pendekatan ini, Xu et al. [10] menggambarkan pengelompokan film secara

emosional untuk genre yang berbeda, menggunakan nilai rangsangan dan valensi rata-rata, yang
disimpulkan dari parameter video. Satu keterbatasan yang melekat pada pendekatan pengelompokan ini
mungkin merupakan penggunaan deskripsi kategoris dari emosi pengguna target, tanpa indikasi yang jelas
bahwa ini akan muncul dengan melihat genre film tradisional. Kerangka kerja yang diusulkan tersebut
berkinerja lebih baik untuk tindakan dan film horor daripada drama atau komedi, fakta yang penulis
anggap menonjol pada fitur tertentu pada hewan pertama. Hal ini memungkinkan deteksi yang lebih
efisien terhadap fitur terkait gairah, yang cenderung mengkarakterisasi kedua genre ini, yang berkaitan
dengan valensi, seperti yang ditunjukkan oleh deskriptor video pilihan (misalnya, energi kecerahan dan
warna sebagai fitur valensi).

De Kok [11] memperluas beberapa aspek dari karya ini dengan menemukan kembali warna-warna
itu, yang tidak sesuai dengan pemetaan jenazah ke dimensi valensi, sementara Kang [12] malah
menggambarkan pengakuan kejadian afektif tingkat tinggi dari fitur rendah menggunakan HMM, sebuah
metode yang juga digunakan oleh Sun dan Yu [13]. Kinerja yang diperoleh Kang dalam klasifikasi afektif
adegan film mengungguli dalam pekerjaan oleh Wang dan Cheong [14]. Mereka mengusulkan untuk
memadukan fitur lowlevel audio dan visual dengan cara yang heterarkis dalam ruang berdimensi tinggi,
dan mengekstrak dari pola representasi bermakna semacam itu dengan mesin SVM inferensi.

Dalam karya yang sama [14], penulis menguatkan pandangan bahwa isyarat audio seringkali lebih
informatif daripada yang visual sehubungan dengan konten afektif. Tas kata-kata audio-visual afektif baru-
baru ini diusulkan untuk klasifikasi adegan afektif; Disini penulis juga mengenalkan sebuah usaha untuk
representasi perantara, dimana emosi dan kejadian dikaitkan dengan penggunaan "topik". Baru-baru ini
deskripsi afektif item multimedia juga mulai diterapkan pada sistem recommender tradisional [16]. Tkalcic
et al. di [17] mengusulkan penggunaan bidang metadata yang mengandung parameter emosional untuk
meningkatkan tingkat presisi rekomendasi berbasis konten; dengan menunjukkan bahwa tag afektif lebih
dekat kaitannya dengan pengalaman pengguna daripada deskriptor generik, mereka meningkatkan
kualitas rekomendasi dengan menggunakan metadata yang terkait dengan emosi estetika pengguna, dan
bukan emosi intrinsik yang terdapat dalam item.

III. METODOLOGI KESELURUHAN

Seperti yang disebutkan dalam pendahuluan, representasi spasial diusulkan untuk memfasilitasi
derivasi dampak afektif film berkat deskripsi sifat konotatifnya. Untuk tujuan ini, Gambar 1 menjelaskan
alur kerja yang diadopsi:

Span the Validate

Semantic by Inter-rater
Space Agreement

Movie
Scenes Users Emotations Validated
& Connotations Connotative Space

Support Affective
Recommendation

Recommendation
Engine

Gambar 1. Diagram yang menggambarkan alur kerja kertas untuk memodelkan ruang konotatif untuk analisis dan
rekomendasi adegan film.

A. Span the Semantic Space: Terinspirasi oleh karya sebelumnya di domain desain industri
[18], kami mengusulkan untuk membentuk identitas afektif sebuah film berkat
representasi sifat konotatifnya sesuai dengan teori "perbedaan semantik" [19].

B. Validasi dengan Inter-rater Agreement: Untuk memvalidasi model, di satu sisi kami
meminta pengguna untuk memberikan anotasi emosional pada film (disebut emotasi),
dan di sisi lain menilai beberapa sifat konotatif; Kami kemudian mengukur tingkat
kesepakatan antar-penilai untuk keduanya (emotasi vs konotasi). Hasilnya adalah bahwa
sifat konotatif lebih bersifat subyektif antar pengguna daripada emotasi.

C. Dukungan Rekomendasi Afektif: Setelah ruang konotatitip yang diusulkan telah divalidasi,
kami selanjutnya menunjukkan bagaimana menggunakannya sebagai dukungan untuk
 rekomendasi afektif. Khususnya, kami membuktikan bahwa menggunakan properti
konotasi untuk merekomendasikan barang kepada pengguna dengan profil emosional
yang diketahui, lebih dapat diandalkan daripada mengeksploitasi anotasi emosi secara
langsung yang dikumpulkan oleh keseluruhan komunitas pengguna.

Keuntungan utama dari pendekatan yang diusulkan dijelaskan di bawah ini. Seperti yang
ditunjukkan pada Bagian II, sebagian besar penelitian sebelumnya tentang analisis video
afektif mencoba untuk secara langsung memetakan representasi konten tingkat rendah ke
sekumpulan emosi manusia yang terkenal sering menggunakan model afektif untuk emosi
(seperti model PAD atau Russell's sirkumplex [20]). Tujuan kami adalah untuk
mengembangkan ruang konotatif ad-hoc pertama yang secara khusus dibangun untuk
deskripsi film afektif dan tidak secara langsung membandingkan model PAD (atau Russell's)
dengan ruang konotatif. Sebenarnya, sementara sebuah titik di PAD menggambarkan satu
emosi dalam hal kesenangan, gairah dan dominasi, sebuah titik di ruang konotatif
menggambarkan satu segmen film dalam hal sifat konotatifnya yang berasal dari
sinematografi. Membentuk korespondensi langsung antara representasi fisik sinyal video dan
tanggapan emosional pengguna tingkat tinggi seringkali menghasilkan hasil yang agak tidak
akurat dan sulit untuk dipvalidasi [14]. Hal ini mungkin disebabkan oleh jarak yang tak
terbantahkan antara sifat terukur dari benda-benda yang dilipat dan sifat emosi yang tidak
dapat diprediksi dan pribadi. Utilitas yang tidak dapat dipisahkan dari keseluruhan ruang
dapat diperbaiki untuk memenuhi kebutuhan tingkat representasi semantik antara fitur
tingkat rendah dan emosi manusia.

Dengan mendasarkan bidang bidang sinematografi dan psikologi yang terkait, solusi ini
sangat membantu dalam menutup jarak antara reaksi pengguna dan fitur video dari kedua
arah. Dengan mengadopsi perbedaan semantik pada sifat konotasi, di satu sisi, hal itu
memungkinkan representasi sifat afektif sebuah film dengan cara yang lebih inter-subjektif
daripada menggunakan emotasi secara langsung. Disisi lain, ia membayangkan proses
terjemahan yang lebih mudah dari properti tingkat rendah video menjadi konsep semantik
menengah yang sangat menyenangkan di antara individu-individu, sehingga menghindari
proses "menjembatani sekaligus".

IV. MENGUKUR MAKNA YANG MEMPENGARUHI

Selain itu, terlalu banyak percaya diri, makna masing-masing, atau konotasi. Denotasi, juga dikenal
sebagai makna kognitif, mengacu pada hubungan langsung antara istilah dan objek, gagasan, atau
tindakan yang ditunjuknya. Konotasi, juga dikenal sebagai makna afektif, mengacu pada aspek emotif atau
asosiasional sebuah istilah.

Misalnya konsep seperti musim panas dan cinta membangkitkan keterkaitan yang unik dengan
kata-kata yang sangat penting.Homeless dan kanker memanggil awan konotasi emosional yang negatif.
Konsep lain, seperti tinju, memanggil konotasi positif dan negatif. Sekali lagi, orang yang keras kepala
dapat digambarkan sebagai orang berkemauan keras atau berkepala babi. Meskipun memiliki arti harfiah
yang sama (yaitu keras kepala), berkemauan keras berkonotasi kekaguman, sementara berkepala babi
berkonotasi frustrasi dalam berurusan dengan seseorang.
 Dalam literatur, tidak ada penulis yang bisa menulis dengan warna, kekuatan, dan persuasif tanpa
kontrol atas konotasi istilah [21]. Dengan cara yang sama dengan menggunakan daya tarik emosional dari
konotasi sangat penting untuk konsep, peristiwa, atau objek dalam disiplin ilmu seperti desain, seni, dan
yang paling menarik bagi kita, sinematografi.

Sebuah film terdiri dari berbagai elemen, baik denotatif (misalnya bagian naratif murni) dan
konotatif (seperti editing, musik, mise-en-scene, warna, suara, pencahayaan). Satu set konvensi, yang
dikenal sebagai tata bahasa film [22], mengatur hubungan antara unsur-unsur ini dan memengaruhi
bagaimana makna yang disampaikan oleh sutradara disimpulkan oleh penonton.

Dalam pengertian ini, intuisi oleh Hanjalic dalam merumuskan konsep "harapan" adalah:
briliannya video tidak harus sesuai dengan respons afektif individu tertentu. Arti afektif hasil dari tindakan
seorang sutradara film, yang misalnya mengadopsi semua teknik konvensional untuk memberi konotasi
pada film horor terakhirnya. Menentang hal ini, respons afektif aktual oleh individu sangat subjektif dan
tergantung konteks, sehingga bisa sangat berbeda.

Oleh karena itu, setidaknya ada tiga kemungkinan tingkat deskripsi untuk objek tertentu, sebuah
video dalam kasus kami: makna denotatif (apa konsep yang dijelaskan), konsep konotatif (dengan mana
istilah konsep dijelaskan) dan respons afektif (bagaimana konsep itu dirasakan oleh seseorang).
Sedangkan makna denotatif (resp. Respons afektif) berada pada tingkat obyektif (respektif subjektif),
makna konotatif biasanya dianggap berada pada tingkat antar subyektif, yaitu dibagi oleh keadaan
subjektif lebih banyak individu.

A. Perbedaan Semantik

Pada tahun 1950an, Osgood telah dikreditkan dengan terobosan untuk dapat mengukur makna
konotatif dari setiap konsep [19]. Dengan membangun skala bipolar berdasarkan kebalikan semantik
("skala semantik") seperti "baik buruk", "lunak keras", "cepat lamban", "bersih kotor", "tidak berharga",
"tidak adil "," Hangat dingin ", dan seterusnya, ia mampu membedakan intensitas sikap orang terhadap
makna konotatif kata-kata.

Hasilnya adalah penemuan Osgood tentang "ruang semantik" - adanya tiga dimensi sikap mendasar
yang mendasari bahwa setiap orang menganggapnya sebagai evaluasi atas lingkungan sosialnya, terlepas
dari bahasa atau budaya. Di ruang semantik setiap konsep memiliki makna afektif yang bervariasi di
sepanjang tiga dimensi: Evaluasi - kebaikan versus keburukan, Potensi - kekuatan versus
ketidakberdayaan, dan Aktivitas - keaktifan versus kesengsaraan (EPA) [19].

Struktur ini masuk akal. Ketika nenek moyang kita bertemu dengan seseorang, persepsi awalnya harus
apakah orang tersebut merupakan bahaya. Apakah orang itu baik atau buruk? Selanjutnya, apakah orang
itu kuat atau lemah? Reaksi kita terhadap seseorang sangat berbeda jika dirasakan baik dan kuat, baik dan
lemah, buruk dan lemah, atau buruk dan kuat.

Percobaan selanjutnya oleh banyak peneliti memastikan validitas ruang semantik Osgood dan
identitas lintas budaya, membuat struktur Evaluasi, Potensi, dan Aktivitas (EPA) salah satu fakta
terdokumentasi terbaik dalam ilmu sosial (sebuah bibliografi penelitian lengkap di bidang ini disediakan
oleh Heise di [23]).

B. Ruang semantik untuk emosi

 Mengenai emosi misalnya, dua studi oleh Russell dan Mehrabian [24] memberikan bukti awal bahwa
tiga dimensi independen dan bipolar, Pleasure-displeasure, Derajat of Arousal, and Dominance-
submissiveness (PAD), keduanya diperlukan dan cukup memadai untuk mendefinisikan keadaan
emosional secara tepat . Beberapa tahun kemudian, bukti bahwa dimensi afektif ini saling terkait dengan
cara yang sangat sistematis membuat Russell mengembangkan model penglihatannya yang melingkar [20]
(lihat Gambar 2-a), dan baru-baru ini, ke roda emosi Geneva [25] dan roda warna Plutchik [26] (pada
Gambar 2-b).

Model ini, yang terdiri dari delapan kategori emosi dasar, kesedihan, kemarahan, rasa takut, kejutan,
jijik, antisipasi, dan penerimaan. Kemudian sampai hari ini, Fontaine dkk. mengkritik fakta bahwa banyak
peneliti berfokus secara eksklusif dalam dua dimensi dalam menilai valensi dan gairah [27]. Oleh karena
itu, dengan mengadopsi pendekatan berbasis teori, mereka menunjukkan bahwa setidaknya empat
dimensi diperlukan untuk secara memuaskan mewakili kesamaan dan perbedaan makna kata-kata emosi.

a) b)

Gambar 2. a) Model siluman Russell tentang kasih sayang [20] dan b) Roda emosi Plutchik berdasarkan delapan emosi dasar [26],
yang memungkinkan untuk secara jelas memahami "kedekatan" antara pasangan kategori emosi yang sewenang-wenang.

Semua model emosional ini memungkinkan untuk mewakili emosi sebagai posisi dalam ruang
semantik. Pada tahun-tahun tersebut, dengan menggunakan pendekatan dimensi semacam itu, banyak
peneliti menstimulasi multimedia, dari Hanjalic dan seterusnya, untuk mengusulkan fitur audiovisual low-
level primitif sebagai sumbu yang sesuai untuk PAD. Sejak saat itu, sifat video telah umum (namun tidak
tepat) dipetakan dalam ruang yang awalnya dibangun untuk mewakili emosi.

Meskipun sangat populer, pendekatan ini sekarang perlu dikembangkan dengan menyelidiki ruang
semantik baru yang tepat untuk deskripsi afektif film, alih-alih mengubah dimensi yang tidak sesuai
dengan ruang yang semula dipikirkan untuk emosi.

V. SPAN RUANG SEMANTIK

Osgood menegaskan bahwa setiap konsep, objek, artefak dapat diposisikan dalam ruang vektor
tiga dimensi yang didefinisikan oleh ekspresi semantik. Membentang ruang semantik pada konsep baru
menyiratkan yang pertama untuk mengumpulkan sejumlah besar kata yang menggambarkan domain -
biasanya kata sifat - dari sumber yang berbeda: literatur, pakar, dan sebagainya. Sejumlah besar subjek
kemudian diminta untuk mengungkapkan penilaian mereka atas kata-kata. dan hubungannya dengan
konsep tersebut, dengan penilaian pada skala pengukuran bipolar, biasanya berkisar antara 1 sampai 5.
Setelah itu, data yang dikumpulkan diproses dengan menggunakan, misalnya analisis faktor dan PCA
untuk pengurangan dimensi untuk mengetahui bagaimana kata-kata yang berbeda saling terkait satu
sama lain. , dan dengan cara mana mereka mempengaruhi pemahaman konsep. Akhirnya, kata-kata yang
relevan yang mewakili dimensi berbeda dipilih untuk menghubungkannya dengan properti konsep.
Fontaine dkk. misalnya mengadopsi pendekatan berbasis teori ini untuk memperluas ruang semantik
emosi dan mewakili persamaan dan perbedaan makna kata-kata emosi.

A. Ruang semantik untuk produk dan objek desain

Bila diterapkan pada teknik atau teknik teknik, contoh yang benar untuk mencari makna afektif
barang disediakan oleh teknik Kansei [28], yang menyelidiki hubungan antara perasaan dan sifat produk
industri untuk dipahami. Bagaimana pilihan atribut produk dapat mempengaruhi persepsi emosional
pelanggan terhadap keseluruhan produk.

Dengan pendekatan serupa, Castelli [18] mencakup ruang semantik dengan memusatkan
perhatiannya pada pengalaman sensoris dalam kaitannya dengan objek desain. Melalui pendekatan
"kualitatif" yang diusulkan, ia mengidentifikasi kualitas suatu produk sesuai dengan evaluasi antar-
subyektif, terlepas dari parameter yang dapat diukur dengan syarat kualitatif dan kuantitatif. Diagram
kualitatif yang diusulkan (lihat Gambar 3), yang menyumbang tiga huruf - alami, temporalandenergetic-
isabletos mendukung banyak variasi produk desain yang memungkinkan untuk mendefinisikan,
mengembangkan dan mengelola prototip yang dapat dibandingkan dari waktu ke waktu dan dibahas pada
pijakan yang sama dalam rentang yang luas. sektor (penelitian dan pengembangan, pemasaran,
komunikasi).

Fig. 3. Qualistic diagram for affective description of design objects [18].

B. Ruang semantik untuk konotasi film

Agar bisa membentuk ruang konotatif untuk film, kami tidak menetapkan fokus kami untuk
melakukan pekerjaan psikolog dan memiliki serangkaian ekspresi untuk menemukan kata yang paling
relevan untuk setiap dimensi, namun kami memperluas gagasan tentang sepotong seni atau desain untuk
film seperti yang disarankan oleh Castelli [18]. Seperti yang terjadi pada sastra, seni dan desain, bahkan
dalam sinematografi, penting untuk tetap mengendalikan konotasi: tidak diragukan lagi, pada abad
terakhir proses pembuatan film telah berkembang menjadi bentuk seni, termasuk konsep mulai dari aspek
pemasaran hingga komunikasi sosial. Untuk alasan ini, kita mentranspos identitas afektif film menjadi
istilah sinematografi.

Dalam ruang konotatif semantik yang kami usulkan, makna afektif sebuah film bervariasi di sepanjang
tiga sumbu yang menjelaskan dimensi alam, temporal dan energik. Seperti pada [18], dimensi alami
membagi ruang menjadi ruang hemi-religius, mengacu pada kasih sayang yang hangat, dan ruang hemi-
reflektif, yang mewakili perasaan dan perasaan dingin. Sumbu temporal mencirikan ruang tersebut
menjadi dua tipe hemispaces lain, yang terkait dengan dinamika yang lambat dan yang lain
menggambarkan sikap intrinsik terhadap kecepatan dan aktivitas yang tinggi. Akhirnya, sumbu energik
mengidentifikasikan fi lms dengan dampak tinggi dalam hal kasih sayang dan, sebaliknya, yang minimal.

Setelah bukti Osgood, kita membangun skala bipolar berdasarkan semantic opposites dan
mengasosiasikan masing-masing sumbu beberapa kata sifat dalam hubungan dikotomis. Untuk sumbu
alami kita menghubungkan pasangan hangat / dingin. Sumbu temporal digambarkan dalam hal dinamis /
lambat, sedangkan dikotomi energik / minimal dikaitkan dengan sumbu ketiga. Pilihan ini memungkinkan
untuk mewakili sebuah film (atau segmen film) di ruang konotatif terkait baik sebagai awan titik atau,
dengan mempertimbangkan komponen waktu, sebagai lintasan yang menggambarkan evolusi identitas
afektifnya.

Contoh evolusi adegan film di ruang konotatif ditunjukkan pada Gambar 4. Lintasan tersebut memberi
pengaruh yang akurat terhadap radiasi, karena tidak mampu mengendalikan emosi atau keterbatasan
model emosional yang telah dibahas sebelumnya seperti skema kesenangan-gairah.
/
Dynamic
Slow

Energetic

Cold /
/ Warm

Mininal

Gambar 4. Ruang konotatif untuk mengukur makna afektif dari adegan film dan lintasan konotatif yang diambil dari
sebuah video.

Setelah memutuskan untuk meminjam pendekatan teoretis dari seni dan desain, kami menyadari
bahwa ruang yang diusulkan hanya satu di antara yang mungkin, dan mungkin bukan yang terbaik;
Namun, terlepas dari studi dan pengalaman sebelumnya dalam analisis video, dimensi yang dipilih bersifat
masuk akal dan inheren terkait dengan properti film yang terhubung ke pemotretan dan / atau
pengeditan. Pilihan ini memberi ruang bagi perbaikan lebih lanjut, jika tim ahli psikologi ingin menjangkau
ruang semantik dari domain terkait dengan pendekatan teoritis yang lebih ketat (seperti yang terjadi pada
[20] atau [27]), sehingga mengoptimalkan pilihan ungkapan untuk diasosiasikan dengan masing-masing
dimensi. Namun demikian, dalam tahap percobaan berikut, kami menunjukkan bagaimana ruang yang
diusulkan, bahkan jika secara langsung dialihkan dari domain seni dan desain, efektif dalam meningkatkan
kesepakatan antar penilai dan dalam mendukung analisis afektif film.

VI. VALIDATE OLEH PERJANJIAN INTER-RATER

Ruang konotatif bertujuan untuk menjadi landasan bersama bagi analisis film yang lebih objektif
dibagi di antara pengguna daripada respons afektif subyektif mereka. Untuk memvalidasi hipotesis ini
pada model, kami meminta pengguna untuk menonton beberapa adegan film dan memberikan anotasi
pada empat konsep semantik yang berbeda: emotasi mereka di adegan yang ditonton, dan tiga aspek
konotatif yang mereka anggap saat menonton adegan tersebut. Untuk setiap segmen film, kami
mengukur tingkat kesepakatan antar-penilai pada keempat konsep yang dinilai, dan menunjukkan bahwa
kesepakatan di antara pengguna lebih tinggi pada anotasi konotatif yang disediakan daripada pada
emotasi yang diungkapkan. Dengan menggunakan contoh pengguna yang menonton film horor
sebelumnya (yang tertawa dan satu menangis), kami bertujuan untuk memastikan bahwa mereka
menunjukkan kesepakatan yang lebih tinggi untuk menilai sifat konotatif film tersebut, daripada reaksi
afektif yang dialami.

A. Persiapan eksperimen

Percobaan disiapkan sebagai berikut. Sebanyak 240 pengguna direkrut: 195 adalah mahasiswa
Universitas Brescia, sedangkan 45 sisanya dipilih di antara rekan kerja, anggota keluarga dan teman. Dari
jumlah tersebut, total 140 pengguna menyelesaikan sepenuhnya eksperimen di semua video, sementara
yang lain hanya melakukan subset. Percobaan ini berupa tes pengguna dan dilakukan secara online,
dengan dukungan bahasa Inggris dan bahasa Italia.

Data terdiri dari 25 "adegan film yang hebat" [30] mewakili film-film populer yang mencakup tahun
1958 sampai 2009 yang dipilih dari IMDb [31]. Mereka tercantum dalam Tabel I dengan durasi mereka,
sedangkan pada Gambar 5, bingkai kunci representatif untuk setiap adegan ditampilkan, sehingga
pembaca dapat mengenali setidaknya beberapa dari mereka.

Pilihan "adegan" sebagai unit dasar untuk analisis didukung oleh fakta bahwa setiap adegan dalam
sebuah film menggambarkan konsep tingkat tinggi yang terkandung sendiri [32]. Memilih segmen video
khas lainnya, seperti tembakan (yaitu penggunaan kamera yang tidak terputus, [33]), tidak akan memadai,
karena panjang rata-rata pendeknya (beberapa detik) pada umumnya memungkinkan untuk
menyampaikan konsep dan / atau mendorong keadaan emosional yang terdefinisi dengan baik di
pengguna. Sebaliknya, adegan yang diekstraksi seperti yang dijelaskan di [34], merupakan unit narasi yang
sebagian besar otonom dalam maknanya [14] bahkan ketika disarikan dari konteks aslinya.

Dari perspektif properti video, mengikuti peraturan umum produksi film yang memberlakukan bahwa
semantik yang gigih dikaitkan dengan kontinuitas jangka panjang setidaknya dalam komposisi warna,
pencahayaan dan ambient yang berwarna, kebanyakan adegan sangat homogen dalam hal low- tingkat
fitur [36] (kecuali beberapa dari mereka yang dibahas kemudian sebagai contoh balasan).

Dua kriteria menuntun kita dalam pemilihan adegan. Adegan "film pertama" pertama dipilih karena
kami memperkirakan bahwa mereka lebih mudah mengetahui efek samping diobserver, karena "mereka
adalah kenangan akan segmen-segmen film yang telah mencapai kehidupan mereka sendiri, yang
memaksa kami untuk mengingat dan menghidupkan kembali momen itu" [30]. Mengikuti definisi di [30]
kami mencoba untuk mencakup semua bahan utama momen film yang hebat: kami memiliki "gambar
yang mencolok dan indah secara sinematik" (2001: A Space Odyssey),
TABLE I

SET OF SCENES EXCERPTED FROM FAMOUS FEATURE FILMS.

Scene Movie title Dur

1 (500) days of summer (2009) 01:33

2 2001: A Space Odyssey (1968) 01:37

3 Ben Hur (1959) 01:41

4 Blade runner (1982) 01:03

5 Full Metal Jacket (1987) 01:41

6 Ghost (1990) 01:54

7 Le Fabuleux Destin dAmelie Poulain (2001) 01:35

8 Le Fabuleux Destin dAmelie Poulain (2001) 01:01

9 Life is Beautiful (1997) 01:50

10 Notting Hill (1999) 00:45

11 The Matrix (1999) 01:39

12 The usual suspects (1995) 01:17

13 Se7en (1995) 02:59

14 The good the bad and the ugly (1966) 02:17

15 Saving private Ryan (1998) 01:24

16 Scent of a woman (1992) 02:22

17 Vertigo (1958) 01:30

18 No country for old men (2007) 01:41

19 Dolls (2002) 00:31

20 Dolls (2002) 01:17

21 Dancer in the dark (2000) 00:54

22 Dancer in the dark (2000) 01:27

23 The English Patient (1996) 02:42

24 Once Upon a Time In The West (1968) 02:31

25 The blue lagoon (1980) 01:40

aksi spektakuler dengan barisan orang banyak "(Ben Hur)," sebuah wahyu yang mengejutkan, atau
kejutan tak terduga "(Se7en), dll.

Kedua, amati bahwa adegan terpilih dipilih sehingga diharapkan mencakup semua kategori emosi
dasar yang diraih, sementara tidak perlu menutupi semua variabilitas konten dari ribuan film yang ada.
Dalam pengertian ini, adegan terpilih menawarkan spektrum yang cukup luas untuk menandai variabilitas
reaksi afektif penonton yang terbatas terhadap film. Karena kami tidak menangani studi statistik
mengenai variasi konten video emosional, namun pada variabilitas pengguna dalam menetapkan label
emosional, yang terpenting adalah kardinalitas kumpulan pengguna. Oleh karena itu jumlah pengguna
yang direkrut adalah yang terbesar yang terlibat dalam tes analisis afektif multimedia selama tahun-tahun
terakhir.

1 2 3 4 5

6 7 8 9 10

11 12 13 14 15

16 17 18 19 20

21 22 23 24 25

Gambar 5. Bingkai kunci representatif database dari adegan film

B. Konsep penilaian pada skala interval

Untuk melakukan tes, setiap pengguna diminta untuk menonton dan mendengarkan = 10 adegan
film yang diekstraksi secara acak dari total M = 25, untuk menyelesaikan pengujian dalam 30 menit.
Adegan bisa diawasi sebanyak yang diinginkan pengguna, baik dalam bahasa Inggris maupun Italia.
Setelah melihat, pengguna diminta apakah mereka pernah melihat adegan / film sebelumnya, dan
seandainya mereka melakukannya, mereka mengekspresikan kata-kata indahnya di dalam bahasa Inggris.
Tes utuh juga dapat terganggu dan dilanjutkan pada momen yang berbeda. Setelah menyaksikan sebuah
adegan, setiap pengguna diminta untuk mengungkapkan anotasinya pada empat konsep yang berbeda.

Pertama, pengguna diminta untuk memberi keterangan tentang keadaan emosional yang
diinspirasikannya dengan roda emosi di Gambar 6-a. Model ini adalah versi quantized dari circumplex
Russell (Gambar 2-a) dan hadiah, seperti pada roda Plutchik, delapan dasar dasar dari beberapa fosil
raksasa: "Happiness (Ha) vs. Sadness (Sa)", "Semangat (Ex) vs. Kebosanan Bo) "," Ketegangan (Te) vs.
Sleepiness (Sl) "," Distress (Di) vs. Relaxation (Re) ". Suchacircularmodel memungkinkan untuk secara jelas
memahami" kedekatan "antara pasangan kategori emosi yang sewenang-wenang: emosi yang relatif
dekat saling berdekatan satu sama lain. sehingga lebih mudah untuk transit ke emosi tetangga daripada
emosi yang lebih jauh [15]. Untuk penilaian diri, roda emosi lebih diutamakan pada model lain, seperti
PAD, karena lebih mudah bagi pengguna untuk memberikan label emosional yang unik daripada
mengekspresikan keadaan emosional mereka dengan kombinasi nilai kesenangan, gairah dan dominasi.

Untuk menilai konotasi adegan film, pengguna diminta untuk menilai skala Likert dari 1 sampai 5 tiga
konsep yang memperhitungkan dimensi alami, temporal dan energik dari ruang kelas. Rasionalisasi
diekspresikan dengan menggunakan indikator tomboladio di Gambar 7 pada tiga skala bipolar
berdasarkan pada semantic opposites. : hangat / dingin (alami), dinamis / lambat (temporal), dan energik
/ minim (energik), masing-masing. Khususnya pengguna diminta untuk menilai:

atmosfir adegan dari dingin sampai menghangatkan

kecepatan pemandangan dari lambat ke dinamis

pemandangan berdampak pada mereka dari minimal menjadi energik

karena kita berharap pengguna terbiasa dengan konsep intuitif seperti atmosfer atau ritme, dan untuk
dapat mengevaluasi kekuatan adegan yang dilihat.Skala likert pada 5 tingkat, yang biasa digunakan dalam
penelitian survei, termasuk dalam kategori skala "interval" [37]: mereka dengan jelas menyiratkan simetri
tingkat respons tentang kategori menengah dan presentasi visual mereka dengan jelas menunjukkan jarak
yang sama antara tingkat dan kontinuitas. dari konsep yang mendasarinya.

Gambar 7. Skala bipolar berdasarkan kebalikan semantik untuk menilai sifat konotatif film.

Untuk mengukur kesepakatan antar-penilai terhadap keempat konsep tersebut, pertama-tama

kami perlu mengaktifkan perbandingan antara anotasi. Untuk tujuan ini, emotasi diubah menjadi skala
bipolar 1 sampai 5. Mengamati roda emosi di Gambar 6-b, kita dapat menentukan jarak d antara dua
emosi ei dan ej seperti yang dilakukan oleh Russell di [20] dan baru-baru ini oleh Irie et al. di [15], yaitu
sebagai jumlah langkah yang dibutuhkan untuk mencapai emosi ej dari emosi ei. Seperti yang diamati
Russell, "skor 1 (ditugaskan) ke jarak antara istilah yang berdekatan", sedangkan "jarak 4 ditugaskan
antara istilah yang ditempatkan berlawanan pada lingkaran", tidak masalah apakah dihitung searah jarum
jam atau berlawanan arah jarum jam (lihat Gambar 6-b : jika ei = Ha, ej = Sa maka d (ei, ej) = 4in kedua
indera). Memanfaatkan jarak antara emosi, untuk setiap adegan, kita kemudian mengubah emotasi
menjadi skala bipolar 1-ke-5 dengan membuka roda hanya pada lima emosi paling terpilih yang
bersebelahan, seperti yang ditunjukkan pada Gambar 8.

Definisi jarak aquantitative antara elemen skala yang diusulkan juga didukung oleh teori skala
pengukuran pada skala interval [37]. Selain itu, pilihan untuk membuang, secara terpisah untuk setiap
adegan, tiga paling tidak memilih emosi bersebelahan, didukung oleh Osgood, yang menyatakan bahwa
"lima tingkat kemungkinan, atau lima kata sifat bipolar, terbukti menghasilkan temuan yang andal" [19].
Perhatikan juga bahwa mayoritas suara (di luar 95% rata-rata) mengumpulkan sedikit emosi "dekat",
sehingga jumlah suara yang tidak dihitung untuk setiap adegan secara statistik tidak signifikan. Akhirnya,
bahkan jika emosi bersebelahan yang dihapus tampaknya menciptakan "lubang" di roda, tidak ada
diskontinuitas yang benar-benar diperkenalkan karena sifat melingkar ruang: pada jarak lingkaran tetap
linier, dan skala yang diperoleh sebanding dengan konotatif lainnya.

Perjanjian antar-penilai di setiap adegan sekarang dapat dihitung secara terpisah pada empat
konsep terpisah, masing-masing diwakili pada skala likert 1-ke-5, seperti yang ditunjukkan pada Gambar
8. Untuk setiap adegan, saya memiliki empat tingkat pengumpulan histogram dari 1 sampai 5 pada
bipolarcales semantik: satuhistogram HW saya mengumpulkan setiap jumlah korban dari emotikasi
bersebelahan yang paling banyak untuk adegan itu, sementara tiga histogram lainnya HN i, HT i, dan HE
saya mengumpulkan tingkat yang diungkapkan untuk tiga sumbu konotatif (alami, temporal, dan energik,
masing-masing).

Contoh histogram yang dinormalisasi diberikan pada Gambar 9 untuk pemandangan yang diambil
dari "Ghost" (nomor 6) (dengan emotasi ungu, merah sumbu alami, berwarna hijau yang temporal, dan
berwarna biru yang energik). Amati di sudut kanan atas histogram emosi, persentase suara yang
dikumpulkan oleh lima tempat sampah berturut-turut dengan massa probabilitas terbesar, pastikan
bahwa meskipun ada variabilitas dalam reaksi afektif, suara yang dikumpulkan cenderung mengumpulkan
sedikit emosi "dekat".

C. Mengukur kesepakatan antar penilai pada skala interval

Untuk menilai seberapa jauh ruang konotatif dibagi secara subjektif di antara pengguna, kami
membandingkan tingkat kesepakatan antar-penilai mengenai tingkat yang dinyatakan pada tiga sumbu
konotatif dengan tingkat konsensus pengguna terhadap emotasi yang diekspresikan. Ada beberapa jenis
teknik yang sesuai dengan penguasaan ranger, yang kesesuaiannya bergantung pada definisi masalah dan
pada skala pengukuran yang diadopsi. Seperti skala yang diadopsi adalah tipe "interval" [37], salah satu
metode yang paling umum untuk menilai kesepakatan penilai adalah ukuran koefisien korelasi intra-kelas
(ICC) [38].

Koefisien korelasi intraclass secara statistik memperkirakan tingkat konsensus di antara

pengguna. Hal ini biasanya didefinisikan dalam interval [0,1] di mana semakin tinggi nilai semakin besar
homogenitas di antara para penilai. Karena setiap adegan dinilai oleh sekelompok pengguna yang berbeda
yang dipilih secara acak dari kumpulan yang lebih besar dan kami ingin mengukur keseluruhan
kesepakatan, ICC (1, k) sangat sesuai dengan skenario percobaan kami:

ICC(1, k) = BMS W MS (1)

BMS
dimana BMS adalah antar-scene mean square, dan WMSis di dalam scene mean square. Untuk deskripsi
model statistik dan rumus di atas, silakan merujuk ke [38], sementara rincian tentang perhitungan BMS
dan WMSinourspeci fi c kasus diberikan dalam Lampiran. Nilai-nilai kesepakatan antar-peminjam
menyatakan bahwa mereka memiliki catatan suara yang sama dan perkiraan yang diberikan pada Tabel
II. Mengikuti rekomendasi yang dinyatakan dalam [38], kita menilai secara estetisisasi kemampuan kita
untuk menilai dengan menolak hipotesis nol dari kesepakatan non-dalam interval keyakinan 95% (tingkat
risiko 0,05).
 TABLE II
MEASURES OF INTER-RATER AGREEMENT ICC(1, k).

Inter-rater agreement Emotation Natural Temporal Energetic

ICC(1, k) .7240 .8773 .8987 .7503

Perbandingan antara koefisien korelasi intra-kelas dengan jelas menunjukkan bahwa keseluruhan
kesepakatan secara konsisten lebih tinggi ketika pengguna diminta untuk menilai konsep konotatif dari
pada film daripada ketika mereka harus memberikan anotasi emosional. Secara khusus,
thegapwithrespecttotheconsensus tingkat emotasi lebih besar saat pengguna diminta untuk
mengekspresikan ekspresi diri dari gejala cuaca dan demam, sementara mengurangi saat pengguna
menilai sumbu energik, yaitu dampak energik pemandangan. Ini tidak mengherankan, karena sumbu
energik adalah deklinasi sumbu ketiga dari ruang EPA asli, dimensi yang, seperti yang telah diamati oleh
Greenwald dkk. di [39] dan oleh Hanjalic [6] di domain multimedia, sering memainkan peran terbatas
dalam mencirikan keadaan emosional sehubungan dengan dua sumbu lainnya. Meski begitu, konsensus
bahkan pada konsep ketiga ini tetap lebih besar dari pada kesepakatan anotasi emosional yang
diungkapkan pada adegan.

Seiring dengan perhitungan ICC yang diekspresikan pada kumpulan adegan gabungan, kami juga
melakukan analisis adegan dengan adegan, dengan mengandalkan standar deviasi suara (Stevens di [37]
menyatakan bahwa, di luar jarak, skala Likert juga mendukung konsep seperti mean , mode, dan standar
deviasi).

Untuk mulai dengan, kami menunjukkan pada Tabel III mode histogram emotikasinya HW i, itu
adalah anotasi emosional yang paling dinilai oleh pengguna. Ini memberi indikasi bahwa mereka secara
kolektif mengetahui penyebab dari kejadian awal, yang menyatakan bahwa adegan "Ben Hur" (nomor 3)
sebagian besar dianggap tegang, sementara "Laguna biru" (nomor 25) bahagia.

Indikator berbasis adegan pada perjanjian antar-penilai disediakan untuk satu adegan tunggal,
oleh empat standar deviasi:

iW on the emotation histogram HiW ;

iN on the natural histogram HiN ;
iT on the temporal histogram HiT ;
iE on the energetic histogram HiE.

TABLE III
MOST RATED EMOTION FOR EACH MOVIE SCENE.

1 2 3 4 5 6 7 8 9 10
Ha Te Te Sa Te Re Ex Ha Sa Ha

11 12 13 14 15 16 17 18 19 20
Ex Te Te Te Te Ha Te Te Re Sa

21 22 23 24 25
Sa Sa Sa Bo Ha
 Deviasi standar W i dari histogram HW i mengukur penyebaran distribusi emotasi di sekitar nilai
rata-rata (ingatkan bahwa emosi sekarang dipetakan ke skala bipolar mulai dari 1 sampai 5, seperti pada
Gambar 8). Nilai ini kira-kira menilai tingkat kesepakatan di antara pengguna tentang emosi yang
ditimbulkan oleh satu adegan. Secara analog, standar deviasi N i, T i, dan E i mengukur spread dari
distribusi tarif pada properti konotatif sekitar rata-rata pemungutan suara yang diberikan pada sumbu
alami, temporal, dan energik.

Pada Gambar 10 kita mengamati, untuk setiap adegan, perbandingan antara standar deviasi N i
(merah), T i (hijau), E i (biru) dan W i (ungu). Secara umum, standar deviasi yang diukur pada histogram
emotif HW i jelas lebih besar daripada standar deviasi yang dihitung pada tingkat yang ditetapkan pada
tiga skala diferensial semantik dari ruang konotatif, gejala konsensus pengguna yang lebih rendah pada
konsep nilai.
of a lower user consensus on the rated concept.

Emotations
1.4 Natural
Temporal
Energetic
1.3

1.2
deviation

1.1

1
Standard

0.9

0.8

0.7

0.6

0.5

0.4
0 5 10 15 20 25
Scenenumber
Gambar 10. Perbandingan antara standar deviasi (N i - red, T i - green, dan E i - blue) diperoleh dengan rating
scene pada tiga sumbu ruang konotatif dan standar deviasi histogram emotikudo (W i - ungu).

D. Diskusi tentang adegan Hasil

analisis ICC, dan nilai-nilai penyimpangan standar pada satu adegan, menunjukkan kesepakatan yang
lebih tinggi di antara orang-orang untuk menilai sifat konotatif dari adegan film sehubungan dengan
berbagi keadaan emosional yang serupa dalam menanggapi adegan tersebut. Kembali ke contoh film
horor, tingkat kesepakatan inter-rater yang lebih tinggi ini berarti bahwa, bahkan jika kedua pemirsa
tersebut dapat mengalami keadaan emosional yang berbeda saat menontonnya, kemungkinan keduanya
akan sepakat untuk menilai atmosfir film, kecepatan dan kecepatan adegannya dampak emosional.

Karena kesepakatan lebih tinggi pada ketiga dimensi ruang konotatif, ini menunjukkan kemampuan
diskriminatif yang lebih tinggi dari ruang ini untuk analisis lebih lanjut dan perbandingan film. Variasi yang
lebih luas dalam emotasi pengguna selanjutnya didukung oleh fakta bahwa tiga emosi yang paling tidak
dinilai dibuang dari histogram HW i dan akibatnya tidak dipertimbangkan dalam perhitungan standar
deviasi W i, selanjutnya mengurangi dispersi aktual di sekitar nilai rata-rata.

Dengan menganalisis perilaku standar deviasi pada Gambar 10, beberapa adegan yang tidak
mengikuti tren umum di sini selanjutnya dibahas sebagai contoh kontra.
 Adegan no. 23 ("Pasien Inggris", Hana membaca buku toLaszlo) sangat sedih, berlaku dingin dan
lamban, tapi disisipkan dengan fl ashbacks dengan kenangan dari masa lalu yang menyenangkan dan
tembakan dengan suasana hangat. Secara emosional, kebahagiaan yang hilang dari kekuatan penyangga
diri saat ini. Namun, dari sudut pandang konotasi, sulit bagi manusia untuk secara universal menandai
adegan di dikotomis hangat / dingin dan energik / minimal karena adanya flashbacks.

Adegan no. 14 yang menggambarkan duel terakhir dari "Yang baik yang buruk dan yang jelek" juga
patut dibicarakan: dimensi alami dan energik dinilai cukup univocally, sementara ini tidak berlaku untuk
yang temporal. Sebenarnya, dalam adegan ini tiga karakter utama saling menatap satu sama lain di pusat
pemakaman, menghitung aliansi dan bahaya dalam kebuntuan sinematis. Irama sangat lambat di awal,
tapi tingkat tembakan meningkat secara dramatis sampai gambar senapan tiba-tiba yang berakhir di
tempat kejadian. Kesimpulannya, sementara atmosfer dan energi dikenali dengan baik sepanjang durasi
adegan, ritme yang meningkat menghasilkan deviasi standar yang tinggi dalam menilai dimensi temporal.

Akhirnya, adegan no. 18 disarikan dari "Tidak ada negara untuk orang tua" yang tidak secara
univocally ditafsirkan dalam hal dampak dari adegan (minimal / energik). Dalam kasus ini, kami melihat
bahwa tingkat pengguna sangat dipengaruhi apakah dia telah menonton film tersebut. Di tempat
kejadian, petugas pom bensin pedesaan tua secara tidak biasa menyelamatkan hidupnya saat dia
memanggil koin koin. Dalam kasus ini, dampak afektif dari adegan kebanyakan tetap pada tingkat kognitif
(yaitu pengetahuan tentang plot) sementara konotasi yang diberikan oleh penyuntingan sinematografi
terbatas. Pemirsa tidak mengetahui alur cerita dan apa yang sebenarnya ada di balik lemparan koin,
mengalami kesulitan dalam menilai dampak pemandangan, sehingga menilai adegan ini mendominasi
tingkat kognitif selama konotasi.

Dari diskusi mengenai contoh-contoh sebelumnya, kita menyimpulkan bahwa variasi besar dalam
tingkat yang ditetapkan pada adegan pada dimensi tertentu sering mencerminkan kurangnya persistensi
beberapa fitur tingkat rendah yang kemungkinan terkait dengan dimensi itu. Ini memperkuat kesimpulan
kami tentang kebutuhan untuk mengembangkan representasi menengah ini dan kemampuannya untuk
memetakan properti video tingkat rendah ke respons afektif pengguna.

Berdasarkan analisis data yang dikumpulkan, kami memiliki indikasi kuat bahwa kerangka kerja
tersebut merupakan landasan bersama intersubjektif yang lebih baik untuk analisis film dan aplikasi
lanjutan daripada model emosional yang ada, seperti yang akan kami selidiki lebih lanjut pada tes
berikutnya.

VII. REKOMENDASI TUJUAN DUKUNGAN

Sebagai skenario penggunaan yang mungkin, kami menyelidiki selanjutnya apakah konotasi dapat
digunakan untuk mendukung rekomendasi emosional. Dengan kata lain, untuk memenuhi keinginan
emosional pengguna tunggal saat merekomendasikan film, apakah lebih baik mengandalkan sifat
konotatif film (yaitu ruang konotatif), atau untuk mengeksploitasi emotasi yang disediakan oleh pengguna
lain (yaitu roda emotasi)?

Dengan cara yang sedikit lebih formal, bayangkan bahwa kita tahu profil pengguna uk, itu adalah
emotasi yang diberikan Inggris pada beberapa film kecil. Bayangkan juga bahwa uk menginginkan film
membangkitkan emosi yang tepat, misalnya yang santai, dan bahwa dia sudah memancarkan setidaknya
satu film mi dengan tag emo "Re". Lalu, jika mh adalah film yang paling mirip dengan mi sesuai dengan
ruang konotatif, sementara emotasi oleh pengguna lain menghasilkan jutaan item yang paling mirip
dengan mi dalam hal relaksasi, apakah pengguna akan lebih bahagia jika kami merekomendasikan mh
atau ml? Dari apa yang ditunjukkan sejauh ini, kemungkinan besar mh akan memenuhi keinginan
pengguna dengan lebih baik.

Kami akan menunjukkan bahwa ruang konotatif menghubungkan media dengan respons afektif
pengguna tunggal lebih baik daripada menggunakan anotasi emosional oleh pengguna lain, yang
menyiratkan bahwa adegan film yang memiliki konotasi serupa cenderung muncul, pada pengguna yang
sama, reaksi afektif yang sama. Setelah menunjukkan bahwa menilai sebuah adegan film di ruang
konotatif lebih baik disepakati di antara pengguna, jika kita menunjukkan bahwa sifat konotatif film sangat
terkait dengan respons afektif pengguna tunggal, kita cukup berharap ruang ini sangat terkait dengan
emosi manusia, sehingga membantu mengurangi kesenjangan semantik antara fitur video dan lingkungan
afektif individu.

A. Daftar teratas: dukungan terhadap rekomendasi

Aplikasi yang ada saat ini adalah "daftar teratas", yang sekarang ada di bidang pencarian informasi,
mis. daftar item k di "halaman pertama" hasil oleh mesin pencari atau rekomendasi. Idenya adalah sistem
kembali, berdasarkan permintaan pengguna, daftar teratas item yang berada di dalam ruang konotatif,
yang relevan dengan pengguna.

Skenario aplikasi ini tidak dapat digambarkan sebagai fungsi rekomendasi murni, karena untuk
menghasilkan daftar pesanan, ia menggunakan (setidaknya) satu item beranotasi yang diambil dari profil
pengguna, seperti dalam pencarian kueri-oleh-contoh, seperti di [40]. Meskipun demikian, daftar top
peringkat yang dikembalikan oleh sistem dapat digunakan sebagai mekanisme yang valid untuk
menyebarkan tag emosional profil pengguna ke item "tutup" di database, sehingga memungkinkan
pemfilteran yang lebih baik dari kata-kata yang relevan dari yang relevan seperti pada [17], atau
digunakan sebagai valid dukungan untuk integrasi ke metode merekomendasikan tradisional, keduanya
berbasis konten [41] dan penyaringan kolaboratif [16]. Peringkat juga memiliki keuntungan bahwa, karena
didasarkan pada kesamaan antara item, lebih dekat pada mekanisme manusia untuk memahami emosi
yang bekerja dengan cara yang komparatif daripada menggunakan label absolut, seperti yang ditunjukkan
pada [42] untuk item musik.

Sementara dalam aplikasi nyata daftar yang diajukan mencakup adegan yang belum pernah dilihat
pengguna, pengujian dilakukan hanya dengan menggunakan adegan yang ada dalam profil pengguna,
seperti yang digambarkan pada Gambar 11. Setelah pengguna mengungkapkan keinginan emosional,
gunakan sebagai referensi yang adegan yang telah dia emotasikan yang relevan dengan keinginan
emosional itu, kami menghasilkan dua daftar fitur, satu dari ruang referensi dan berdasarkan emotasi oleh
semua pengguna. Kedua daftar tersebut diurutkan menurut kriteria jarak minimum di ruang yang sesuai.
Untuk memahami ruang mana yang menampilkan pemandangan dalam urutan yang lebih baik, kami
membandingkan dua daftar dengan daftar yang ketiga, yang dianggap sebagai target terbaik, yang
digolongkan berdasarkan emotasi yang tersimpan dalam profil pengguna.

.
 Ranking by:
User's Profile

Ex Ha Te Ex Ha
I want Re
Tension
Re Te User's Profile Target Top List

Te

Tense Scene/s Connotative Top List

Connotative Space

Movie
Scenes
Emotation Top List
Emotation Wheel

Gambar 11. Dengan satu keinginan emosional, adegan film profil pengguna diberi peringkat berbeda dalam ruang konotatif
dan emotasi. Kedua daftar tersebut dibandingkan dengan target terbaik yang disediakan oleh profil pengguna.

B. Jarak di ruang

Biarkan {m1, m2, ... mM} menjadi rangkaian adegan film M, dan {u1, u2, ..., uU} kumpulan pengguna
U. Setiap moviescene mi diwakili dalam ruang gerak berdasarkan tanda tangannya mC i = {HN i, HT i, HE
i}, yang menangkap distribusi suara pada tiga sumbu, dan di ruang emotasi dengan tanda tangannya mW
i = {HW i}, yang mewakili distribusi reaksi afektif semua pengguna ke lokasi kejadian. Karena setiap
pengguna uk memilih sejumlah adegan Mmovie di roda emosi, pada subset adegan ini, kami juga dapat
membuat profil pengguna tertentu, karena kami mengumpulkan pengetahuan eksplisit mengenai reaksi
pribadi pengguna terhadapnya.

Di kedua ruang, matriks jarak di antara adegan film dapat dihitung dengan Earth Mover's Distance
(EMD) [43] di antara tanda tangan (sekali lagi didukung oleh [37]), mengadopsi jarak melingkar antara
emotasi dan jarak antara nilai konotatif sebagai jarak jauh. Oleh karena itu di ruang konotatif, matriks
jarak dimensi M M dihitung untuk masing-masing sumbu:
N = N (mi, mj) = (HN , HjN )
T T EMD iT T
EMD (H , H )
= E (mi, mj) =
E iE jE (2)
= (mi, mj) = EMD (Hi , Hj )
so that the distance matrix C, accounting for all three dimensions, is a function of N , T and E:

C = C(mi, mj) = f N , T , E (3)

In the emotation space instead, the distance matrix W is:

W = W (mi, mj) = EMD (HiW , HjW ) (4)

Pada subset dari <M adegan film yang dipilih oleh pengguna tunggal uk, kami membangun profil uk,
yang merupakan matriks kuadrat dari dimensi DuWk berisi jarak emosional antara adegan film yang
diungkapkan oleh uk:

DuW k = duW k (mi, mj) (5)

W
Dimana d uk (mi, mj) adalah jarak melingkar antara dua emosi di roda emosi, yaitu jumlah langkah pada
roda emosi antara emosi yang diungkapkan oleh uk untuk adegan film mi dan mj. Harap dicatat bahwa d
bukan jarak antara distribusi suara (seperti memang dalam Persamaan 2, 3 dan 4), namun jarak antara
emotasi yang diberikan oleh pengguna yang sama pada adegan yang berbeda.

C. Daftar peringkat

Perbandingan uji tidak dilakukan pada daftar top-k, seperti dalam skenario aplikasi yang
dipertimbangkan, namun pada daftar lengkap, yaitu pada permutasi semua item pada jaringan global[44].
Padahal, sejak user uk memilih < M adegan film baik di roda emosi dan di ruang konotatif, pada subset
adegan terbatas ini, kami dapat menghasilkan tiga daftar adegan lengkap untuk perbandingan lebih lanjut:
yang pertama berdasarkan ruang konotatif ("apa arti sifat konotatif"), kedua di ruang emotasi ("emosi
semua pengguna lain '", dan yang terakhir berdasarkan profil pribadi pengguna ("tanggapan nyata apa
yang sebenarnya dari uk").

Misalnya pengguna uk menginginkan beberapa konten memunculkan emosi yang sama yang sudah
dimilikinya untuk mi, daftar peringkat vk,iC di ruang konotatif dihitung berdasarkan C (function f in
Equation 3 is set so as to perform a linear combination of N , T , and E):

vk,iC = m1 , m2 , . . . , m1 , so that
C (mi, m1 ) C (mi, m2 ) . . . C mi, m1
yaitu dalam rangka meningkatkan jarak tempuh menurut C. Daftar Lengkap vk,iW disediakan oleh roda
emosi berbagi elemen yang sama tetapi berbeda peringkat, karena jarak di sini dihitung berdasarkan W:

vk,iW = m1 , m2 , . . . , m1 , so that
W (mi, m1 ) W (mi, m2 ) . . . W mi, m1
Dengan pendekatan yang sama digunakan untuk menghasilkan dua daftar peringkat vk,iC dan vk,iW ,
daftar peringkat target (dan optimal) pada profil pengguna uk dibangun, using distance matrix DuW k uk,
as a (1) dimensional vector:

vk,iopt = m1 , m2 , . . . , m1 (6)
dimana jarak antara mi dan adegan film lainnya diurutkan sesuai urutan menurut DuWk yaitu :

dWuk (mi, m1 ) dW uk (mi, m2 ) . . . dW uk mi, m1

Daftar ini optimal karena rangking dibangun berdasarkan profil pengguna, yaitu dengan tingkat eksplisit
yang diungkapkan oleh uk, sehingga adegan diurutkan dari yang paling tidak emosional sama menurut
emosi pengguna pribadi. Daftar lengkap ini kemudian digunakan sebagai target untuk membandingkan
kemampuan peringkat ruang konotatif versus roda emotasi.

Menguraikan Pk sebagai himpunan adegan yang dinilai oleh pengguna uk (yaitu profilnya),
daftar lengkap di tiga ruang tersebut dihitung sebagai

{vk,iC}iPk , {vk,iW }iPk , and {vk,iopt}iPk . Prosedur ini kemudian diulang untuk semua
pengguna.

Pembaca tidak boleh disesatkan oleh fakta bahwa daftar target dihitung berdasarkan suara yang
diungkapkan pengguna tunggal di roda emotasi. Roda ini mengumpulkan reaksi afektif pengguna tunggal,
sehingga menentukan profil pengguna, dan emotasi semua pengguna lainnya. Suara pengguna tunggal
sangat spesifik dalam mendeskripsikan reaksi emosional pengguna terhadap adegan film, sementara
potret yang terpengaruh oleh kemampuan mereka cenderung kurang akurat dalam mewakili reaksi satu
orang, seperti yang ditunjukkan pada percobaan Bagian VI. Harapan kami adalah bahwa konotasi bekerja
lebih baik daripada emotasi oleh semua pengguna untuk menebak preferensi emosional pengguna
tunggal.