 Deteksi tetap mempengaruhi salah satu tantangan yang paling signifikan dalam

penelitian komputasi afektif (AC). Ini juga merupakan area yang telah menarik
perhatian yang signifikan oleh peneliti AC. Kemajuan yang cukup telah dibuat dalam
menerapkan teknik pembelajaran mesin untuk mendeteksi keadaan afektif dari
ekspresi wajah, isyarat akustik, gerakan tubuh, gerakan, isyarat kontekstual, teks dan
wacana, dan kedua fisiologi perifer.
 Penelitian ini menyelidiki persepsi emosi unimodal dan multimodal oleh manusia,
dengan mata untuk menerapkan temuan terhadap deteksi efek otomatis. Fokusnya
adalah pada penilaian reliabilitas dimana pengamat manusia yang tidak terlatih dapat
mendeteksi ekspresi naturalistik dari keadaan afektif non-dasar (kebosanan,
keterlibatan / aliran, kebingungan, frustrasi, dan netral) dari video peserta didik yang
sebelumnya direkam yang berinteraksi dengan tutor komputer. Percobaan
memanipulasi tiga modalitas untuk menghasilkan tujuh kondisi: wajah, ucapan,
konteks, faceþspeech, faceþcontext, speechþcontext, faceþspeechþcontext
 masih adannya beberapa tantangan yang perlu diatasi sebelum kata kunci yang
memungkinkan dengan akurat dapat diterapkan dalam konteks dunia nyata. Sebagai titik
perbandingan, suara otomatis, yang kesulitannya disamakan dengan deteksi efek, telah
menjadi bidang penelitian selama lebih dari 75 tahun. Namun, baru-baru ini karena
aplikasi fungsionalitas akan berfungsi secara online.
Perlu bantuan dan biaya yang berhubungan dengan sistem multimodal, ada pertanyaan
yang penting untuk kombinasi modalitas yang menghasilkan peningkatan dan
peningkatan modalitas individu. Ada juga yang memungkinkan berbagai modalitas akan
menghasilkan tingkat yang lebih rendah dari modalitas individu (misalnya, jika modalitas
individu memberikan informasi yang tepat yang tidak dapat diselesaikan secara efektif).
Ada literatur besar tentang persepsi oleh manusia dan itu di luar ruang lingkup makalah ini
untuk dimuat dalam literatur ini. Oleh karena itu, kami fokus pada studi yang khusus
membahas dengan makalah ini. Ini termasuk: 1) Kesejahteraan dan pergulatan emosi
baik dalam interaksi manusia-manusia dan manusia-komputer dan 2) Persepsi log
unimodal versus multimoda dalam komunikasi manusia-manusia (tidak ada yang dikenal
untuk interaksi manusia-komputer).
 Solusi yang diusulkan pada penelitian ini yaitu superadditivity, additivity, redundancy, dan inhibition
sebagai empat kemungkinan hasil deteksi efek multimodal. Dengan mengonsepkan superaditifitas
ketika terjadi kombinasi modalitas menghasilkan perbaikan dalam mempengaruhi akurasi deteksi di
atas, apa yang dapat diharapkan dari kombinasi aditif saja. Secara sederhana, keseluruhannya lebih
besar dari jumlah bagian-bagiannya. Untuk mengatasi keterbatasan ini, kami mengusulkan metrik
alternatif untuk mengkategorikan kinerja multimodal sebagai superadditive, additive, redundant, atau
inhibitory. Metrik memiliki dua komponen: 1) pengujian signifikan dan 2) perbandingan akurasi
multimodal yang diamati dengan akurasi yang diharapkan . Idenya adalah bahwa multimodal classi fi
er harus secara signifikan dan secara substansial lebih besar daripada penggolongan unimodal agar
dapat menghasilkan efek superaditif. Jika secara signifikan lebih baik, tetapi tidak jauh lebih baik,
maka telah menghasilkan efek aditif. Jika secara statistik setara dengan salah satu kliring unimodal,
maka fusi multimodal telah menghasilkan redundansi. Penghambatan terjadi ketika klasifikasi
multimodal menghasilkan akurasi klasifikasi yang lebih rendah secara signifikan daripada semua
klasifikasi unimodal. metric sederhana untuk mengukur kinerja klasifik mode timumal (ukuran efek
multimodal) adalah untuk mempertimbangkan perbaikan akurasi atas pengkodean yang tidak. 30. AB
dan A2 adalah akurasi yang terkait dengan dua klasifikasi yang tidak berdaya , dan A1b2 adalah
akurasi multimodal, maka ukuran efek multimodal dapat dihitung sebagai berikut :
 Dalam jurnal ini pendapat saya pada kasus mendeteksi multimodal efek alami yang ditimbulkan manusia
pada saat berinteraksi dengan komputer ini memang harus ada penelitian lagi yang lebih mendetail karena.
Dengan itu kita dapat mengetahui ekspresi seseorang saat berhadapan dengan komputer dengan
mendeteksinya. Mengapa hal ini diperlukan ? karena dengan begitu kita akan mendapatkan solusi ketika
seseorang mendapatkan bosan frustasi dan sebagainya saat behadapan dengan komputer dengan
membuat solusi dari permasalahan tersebut. Meskipun masih ada beberapa kesulitan dalam hal
keakuratan pendeteksian wajah seseorang pada saat berhadapan dengan komputer namun dengan
dilakukan beberapa penelitian secar berulang, dan dapat di sepakati. bahwa kesepakatan yang terkait
dengan perepan negara-negara afektif nondasar rendah rendah di atas semua Kappa dari 0,165 untuk
Perjanjian Pengamat Observer dan 0,085 untuk Perjanjian Pengrahan Pelajar. Perjanjian Rendah ini
menyoroti sulitnya mendeteksi ekspresi naturalistik pengaruh yang kadang-kadang dibungkam alih-alih
menjadi promi dengan tidak diwaminkan. . Ini menunjukkan bahwa meskipun ada suara terdidik yang ada di
wajah, pidato, dan sinyal konteks, dan kombinasi multimodal mereka, sinyal masih terdeteksi dari
kebisingan di sekitarnya.
 Meskipun ada kurangnya efek modalitas bila kesepakatan keseluruhan disusun, ada beberapa perbedaan
informatif saat negara-negara afektif diperiksa secara individual. Namun, perbedaan tersebut hanya
signifikan untuk model OO. Fakta bahwa wajah tersebut cukup diagnostik kebosanan sangat sedikit untuk
penilaian karena beberapa penelitian sebelumnya telah gagal untuk mengidentifikasi korelasi wajah yang
jelas untuk langkah ini, namun hipotesis ini menjamin dukungan empiris. Selain itu komponen emosi secara
umum ditetapkan, dan konteks spesifik dan penilaian situasional menentukan sistem tubuh yang diaktifkan.
Oleh karena itu, koordinasi menanggapi respons tubuh yang terkait dengan emosi tertentu yang jarang
terjadi. Model-model ini akan mengakomodasi prediksi bahwa kecuali kasus-kasus normal dari proto khas
emosi atau emosi yang akraktif, kombinasi modalitas mungkin berbeda-beda menghasilkan impul atau
sedikit membatasi kebersihan dalam akurasi multimodal.