SISTEM

BERSENSOR
GANDA
Presentasi oleh

Cahyadi
Nanda Kamila Azzahra
Muhamad Ilham Darmawan
 Materi
Pembahasan

Pengertian Peran Sistem Multimedia dan

Sensor input,
text,hypertext dan Multimodal untuk
multimodal, dan
hypermedia Penyandang Disabilitasda
multimedia.
interface

Multimodal

Pemakaian speech pada Sensor input,

interface multimodal, dan
multimedia.
Sensor Input
Sensor input adalah saluran yang digunakan untuk
mengumpulkan data dari berbagai sumber melalui lebih dari
satu jenis sensor secara bersamaan.

Contoh Sensor Penggunaan

• Suara • Cocok untuk aplikasi yang mendukung pengguna dengan
• Teks kebutuhan khusus.
• Hypertext • Digunakan dalam realitas buatan (Virtual Reality).
• Gambar/Video
• Gerakan (Gesture)
• Penglihatan (Vision)
Sistem Multimodal
Sistem multimodal adalah sistem yang mendukung komunikasi
dengan pengguna melalui berbagai modalitas (saluran
komunikasi).

Modalitas yang Digunakan: Fungsi:

• Suara • Memungkinkan interaksi yang lebih kaya dan alami.
• Teks • Menggunakan lebih dari satu indera untuk
• Gerakan tubuh meningkatkan pengalaman pengguna.
• Emosi
Contoh:
• Pengolah kata yang mengucapkan teks sambil
menampilkan kata-kata di layar.
Sistem Multimedia
Multimedia adalah media yang menggabungkan dua atau lebih
jenis media untuk menyampaikan informasi secara terintegrasi.

Komponen Multimedia Penggunaan

• Teks • Menggunakan berbagai alat komunikasi untuk
• Grafik menyampaikan informasi.
• Gambar • Contoh aplikasi: Sistem pendidikan terkomputerisasi
• Audio yang menggunakan video, kartun, teks, dan gambar.
• Video
• Animasi Keuntungan
• Meningkatkan pemahaman dan keterlibatan pengguna
melalui kombinasi media yang berbeda.
Pemakaian Speech pada Interface
Penggunaan speech (ucapan) dalam antarmuka pengguna memiliki beberapa manfaat dan aplikasi
yang signifikan, terutama dalam situasi di mana pengguna tidak dapat menggunakan tangan atau mata
mereka secara efektif.

Berikut adalah beberapa poin penting mengenai pemakaian speech pada interface:
1.Kondisi
Penggunaan
• Tangan Pengguna Sibuk: Dalam situasi di mana tangan pengguna tidak dapat digunakan,
seperti saat mengemudikan kendaraan atau melakukan tugas lain yang memerlukan kedua
tangan, speech memungkinkan interaksi tanpa memerlukan input fisik.
• Mata Pengguna Terfokus: Ketika pengguna perlu memperhatikan sesuatu yang lain
(misalnya, saat melihat layar besar atau presentasi), penggunaan ucapan dapat membantu
mereka tetap terhubung dengan sistem tanpa harus melihat ke layar.
• Kondisi Tidak Memungkinkan Menggunakan Keyboard: Dalam situasi di mana meja
kerja penuh atau tidak memungkinkan untuk menggunakan keyboard, speech menjadi
alternatif yang praktis.
2. Pengenalan Ucapan (Speech Recognition)
Sistem pengenalan ucapan telah berkembang, meskipun masih memiliki keterbatasan.
Keberhasilan sistem ini sering kali terbatas pada pengguna tunggal yang telah dilatih untuk
mengenali suara mereka.
Tantangan dalam Pengenalan Ucapan

• Kompleksitas Bahasa: Variasi dalam bahasa dan dialek dapat

menyulitkan sistem untuk mengenali ucapan dengan akurat.

• Derau Latar Belakang: Suara latar belakang dapat

mengganggu dan mempengaruhi keakuratan pengenalan
ucapan.

• Variasi Individu: Setiap individu memiliki karakteristik suara

yang unik, yang dapat mempengaruhi kinerja sistem
pengenalan ucapan.
3. Sintesis Ucapan (Speech Synthesis):
Sintesis ucapan memungkinkan komputer untuk berbicara kepada pengguna, menciptakan
interaksi yang lebih alami.

Masalah dalam Sintesis Ucapan

• Pengguna sangat peka terhadap perbedaan nada dan intonasi, sehingga
kesalahan dalam sintesis ucapan dapat mengganggu pengalaman
pengguna.
• Lingkungan yang bising atau penggunaan headphone dapat mempengaruhi
kualitas interaksi.
4. Aplikasi Speech dalam Antarmuka
• Aksesibilitas: Speech sangat bermanfaat bagi pengguna dengan disabilitas,
seperti tunanetra, yang dapat menggunakan pembaca layar untuk
mendengarkan teks yang ditampilkan.
• Interaksi yang Lebih Alami: Pengguna yang tidak terbiasa dengan
teknologi dapat merasa lebih nyaman menggunakan ucapan sebagai metode
interaksi, karena mencerminkan cara komunikasi sehari-har
Jenis-Jenis Non-Speech Sound
Suara non-verbal atau non-speech sound memiliki peran penting dalam interaksi manusia dan
komputer. Berikut adalah penjelasan mengenai jenis-jenis non-speech sound dan manfaatnya:

1.Keuntungan Suara Non-

Verbal
• Suara non-verbal dapat diserap lebih cepat dibandingkan dengan
ucapan. Ini karena suara non-verbal tidak bergantung pada bahasa
tertentu, sehingga dapat lebih mudah dipahami oleh berbagai
kelompok bahasa.

• Suara non-verbal dapat memanfaatkan fenomena penyesuaian

pendengaran, di mana suara latar diabaikan kecuali jika ada
perubahan yang signifikan.

• Audio non-verbal dapat memberikan representasi tambahan dari

tindakan dan objek pada antarmuka, mendukung pemahaman visual
dan ketegasan pengguna.
2. Jenis-Jenis Non-Speech Sound

A. Soundtrack
• Soundtrack adalah contoh antarmuka audio yang dirancang untuk pengguna tunanetra.
Elemen visual disajikan dengan analog pendengaran, di mana setiap elemen memiliki nada
yang berbeda. Misalnya, saat kursor berada di dalam sel tertentu, nada yang berbeda akan
dipancarkan, membantu pengguna menavigasi sistem.

B. Auditory Icons
• Ikon audio menggunakan suara alami untuk mewakili berbagai objek dan tindakan di
antarmuka. Contohnya, suara pecahan kaca dapat digunakan untuk menunjukkan bahwa
sesuatu telah dihapus atau dibuang. Pendekatan ini memanfaatkan pemahaman manusia
terhadap sumber dan perilaku suara.

C. Earcons
• Non-speech sound dapat meningkatkan pengalaman pengguna dengan memberikan umpan
balik yang cepat dan intuitif. Penggunaan suara yang tepat dapat membantu pengguna
dalam menavigasi antarmuka dengan lebih efisien dan memahami tindakan yang dilakukan.
3. Pentingnya Non-Speech Sound
• Non-speech sound dapat meningkatkan pengalaman pengguna dengan
memberikan umpan balik yang cepat dan intuitif. Penggunaan suara yang
tepat dapat membantu pengguna dalam menavigasi antarmuka dengan
lebih efisien dan memahami tindakan yang dilakukan.

Dengan demikian, suara non-verbal memainkan peran penting

dalam interaksi manusia dan komputer, memberikan alternatif yang
efektif untuk komunikasi verbal dan meningkatkan aksesibilitas
serta pengalaman pengguna secara keseluruhan.
Konsep Text, Hypertext, Hypermedia dan
Teknologi Multimedia
Teknologi informasi telah mengalami transformasi signifikan dalam cara kita
mengakses, membuat, dan berbagi informasi. Slide ini akan menjelaskan
konsep fundamental dalam perkembangan media digital.

1.Tulisan Tangan (Handwriting

Recognition)
Pengenalan tulisan tangan adalah proses mengubah tulisan manual menjadi
data digital yang dapat diproses komputer.

Karakteristik Utama:
• Teknik digitasi mengubah gerakan pena menjadi koordinat digital
• Kecepatan pemindaian: 1/50 detik
• Variasi tulisan tangan antar individu
• Tantangan dalam pengenalan pola tulisan yang berbeda-beda
2. Text (Teks)
Teks adalah format keluaran informasi tradisional dengan struktur linear yang
mengikuti alur cerita klasik.

Karakteristik Penting:
• Memiliki struktur awal, pertengahan, dan akhir
• Mengikuti pola naratif tradisional
• Bersifat sekuensial dan berurutan
• Cocok untuk penyampaian informasi terstruktur

3. Hypertext
Hypertext adalah sistem penyajian informasi dalam jaringan non-linear yang
memungkinkan eksplorasi dinamis.

Fitur Utama:
• Struktur informasi berbentuk jaringan, bukan garis
• Memungkinkan navigasi bebas antar bagian dokumen
• Mengintegrasikan berbagai jenis media
• Fleksibilitas dalam menjelajahi informasi
4. Hypermedia
Hypermedia adalah pengembangan hypertext yang mengintegrasikan berbagai
jenis media dalam satu sistem informasi.

Karakteristik
• Menggabungkan teks, video, audio, dan grafis
• Tujuan utama untuk edukasi
• Memungkinkan pengalaman informasi interaktif
• Tantangan: risiko tersesat dalam ruang informasi

5. Animasi
Animasi adalah teknik menambahkan gerakan pada elemen visual untuk
meningkatkan interaktivitas.

Contoh dan Karakteristik

• Mengubah gambar statis menjadi elemen dinamis
• Contoh sederhana: animasi jam pada antarmuka
• Memberikan informasi tambahan melalui gerakan
• Meningkatkan pengalaman pengguna
6. Video Digital
Video digital adalah representasi gambar bergerak dalam format digital yang
dapat disimpan dan diakses dengan mudah.

Teknologi Utama:
• Compact Disc (CD) sebagai media penyimpanan
• Metode kompresi video
• Contoh: QuickTime Apple
• Memungkinkan penyimpanan multimedia dalam volume besar

7. Computer Vision
Computer vision adalah teknologi yang memungkinkan komputer menganalisis
dan memahami konten visual.

Kemampuan Utama:
• Mengekstraksi informasi dari gambar
• Melakukan pengukuran objektif
• Menginterpretasi visual secara otomatis
• Mengembangkan algoritma pengenalan pola
8. Gesture Recognition
Pengenalan gerakan adalah teknologi untuk menerjemahkan gerakan manusia
menjadi perintah komputer.

Metode Interaksi:
• Layar sentuh
• Pengenalan gerakan tangan
• Teknologi berbasis suara
• Antarmuka gerak tubuh

9. Computer Vision
Computer vision adalah teknologi yang memungkinkan komputer menganalisis
dan memahami konten visual.

Kemampuan Utama:
• Mengekstraksi informasi dari gambar
• Melakukan pengukuran objektif
• Menginterpretasi visual secara otomatis
• Mengembangkan algoritma pengenalan pola
Peran Sistem Multimedia dan Multimodal untuk
Penyandang Disabilitas
1.Tunanetra
⚬ Pembaca Layar: Teknologi yang mengonversi teks menjadi suara.
⚬ SonicFinder: Sistem berbasis suara untuk membantu navigasi dan
pengenalan objek.

2.Disabilitas Fisik
⚬ Input Suara: Mengontrol perangkat melalui perintah suara.
⚬ Pengenalan Gerakan: Sistem yang mendeteksi gerakan untuk navigasi.
⚬ Sistem Prediksi: Contoh: keyboard interaktif untuk membantu mengetik.

3.Disabilitas Belajar (Misalnya, Disleksia)

⚬ Berbicara Dalam dan Luar: Teknologi yang membantu pemrosesan
bahasa untuk meningkatkan pemahaman dan komunikasi.
 KESIMPULA
N
Teknologi sensor input, sistem multimodal, dan multimedia berperan penting dalam menciptakan
pengalaman interaksi manusia-komputer (IMK) yang inklusif dan adaptif. Dengan memanfaatkan
suara, teks, gerakan, serta penggabungan berbagai media seperti teks, audio, grafik, dan video,
sistem ini mampu meningkatkan aksesibilitas dan kemudahan penggunaan, terutama bagi
penyandang disabilitas. Selain itu, inovasi seperti pengenalan dan sintesis ucapan memungkinkan
interaksi yang lebih alami tanpa keyboard, sementara suara non-verbal seperti auditory icons dan
earcons memperkaya pengalaman antarmuka.

Dalam aplikasi praktis, sistem multimedia sangat mendukung kebutuhan khusus, seperti membantu
tunanetra melalui pembaca layar atau mendukung pengguna dengan disabilitas fisik melalui
pengenalan gerakan. Teknologi realitas virtual (VR) juga menjadi pelengkap yang signifikan, dengan
perangkat seperti headphone, DataGlove, dan Eyegaze yang menciptakan pengalaman interaktif dan
imersif. Dengan pendekatan yang responsif terhadap kebutuhan pengguna, sistem berbasis sensor
ganda ini menjadi fondasi untuk menciptakan antarmuka yang lebih inovatif, efisien, dan inklusif.
TERIMA
KASIH
Maaf bila ada yang salah dan
kurang, karena manusia itu
tempatnya salah dan lupa,
wajarlah manusia, bukan Nabi BOY
-el kata-kata hari ini