KATA PENGANTAR

Rasa puji dan rasa syukur yang sedalam-dalamnya penulis aturkan kepada
kehadirat Allah SWT yang telah memberikan rahmat dan karunianya kepada
penulis,sehingga penulis dapat menyelesaikan makalah interaksi manusia dan
komputer yang berjudul Sistem bersendor ganda.Guna untuk memenuhi salah satu
tugas terstruktur mata kuliah interaksi manusia dengan computer.
Kemudian shalawat berangkaikan salam penulis sampaikan kepada allah SWT
kiranya dilimpahkan kepada arwah junjungan kita nabi besar Muhammad SAW,yang
telah berjuang mati-matian hingga tetes darah penghabisan demi untuk menegakkan
kalimat Laailahaillallah di permukaan bumi ini.Semoga kita senantiasa menjalani
hidup dengan pencerahan allahi dan ajaran Rasulullah SAW.
Ucapan terima kasih tidak lupa pula kami ucapkan kepada bapak ERIL
SYAHMAIDI, Spd, Mpd selaku dosen pembimbing yang telah melakukan dan
memberi bimbingan baik secara lansung maupun tidak lansung dalam penyelesaian
makalah ini. Dan tidaklupa pula kepada teman-teman,yang telah membantu kami
dalam pembuatan makalahini.
Dalam pembuatan makalah ini kami menyadari bahawa kami masih banyak
memiliki kekurangan. Oleh sebab itu berharap adanya kritik dan saran untuk
memperbaiki pembutan makalah selanjutnya. Terima kasih.
 BAB I PENDAHULUAN
1.1 Latar Belakang Masalah
Dalam perkembangan teknologi terutama dalam dalam bidang informatika saat
ini, manusia semakin mudah dalam melakukan pekerjaannya. Sistem bersensor ganda
(multi sensor) menggunakan lebih dari satu kanal sensor / interaksinya. Contoh :
suara , teks, hypertext, animasi , video, gerak isyarat, penglihatan (lewat mata), dan
lain-lain.Digunakan dalam berbagai aplikasi yang umumnya bekerja baik untuk
pengguna dengan kebutuhan spesial. Dan juga untuk kenyataan buatan (virtual
reality).
1.2 Rumusan Masalah
1. Apa yang di maksud Usable sensory inputs,multi-modal dan multi-media system?
2. Apa itu Usable sensory inputs,multi-modal dan multi-media system?
3. Apa yang di maksud Non-speech sound?
4. Apa yang di maksud Pengenalan tulisan tangan?
5. Apa yang di maksud Test,hypertext dan hypermedia?
6. Apa itu Animasi dan video?
7. Apa yang di maksud Pengenalan gerak dan komputer vision?
8. Bagaimana cara kerja aplikasi multi media system?

1.3 Tujuan Masalah

1. Menjelaskan tentang Usable sensory inputs,multi-modal dan multi-media system
2. Menjelaskan Usable sensory inputs,multi-modal dan multi-media system
3. Mengetahui yang di maksud dengan Non-speech sound
4. Mengetahui cara Pengenalan tulisan tangan
5. Menjelaskan pengertian Test,hypertext dan hypermedia
6. Menjelaskan Animasi dan video
7. Menjelaskan Pengenalan gerak dan komputer vision
8. Menjelaskan cara kerja aplikasi multi media system
 PEMBAHASAN

A. Pengertian Sistem Bersensor Ganda (Sistem Multi Sensor)

Sistem multi sensor merupakan sistem yang menggunakan lebih dari satu
chanel sensor dalam interaksinya.
Kegunaan dari sistem multi sensor ini adalah sebagai berikut:
a. Penggunaan saluran sensor secara bersamaan akan meningkatkan
bandwith interaksi antara manusia dan computer.
b. Membuat interaksi manusia-komputer menjadi seperti interaksi antara
amnesia dan lingkungannya.
Contoh : suara , teks, hypertext, animasi, video, gerak isyarat, penglihatan
(lewat mata), dan lain-lain. Digunakan dalam berbagai aplikasi yang umumnya
 bekerja baik untuk pengguna dengan kebutuhan spesial. Dan juga untuk kenyataan
buatan (virtual reality).

B. Usable sensory inputs, Multi modal & multimedia system

1. Usable Sensory Inputs

Ada lima sensor input yang dimiliki manusia yaitu berkenaan dengan
penglihatan (visual), merupakan sensor yang paling utama digunakan dalam
komunikasi. Suara (sound) digunakan terbatas pada beberapa interface. Misal, suara
beep digunakan sebagai warning. Pendengaran (hearing), digunakan dalam
kehidupan sehari-hari sehingga perluasan aplikasi ke interface dapat bermanfaat.
Rasa (taste) dan bau (smell) merupakan sensor yang paling sedikit digunakan. Kedua
sensor ini lebih digunakan untuk komunikasi. Karena hanya ada sedikit cara
mengimplementasikan device yang dapat me-generate keduanya, maka kedua sensor
ini tidak dikembangkan.

2. Multi-Modal Dan Multimedia System

Sistem multi-modal dikembangkan untuk mengambil keuntungan atas indra
alami manusia. Sistem multi-modal menggunakan lebih dari satu indra atau mode
komunikasi. Sistem ini lebih memberdayakan penggunaan auditory channel. Contoh:
indra visual dan aural : suatu text processor dapat mengucapkan kata-kata
sebagaimana ia menampilkan kata-kata tadi ke layar. Sistem multi-media
menggunakan sejumlah media yang berbeda untuk mengkomunikasikan informasi
seperti sound, video, text, grafik, icon, animasi. Sistem multimedia sering disebut
sistem multi-modal, tapi tidak selalu. Contoh : sistem pengajaran berbasis computer
yang menggunakan video, animasi, teks dan juga citra diam.

C. Perkataan (Speech) Di Interface dan Non-speech sound

1. Perkataan (Speech) Di Interface
 Perkataan (speech) di interface berguna untuk keadaan :Tangan si pembicara
sibuk, dinginkan mobilitas, mata si pembicara harus memperhatikan sesuatu, kondisi
yang keras atau terkungkung yang tidak memungkinkan penggunaan keyboard.
Speech pada interface terdapat 4 bagian yaitu:
1. Struktur perkataan (structure of speech)
2. Pengenalan perkataan (speech recognition)
3. Perkataan buatan (speech synthesis)
2. Non-speech sound (suara bukan ucapan)
Digunakan sebagai alarm dan warning, atau status information. Penampilan
informasi yang redundan dapat meningkatkan kinerja user. Contohnya, user dapat
mengingat suara yang mencerminkan icon tertentu, tapi bukan tampilan visualnya.
Ketidak jelasan satu mode dapat dipecahkan dengan mengunakan informasi
yang ditampilkan melalui media lain. Misal: speech recognition sistem juga
menggunakan kamera untuk merekam gerakan bibir. Katakata yang tidak jelas atau
frase datap dipecahkan lebih akurat dengan menggunakan informasi visual.
Perbedaan speech dan non-speech
Speech Non-Speech

Serial dan user harus mendengarkan Dapat diasosiasikan, dibutuhkan
seluruh kalimat sebelum mengerti waktu lebih pendek
maksudnya, sehingga
membutuhkan Universal (mempunyai arti yang sama
waktu yang panjang. di belahan bumi manapun.
Kita perlu memahami
dan Menyediakan informasi status.

menerjemahkan untuk mengetahui bahasa Navigasi system.
yang digunakan
Non-speech sound (suara bukan ucapan) terbagi atas 3 bagian yaitu:
a. Sountrack adalah suatu word-processor dengan sebuah interface auditory yang
didesain untuk user yang bermasalah dengan alat visualnya. Sountrack menyediakan
solusi untuk hal-hal yang berhubungan dengan pendengaran untuk menampilkan
 word-processor secara visual, walaupun hasilnya tidak semua dapat divisualisasilan
di interface.

b. Ikon Auditori (auditory icon) menggunakan suara alami untuk merepresentasikan

tipe objek dan aksi yang berbeda di interface, misalnya pada Sonic Finder, suara
benturan digunakan untuk aksi membuang sesuatu ke keranjang sampah.
Permasalahan ikon auditori adalah bahwa beberapa objek dan aksi tidak memiliki
kejelasan suara untuk mengidentifikasikannya, Pada SharedARK, sound digunakan
dalam 3 hal, yaitu :
Konfirmasi aksi
Informasi status
Petunjuk navigasi
Suara penegasan (confirmatory sound) menyediakan informasi yang redundan
yang akan meningkatkan umpan balik. Proses dan state information sound ada dalam
2 level, yaitu :
Global sound : merepresentasikan state ke seluruh system dan dapat didengar dari
mana saja.
Local sound : spesifik untuk eksperimen khusus dan berubah saat user mengubah 1
eksperimen ke eksperimen lain.
Informasi navigasional diletakkan di mana saja di dalam system, yang akan
terdengar keras jika user bergerak mendekat. Volumenya akan semakin pelan
bilamana user menjauh.
c. Earcons Sebuah alternatif penggunaan suara alami adalah untuk merancang synthetic
sounds. Earcons menggunakan kombinasi terstruktur dari not/nada, yang disebut
motives, untuk merepresentasikan aksi dan objek.

Ada 2 tipe kombinasi earcons:

 Compound earcons : menggabungkan motive yang berbeda untukmembuat sebuah
aksi yang spesifik. Contoh: mengkombinasikan motives "create" dan "file"
Family earcons : menampilkan coumpund earcon yang setipe. Contoh: operating
system error dan syntax error berada dalam "error" family.
Dengan cara ini earcon dapat dibuat terstruktur secara hirarki, untuk
merepresentasikan menu. Earcon dengan mudah dapat dikelompokkan dan diperbaiki
sesuai dengan komposisi dan hirarkinya. Tapi earcon susah untuk dihubungkan
dengan tugas yang spesifik di dalam interface karena ada mapping yang tidak
beraturan.

A. Pengenalan Tulisan Tangan (Handwriting Recognition)

Tulisan tangan orang per orang sangatlah bervariasi, dan tiap orang berubah-
ubah tulisan tangannya dari hari ke hari. Hal ini akan menimbulkan kesulitan untuk
sistem pengenalan, yang bekerja dengan mencoba mengidentifikasikan baris-baris
yang berisi teks, dan kemudian memilah-milah image yg di digitasi ke dalam
karakter-karakter yang terpisah.
Walaupun demikian, ketika tulisan ditulis secara individual, dengan sedikit
pemisahan, kesuksesan sistem mejadi lebih layak, walaupun sistem harus dilatih
untuk mengenali karakterisitk bermacam-macam user. Banyak solusi-solusi yang
diusahakan pada speech recognition juga dicoba pada handwriting recognition
system, dan begitu pula sebaliknya. Seperti, pengenalan keseluruhan kata,
penggunaan conteks untuk karakter-karakter yang yang memiliki banyak arti, dan
neural networks, yang dipelajari dengan contoh.
Seperti speech, tulisan tangan merupakan bentuk alami dari komunikasi.
Tulisan tangan menawarkan input tekstual dan input grafik dengan menggunakan alat
yang sama.
 Teknologi yang digunakan adalah digitizing tablet. Coretan yang dibuat
dengan pena akan ditransformasikan ke dalam seri koordinat, kira-kira 1 dalam 1/50
detik. Gerakan-gerakan yang cepat akan menghasilkan titik-titik yang lebih jarang
dibandingkan dengan gerakan-gerakan lambat.
Digitizing tablet telah diperbaiki dengan menggabungkan sebuah screen tipis
untuk menampilkan informasi, yang akan membentuk kertas elektronik (electronic
paper). Informasi yang ditulis di digitizer dapat dengan mudah di tampilkan kembali
(re-display), atau disimpan dan di re-display untuk referensi lebih jauh. Sistem akan
bermanfaat jika dapat menginterpretasikan coretan yang diberikan dan menghasilkan
text.

B. Text, Hypertext Dan Hypermedia

Text adalah format umum untuk output dan sangat berguna dalam berbagai
situasi. Output tekstual ditampilkan dalam bentuk sebuah blok teks, atau sebagai
suatu urutan halaman yang harus dibaca. Bagaimanapun menampilan teks dalam gaya
berurut, seperti halaman per halaman, adalah tidak cocok untuk browsing, karena hal
ini memaksa pembaca untuk mengikuti alur berpikir penulis. Hal ini menimbulkan
kesulitan. Misalnya ketika pembaca sedang membaca buku manual. Jika pembaca
tersebut tidak mengerti akan satu istilah dalam halam itu, ia harus mencari keterangan
atas istilahtersebut dalam halaman-halaman yang lain. Setelah itu dia baru bisa
kembali ke halaman yang tadi dan melanjutkan kegiatan membacanya.
Hypertext adalah menstrukturkan blok teks dalam pertautan atau jaringan
yang dapat ditelusuri dalam berbagai cara yang berbeda.Hypertext mencoba
membatasi keterbatasan-keterbatasan pada text dengan cara membentuk ke dalam
web screen dari pada secara baris. Cara ini membolehkan halaman-halaman yang
 berbeda diakses dari halaman yang sedang aktif, dan jika didisain dengan baik, user
akan merasa lebih mudah untuk mengikuti suatu pokok bahasan yang diingininya.
Seperti text, hypertext juga mengandung diagram, photo dan media lainnya.
Sistem seperti ini dikenal sebagai hypermedia system. Hypertext terdiri dari beberapa
halaman, dan satu set links yang digunakan untuk menghubungkan halaman-halaman
menjadi satu. Hal yang perlu digaris bawahi adalah bahwa user dapat membaca
dokumen dengan cara yang dirasa paling baik untuknya.
Hypertext dan hypermedia adalah satu jaringan simpul (disebut artikel,
dokumen, file, kartu, halaman, frame, layar) yang berisi informasi ( dalam bentuk
teks, grafik, video, sound, dll) yang dihubungkan dengan link (disebut juga cross-
reference, citation). Hypertext umumnya diterapkan untuk aplikasi teks. Hypermedia
umumnya digunakan untuk sistem yang meliputi media lainnya, terutama sound dan
video.

a. Aplikasi Hipermedia
contoh aplikasi ini adalah Hypercard yaitu dengan carameniru sebuah kartu
indeks, sehingga user dapat mencari sesuatu. Masing-masing kartu dapat menyimpan
teks, diagram, photograph, bitmap dan lain-lain. Selain itu pada kartu-kartu ini juga
terdapat tombol forward dan backward dan sebuah ikon home untuk membolehkan
user bergerak secara sekuensial.
b. Masalah pada Hipermedia
Sangatlah sulit memutuskan dengan pasti posisi seseorang di dalam hiperteks
web. Solusi untuk masalah dengan menyediakan peta dokumen hiperteks yang
mengidentifikasikan posisi seseorang. Jika informasi disajikan dalam struktur yang
lebih kompleks, terdapat kemungkinan terlewatkannya halaman-halaman tertentu
atau item-item atau informasi.
 C. Animasi Dan Video
1. Animasi
Animasi menjadi elemen yang paling biasa / lazim pada sebuah sistem. Dengan
animasi dapat membuat suatu image berpindah, berubah (alter) dan berganti pada
waktu yang bersamaan.
Contoh:
Animasi kursor
Jam
Icon jam gelas untuk menunjukkan suatu pekerjaan sedang berlangsung.
Kartun

2. Video Dan Digital Video

Penggunaan video akan memperluas potensi interface dan memberikan designer
tool/alat lain, dan cara lain untuk menampilkan informasi. Media penyimpanan digital
salah satunya adalah dalam bentuk Compact Disk (CD).
Macam-macam CD :
1. CD-I
Mempunyai video yang terbatas dan kapasitas still image.
Ditujukan untuk pasar domestic
Baik untuk full screen animation daripada untuk video work.

2. CD-XA (extended Architecture)

Pengembangan dari CD-I
Lebih mendukung audio digital dan still image
3. DVI ( Digital Video Interactive)
Menampilkan full motion video, bersaing dengan UVC (Universal Video
Communications )
 Dapat menempatkan full motion video ke dalam single CD lebih dari 1 jam, dan
teknologinya meningkatkan kompresi dan kapasitas penyimpanan sepanjang waktu.

D. Pengenalan gerak & komputer vision

1. Pengenalan Gerak
Gerakan adalah komponen IMK yang menjadi pusat perhatian dalam Multimodal
system. Dengan beberapa gerakan untuk mengkontrol komputer, adalah merupakan
suatu keuntungan pada situasi dimana tidak ada kemungkinan untuk melakukan
pengetikan atau ketika panca indera lainnya tidak bisa digunakan.
2. Komputer vision
Sistem visi yang baik memungkinkan komputer mengenali user dan membentuk
sistem yang sesuai permintaan. Salah satu aplikasi komputer visi adalah Argus. Argus
adalah salah satu aplikasi dari komputer visi yang berfungsi sebagai penjaga pintu
digital. Argus bekerja sama dengan mendeteksi wajah para tamu dan
mencocokkannya dengan data yang ada. Argus bekerja secara otomatis. Jika wajah
yang akan memasuki pintu tidak dikenal maka pintu tidak akan terbuka, kecuali
sistem keamanan telah diberi perintah terlebih dahulu. Argus biasanya dipakai pada
kantor-kantor atau apartemen mewah.
Computer vision sistem cenderung berdasar pada pendekatan bottomup dimana
image-image diperlakukan sebagai satu set pixel yang secara progresif dianalisa
untuk mengambil inti dari artinya. Satu set tertentu dari proses akan dapat mengambil
input image dan memprosesnya untuk menghilangkan noise.

E. Aplikasi Multi-Media System

1. Interface Untuk User Dengan Kebutuhan Khusus
Penelititan interface untuk user dengan kebutuhan-kebutuhan khusus terfokus
pada penyediaan sistem interaksi bagi mereka yang kebutuhannya tidak disediakan
 oleh komputer standard. Biasanya hal ini karena interface menggunakan saluran input
atau ouput yang tidak dapat digunakan dengan efektif oleh user. Berkembangnya
penggunaan graphical interface mengurangi kemungkinan bagi user yang mengalami
kerusakan visual/penglihatan.
Standard interface saat ini adalah graphical interface. Karena interface yang
berkembang saat ini banyak menggunakan gambar-gambar/grafik, maka akses ke
komputer bagi user yang mengalami kesulitan penglihatan malah berkurang. Hal ini
disebabkan output dalam bentuk Braille tidak dapat digunakan untuk
merepresentasikan gambar. Beberapa sistem mencoba untuk menyediakan akses ke
graphical interface untuk kelompok user ini, dengan cara menambahkan suara ke
interface. Sistem seperti ini telah sukses, tapi memiliki kekurangan ketika
menghadapi banyak data yang harus direpresentasikan.
Untuk user yang mengalami gangguan bicara dan pendengaran, multimedia
sistem menyediakan beberapa alat komunikasi, termasuk synthetic speech dan
komunikasi berdasarkan teks dan conferencing sistem.
Speech input dan output adalah salah satu pilihan bagi yang tidak mengalami
gangguan bicara. Alternatif lain adalah sistem Eyegaze yang mengikuti gerakan mata
untuk mengontrol kursor, atau driver keyboard yang dipasang di kepala user. Jika
user tidak dapat mengontrol gerakan kepala, gerakan isyarat dan movement tracking
dapat gunakan oleh user sebagai alat kontrol. Jika user mempunyai keterbatasan
menggunakan keyboard, sebuah sistem yang dapat memprediksi (predictive system)
seperti Reactive keyboard, dapat menolong, dengan cara mengantisipasi command-
command yang aka diketik dan menawarkan perintah itu untuk dieksekusi. Ini dapat
menyingkat pengetikan kata. Perkiraan itu didasarkan atas apa yang telah user ketik
sebelumnya, seperti dalam Excel.

2. Virtual Reality
 Virtual reality berhubungan dengan simulasi yang diciptakan computer atas
suatu situasi dimana user seolah-olah berada dalam situasi itu. VR ini merupakan seni
dalam Multi-Media System tapi lebih ditekankan pada sensasi visual.
Sebagai input, digunakan sarung tangan yang dapat memberikan informasi
berdasarkan gerakan. Umpan balik dapat disertakan ke sarung tangan tersebut,
sehingga seolah-olah user dapat merasakan hentakan ketika menggenggam sesuatu
objek. speech recognition system dapat juga diikutsertakan dan secara umum VR-
system dilengkapi oleh audio feedback.
Salah satu aplikasi dari VR adalah :
1. Permainan 3 dimensi.
2. Data visualization, umumnya digunakan pada bidang kimia protein.
3. Simulasi penerbangan (merupakan aplikasi VR secra interaktif ) : yang menunjukkan
dunia di luar, pada saat yang bersama, komplit direproduksi secara tepat di dalam
kotak animasi yang menggunakan system hidrolik.
Hologram juga merupakan salah satu wujud dari realitas virtual. Hologram
dibuat beranekaragam, dari bentuk manusiia, benda-benda lain, yang divisualkan
dengan menggunakan suatu alat yang menampilkan hologram tersebut. Begitu juga
dengan permainan 3 dimensi.