01 Multimedia Digital PDF

TKE 258
MULTIMEDIA
PENGANTAR MULTIMEDIA:
DIGITALISASI & KOMPRESI
Created by : Herman Tolle, ST., MT.

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.
Teknik Elektro Universitas Brawijaya
Definisi Multimedia
MULTIMEDIA berasal dari dua kata MULTI dan MEDIA.
MULTI dalam bahasa latin berarti banyak atau
bermacam-macam, sedangkan MEDIUM berarti sesuatu
yang dipakai untuk menyampaikan atau membawa
sesuatu.
Kamus American Heritage Electronic Dictionary:
MEDIUM : alat untuk mendistribusikan dan
mempresentasikan informasi.
Multimedia dapat diartikan sebagai penggunaan
beberapa media yang berbeda untuk menggabungkan
dan menyampaikan informasi dalam bentuk text,
audio, grafik, animasi, dan video.
Definisi
Kombinasi dari komputer dan video (Rosch, 96)
Kombinasi dari 3 elemen: suara, gambar, dan teks (McComick, 96)
Kombinasi dari paling sedikit dua media input atau output. Media
ini dapat berupa audio (suara, musik), animasi, video, teks, grafik
dan gambar (Turban dkk, 2002)
Alat yang dapat menciptakan presentasi yang dinamis dan
interaktif yang mengkombinasikan teks, grafik, animasi, audio dan
video (Robin dan Linda, 2001)
Multimedia dalam konteks komputer menurut Hofstetter (2001)
adalah: pemanfaatan komputer untuk membuat dan
menggabungkan teks, grafik, audio, video, dengan menggunakan
tool yang memungkinkan pemakai berinteraksi, berkreasi, dan
berkomunikasi.
Sedangkan menurut wikipedia.org: Multimedia is the use of
several different media to convey information (text, audio,
graphics, animation, video, and interactivity). Multimedia also
refers to computer data storage devices, especially those used to
store multimediantent
What it is Multimedia
Multimedia is, (in theory), the seamless
integration under computer control of any
text, sound, still and animated images, and
motion video. The computer enables this mix
of media to be interactive, as opposed to
current broadcasting and publishing practices
which for the most part are aimed at a passive
audience. In other words, while broadcasting
and publishing are essentially one-way,
interactive multimedia by its very nature
demands active participation.
Multimedia Systems
A technology of use and
integration of different
media, such as
Text
Graph/Image
Speech
Audio
Video
Animation
Multimedia System Cores

Computing
Communications
System/
Integration
Signal Processing
Multimedia Applications
Education
Health Care
Consumer Electronics
Geographical IS
Navigational Systems
Business and Finance
High Quality
Communications
Digital Libraries
Entertainment
Telecommuting
Publishing
Virtual Reality
Commercial Electronics
Cooperation
[Gray97]
Education
Information Access
Teaching Tools
Interactive Teaching
Distance Learning
Health Care
Biomedical data
acquisition,
transmission,
storage,
interpretation
Diagnosis aids
Tele medicine
Collaboration Environment
Media Processing and Integration

Text and Graph
Compression
Speech, audio,
image, and video
processing and
coding
Joint audio visual
coding
Hypermedia, 3D, VR
processing
Multimedia System Design and Implementation
Parallel DSP architecture

ASIC design
DSP Software and
hardware design
Sound and Display devices
and peripherals
Storage technology
System integration
Application Developers
Design houses
Software developers
Applications market
systems
Pengaruh Media terhadap Memory Recall
90
80
70
60
50
40
30
20
10
0
% Recall
Prosentase dari Fakta

yang dapat diingat
Membaca Mendengar
Melihat
Treichler (1967)
Mdengar
dan
melihat
Saying
and
Doing
Multimedia: ART Joins BRAIN

Merging of advanced digital and analog technology
Analog Domain
Analog or
Real-World
Signals
Analog
Signal
Processing
Digital Domain
A/D
D/A
Converter
Technology
Provides
the
Bridge
Digital
Signal
Processing
Digital or
Computer
-World
Signals
[ICE 1997]
Digital Media System Diagram

Media:
Speech
Audio
Images
Video
Channel:
Internet, Broadcast, Point-to-Point,
Telephone, Satellite, Cable, Wireless
Media
Digital Bit
A/D
Converter
Compression
Encoder
Transmitter /
Encoder /
Recorder
Media
Digital Bit
Media
Bitstream
Compression
Decoder
Storage:
CD, VCD, DVD, HD, Tape
Media:
Speech
Audio
Images
Video
D/A
Converter
Receiver /
Decoder /
Player
A/D converter mengubah sinyal multimedia menjadi bit digital

Bit digital adalah representasi digital dari sinyal media
Enkoder kompresi mengurangi jumlah bit representasi tanpa
menghilangkan konten media
Bitstream adalah bit digital kompak hasil kompresi
Dekoder kompresi merekonstruksi bit digital kembali dari bitstream
D/A converter mengubah bit digital menjadi sinyal multimedia
Digitisasi Media
Mengubah Media Menjadi Bit Digital
Digital Multimedia
All data is now numeric: Images, video and
sound is digitized into numbers.
Digital data can be processed in a computer
into compressed formats.
Data is stored on disk (rather than VHS tapes
or audio cassette
Data is transmitted digitally with additional
information to help correct errors
Konsep Sinyal Analog

xa (t ) = A cos(t + ); < t <
xa(t)
A
Tp =
1
F
Acos
t
xa (t ) = A cos(2Ft + ); < t <

A: Amplituda
: Frekuensi
Radian
F: Frekuensi
Hertz
: Fasa
Konsep Sinyal Digital
x(n) = A cos(n + ); < n <

x(n)
A
Acos
n
x(n) = A cos(2fn + ); < n <

A: Amplituda
: Frekuensi
Radian
f: Frekuensi Hz
: Fasa
Konversi Analog-Digital
Sinyal analog
Sampling, dengan Fs
= 1/T
x(n) = xa (t ) |t = nT = xa (nT )
Filter
Sampling Waktu Diskrit
Kuantisasi
x(n) = xa (t ) |t = nT = xa (nT ) Kuantisasi
Koding
2b L
Nilai Diskrit
Koding
Digital
Konversi Analog-Digital
Data Analog -> Sinyal Digital

Dua teknik dasar yang digunakan
PCM (Pulse Code Modulation)
DM (Delta Modulation)
Sampling clock PAM signal
Analog
voice signal
Sampling
Circuit
PCM signal
Quantizer
and compander
Digitized
voice signal
Blok diagram proses konversi bentuk gelombang

analog ke data digital
Fs samples/sec
xa(t)
Sampling
Continuous time
Continuous amplitude
N levels/sample
Quantizing
x[n]
Discrete time
Continuous amplitude
N = 2B
Bit Rate = Fs . B bits/sec
x[n ]
xq[n]
B bits/sample
Encoding
c[n]
Discrete time
Discrete (integer)
amplitude
Discrete time
Discrete (real) amplitude
Sampling Sinyal Suara (Speech)

Teorema Sampling Nyquist
Fs
2. Fmax
Untuk kualitas suara pada telepon
Fs = 8 KHz
A typical telephone transmission path
dB
+10
0
-10
0
1000
2000
3000
4000
Hz
Pulse Code Modulation (PCM)
Original signal
PAM pulse
PCM pulse
with quantized error
3.2
2.8
3.4
4.2
1.2
4
1
011
PCM output
3.9
100
011
011
001
100
011100011011001100
Pulse Code Modulation (PCM)

Teorema sampling Nyquist menjamin sample data
mengandung semua informasi dari sinyal orisinal
Voice data (speech) limited to below 4000Hz
Membutuhkan 8000 sample per detik
Sistem telepon dapat mendigitalisasi voice dengan 128
level atau 256 level.
Level-level tersebut disebut level kuantisasi
Jika128 level, maka bit tiap sampel = 7 bits (2 ^ 7 = 128).
Jika 256 level, maka bit tiap sampel = 8 bits (2 ^ 8 = 256).
8000 samples/sec x 7 bits/sample = 56Kbps for a single voice
channel.
8000 samples/sec x 8 bits/sample = 64Kbps for a single voice
channel.
Raw Digital Audio

AUDIO: a sequence of
microphone readings on
several channels.
Readings (samples) are
normally taken at 11000,
22K or 44K per second and
may be 8, 12 or 16-bit values.
Q: Berapa banyak memori dibutuhkan untuk
menyimpan rekaman audio selama 5 menit dengan
menggunakan 2 channel dan 16 bit per sample?
Raw digital Audio ..

KB = 1024 bytes MB = 1,048,576 bytes
GB = 1,073,741,824 bytes
Jika: Fs = 11000 Hz
Nsampel = 5 (menit) x 60 (detik/menit) x 11000 (sampel/detik) =
3.300.000 sampel
Nbit = 16 (bit/sampel) x 3.300.000 sampel = 52.800.000 bit =
6.600.000 byte = 6,295 MB
Nbit Stereo (2 channel) = 6,295 MB x 2 12,6 MB
Jika: Fs = 44100 Hz
Nsampel = 5 (menit) x 60 (detik/menit) x 44100 (sampel/detik)
= 13.230.000 sampel
Nbit = 16 (bit/sampel) x 13.230.000 sampel
= 211.680.000 bit = 26.460.000 byte 25,234 MB
Nbit Stereo = 25,234 MB x 2 50,468 MB satu lagu pada CD audio
Tutorial tambahan : https://courses.engr.illinois.edu/ece110/fa2015/content/courseNotes/files/?samplingAndQuantization
Raw Digital Audio ..

Makin besar FS, makin baik kualitas
rekaman audio, makin banyak jumlah bit
yang dibutuhkan!
Makin besar jumlah bit / sampel, makin
baik kualitas rekaman audio, makin
banyak jumlah bit yang dibutuhkan!,
demikian pula sebaliknya
Kualitas Audio Digital adalah linear
dengan kebutuhan memori!
Jika sebuah lagu pada

CD Audio 50 MB,
sementara lagu yang sama

dengan format MP3 5 MB
TANYA
KENAPA?
Citra Digital
Berbeda dengan ucapan
dan musik, sinyal gambar
dikenal sebagai sinyal
intensitas dua dimensi.
Size: 300x400, 24 bpp colour,

BMP: 360.000 byte; JPG:49.504 byte
Raw Digital Images

A raw camera image is an array of colored
dots (pixels). An RGB image has 3 color
components: RED, GREEN, BLUE
The image size is the total number
of pixels.
Q: what is the size of an image of
320 x 240 pixels?
The pixel value is made from 3 numbers being the amount
(intensity) of each RGB color component (normally 8 bits).
The image file size is the total number of bytes of pixel data
Q: what is the file size of an RGB image of 320x240 pixels?
(assume RGB pixels are 3x8 = 24-bit color)
We can alter the image by changing the pixel values
Sampling Citra Digital

Gambar Ukuran
Lebar x Tinggi
Resolusi DPI =
(N x M) / (Lebar
x Tinggi)
Gambar Digital
N x M pixels
A Picture
Elemen
(pixel)
Tinggi
M
Baris
Lebar N Kolom
Batas Baris Baru
N x M sampel file
Sinyal Video Digital
Time Index 1
9
Time Index 11
Sinyal video digital adalah kumpulan citra

digital (disebut frame) yang di tayangkan
secara berurut menurut indeks waktu.
Pengaruh Frame Per Detik

Semakin banyak fps,
semakin mulus
transisi gerak,
sehingga gambar
semakin hidup.
Tetapi akibatnya
semakin besar jumlah
bit yang diperlukan.
Tipikal jumlah frame
per detik (fps) adalah
5 fps, 30 fps, dan 60
fps, untuk
videophone, TV, dan
HDTV
fps
Dim
256 x 256
24 bpp
Mbps
7.8
25
256 x 256
24 bpp
39.3
30
256 x 256
24 bpp
47.2
60
256 x 256
24 bpp
94.4
Raw Digital Video

VIDEO: a timed sequence of images (eg 25 frames/sec)
Raw video data consists of RGB images.
Q: What is the data rate of RGB
video at 25 frames/sec. Each
frame being 320x240 pixels?
(assume 24 bit color)
Q: How much video time (secs) can
be stored on a 4 gigabyte disk?
It should be clear why we need compress video for
transmission.
Sinyal Video Digital

Time
Index
1
Time
Index
L
N x M pixel /
frame
B bit/pixel
N x M x L x B bits video file
Digital Disadvantages
Much more complex than analog systems
Much more raw data
Requires very high speed processing
More processing steps
Transmission data errors => serious
damage
How we overcome the problems

System complexity => most functions in
software
Compress raw data => maths + software
High speed processing => digital technology
More processing steps => software + memory
data errors => corrected by maths + software
software => algoritma
Digital Advantages
Compression => more data /channel
Processing costs: analog but digital
Complexity costs: analog but digital
Kompresi Bit-Bit Media

Menghemat Bit Untuk Multimedia
Tujuan Kompresi Multimedia

Tujuan Utama
Untuk menghemat penggunaan bit bagi
representasi digital yang efektif dari sinyal
multimedia
Sinyal Multimedia
Ucapan, audio/musik, citra, video, dll
Aplikasi
Komunikasi, Internet, Broadcasting, Storage
Apa itu Kompresi

Suatu teknik pemampatan data sehingga
diperoleh file (jumlah bit) dengan ukuran
yang lebih kecil daripada ukuran aslinya.
Kompresi bekerja dengan mencari polapola perulangan (redundansi) pada data
dan menggantinya dengan sebuah
penanda tertentu.
Kompresi
Ada dua jenis metode kompresi, yaitu
non-lossy (Lossless) dan lossy.
Kompresi yang bersifat non-lossy tidak
menghilangkan informasi-informasi dalam
file asli sehingga cocok diterapkan untuk
file dokumen.
Sebaliknya, metode lossy menghilangkan
informasi yang dianggap tidak signifikan.
Lossless Data Compression

Original data
Compressed data
Compressor
Decompressor
Reconstructed
data
Principle
Reconstructed = Original
Exploit property that some bit sequences more common than
others
Time (compress/decompress) Space (data size) tradeoff
Lempel-Ziv encoding
Build up table of frequenctly occurring sequences
E.g., Unix compress (.Z), DOS Gzip (.zip)
Achieve compression ratio ~ 2:1 (text, code, executables)
Huffman Encoding
Assign shorter codes to most frequent symbols
Kompresi Lossless (Non-Lossy)
Kompresi
Non-Lossy
Loseless
Teknik kompresi dimana data hasil kompresi
dapat didekompres lagi dan hasilnya tepat sama
seperti data sebelum proses kompresi. Contoh
aplikasi: ZIP, RAR, GZIP, 7-Zip
Teknik ini digunakan jika dibutuhkan data
setelah dikompresi harus dapat diekstrak/
dekompres lagi tepat sama.
Contoh pada data teks, data program/biner,
beberapa image seperti GIF dan PNG.
Lossy Compression
Original data
Compressed data
Compressor
Decompressor
Reconstructed
data
Reconstructed data approximates original

Want compression ratios 10:1
Tradeoffs
Time vs. space
Space vs. quality
Greater compression possible if looser approximation allowed
Application Dependent
Exploit characteristics of human perception
Examples
Eyes sensitivity to color variations less than to brightness
Kompresi Lossy
Kompresi
Lossy
Lossy
Teknik kompresi dimana data hasil dekompresi tidak
sama dengan data sebelum kompresi namun sudah
cukup untuk digunakan. Contoh: Mp3, streaming
media, JPEG, MPEG, dan WMA.
Kelebihan: ukuran file lebih kecil dibanding loseless
namun masih tetap memenuhi syarat untuk digunakan.
Biasanya teknik ini membuang bagian-bagian data yang
sebenarnya tidak begitu berguna, tidak begitu
dirasakan, tidak begitu dilihat oleh manusia sehingga
manusia masih beranggapan bahwa data tersebut masih
bisa digunakan walaupun sudah dikompresi.
Teknik Kompresi
Untuk memperoleh hasil kompresi yang
baik, kita tidak hanya harus memahami
bentuk data dan representasi biner-nya,
tetapi juga memahami bagaimana
manusia menginterpretasi bentuk data
aslinya.
Misalnya:
bagaimana manusia melihat gambar?
bagaimana manusia mendengar suara?
Kompresi: Penghematan Bit

Media
Laju Bit
Tanpa Kompresi
Dengan Kompresi
Ucapan (8 ksps, 8 bit per sample)
64 kbps
2-8 kbps
Slow Motion Video (10 fps) 176 x 144,

24 bpp
6.08 Mbps
8 16 kbps
Audio Conference (8 ksps, 16 bit per

sample)
128 kbps
6 64 kbps
Video Conference (15 fps) 352 x 288, 24 36.5 Mbps

bpp
64 768 kbps
Digital Audio Stereo (44.1 ksps, 16 bit

per sample)
1.5 Mbps
128-768 kbps
MPEG VCD (30 fps) 352 x 288, 24 bpp
72.99 Mbps
1.5 4 Mbps
Broadcast MPEG (30 fps) 720 x 480, 24

bpp
248.33 Mbps
3 8 Mbps
HDTV (59.94 fps), 1280 x 720, 24 bpp
1.33 Gbps
20 Mbps
Apa Standart Yang Ada?

Media
Algoritma
Contoh Standar Kompresi
Teks dan
Data
RLE, Statistikal, Entropi
Huffman, Arithmetic, MNP5,

MNP7, LZW, ZIP, ARJ
Ucapan
LPC, Hybrid, Waveform Coding
ADPCM, G.723.1, LPC-10, G.

729, GSM, VSELP, CELP
Musik
Subband Coding
MPEG, AAC, Dolby, MP3
Citra
PCM, DPCM, SQ, VQ, Fractal,

Transform Coding, Subband
Coding, Wavelet, DCT
JPEG, EZW, SPIHT, JPEG2000
Video
Hybrid Coding, Motion

Estimation
H.261, H.263, MPEG-1, MPEG

2, MPEG-4
Summary
Teknologi multimedia adalah the nextrevolution
Kuncinya adalah digitisasi media
Kompresi harus dilakukan untuk efisiensi
media penyimpanan maupun transmisi
It is just a beginning ..
Tugas
1. Buat file BMP dengan ukuran tertentu (maks
400x400). Hitung jumlah bit yang dibutuhkan dan
buktikan dengan ukuran file yang terjadi. (Header
BMP = 54 byte )
2. Buat file WAV dengan merekam suara/audio (maks 5
detik). Hitung jumlah bit yang dibutuhkan dan
buktikan dengan ukuran file yang terjadi. (Header
WAV = 40 byte )
3. Soal latihan Raw Digital Video
Delivery: Send to email dan Upload to VLM, format sesuai
aturan, all file zipped
Deadline: 1 minggu
Rule: Different sample between student (No.1&2)!
Referensi

01 Multimedia Digital PDF

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

01 Multimedia Digital PDF

Diunggah oleh

Hak Cipta:

Format Tersedia

TKE 258

Created by : Herman Tolle, ST., MT.

Teknik Elektro Universitas Brawijaya

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

Teknik Elektro Universitas Brawijaya

Teknik Elektro Universitas Brawijaya

Teknik Elektro Universitas Brawijaya

Multimedia System Cores

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

Media Processing and Integration

Teknik Elektro Universitas Brawijaya

Multimedia System Design and Implementation

Parallel DSP architecture

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

Pengaruh Media terhadap Memory Recall

Prosentase dari Fakta

Teknik Elektro Universitas Brawijaya

Multimedia: ART Joins BRAIN

Digital Media System Diagram

A/D converter mengubah sinyal multimedia menjadi bit digital

Teknik Elektro Universitas Brawijaya

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

Konsep Sinyal Analog

xa (t ) = A cos(2Ft + ); < t <

Teknik Elektro Universitas Brawijaya

Konsep Sinyal Digital

x(n) = A cos(n + ); < n <

x(n) = A cos(2fn + ); < n <

Teknik Elektro Universitas Brawijaya

x(n) = xa (t ) |t = nT = xa (nT ) Kuantisasi

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

Data Analog -> Sinyal Digital

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

Blok diagram proses konversi bentuk gelombang

Teknik Elektro Universitas Brawijaya

Sampling Sinyal Suara (Speech)

A typical telephone transmission path

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

Pulse Code Modulation (PCM)

TKE 258 MULTIMEDIA HERMAN TOLLE, ST., MT.

Teknik Elektro Universitas Brawijaya

Pulse Code Modulation (PCM)