Universitas Gunadarma
&
Universit du Qubec en Outaouais
Qubec - Canada
Sinyal audio :
Sinyal video :
1
Pokok bahasan :
Perkuliahan :
2
Pendahuluan
Sistem multimedia?
Suatu sistem yang dapat mensuport secara
terintegrasi penyimpanan, transmisi dan representasi
sejumlah media discret (digital) berupa text, grafik,
citra, audio dan video melalui komputer
3
Tipe media digital :
Media yang bersifat Time-Independent
Information/data bukan merupakan fungsi waktu
teks
grafik (grafik komputer)
citra (photo).
4
Karakteristik sistem multimedia :
Secara terintegrasi
- Pembuatan,
- Pemrosesan,
- Penyimpanan,
- Representasi,
- Transmisi
Dokumen multimedia yang bersifat time-dependent
dan time-independent
Dokumen multimedia :
Teks
Citra Audio
Video
5
Dokumen multimedia :
Suatu dokumen yang berisikan dua atau lebih
elemen-elemen multimedia (media) dari sumber
yang berbeda ( teks, citra, video, audio, )
Contoh :
Suatu reportase pada siaran televisi akan susah difahami jika
komentar seorang jurnalis memiliki delay waktu terhadap
video dan/atau juga terhadap ilustrasi grafik yang ditayangkan.
Sinkronisasi intra-objets
Sinkronisasi inter-objets
6
Application Robotik :
Penciuman
(bau)
pendengaran
(audio & Perasa
musique) (rasa)
7
Video game :
8
Simulasi penerbangan :
9
Virtual reality
10
Data/informasi multimedia :
Audio digital
Digitizer :
- Sampling
- Quantization
video digital
Signal video analog
PAL/SECAM
- 25 frame/second
- 576 lines useful/frame
CNST
- 30 frame/second
- 483 lines useful / frame
11
Representasi data numerik/digital
Digitizer : - Digitalisasi signal analog/continu menjadi
signal digital/diskret
- Melalui proses sampling dan quantization
(kuantisasi) yang dilakukan secara bersamaan.
Sampling : - diskretisasi koordinat signal terhadap satuan waktu
- Banyaknya sampling ditentukan oleh frekuensi
(kecepatan) sampling.
- Makin tinggi frekuensi makin banyak jumlah
sampling, makin banyak informasi yang terrekam
dan kualitas signal mendekati signal aslinya.
- Makin rendah frekuensi makin sedikit jumlah
sampling, makin sedikit informasi yang terrekam
dan kualitas signal semakin rendah
Frquence dchantillonnage
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 23
Sampling :
Contoh signal :
Amplitudo
Amplitudo
12
Kuantisasi : - Diskretisasi nilai amplitudo dari setiap sampel
hasil sampling.
- Pembagian nilai amplitudo dan pengkodeannya
dalam nilai biner sesuai dengan jumlah bit yang
digunakan.
- Makin banyak jumlah bit, makin banyak variasi
nilai tinggi rendahnya suara (untuk audio) atau
makin banyak variasi warna pada citra/video,
dan kualitas signal atau citra/video mendekati
signal aslinya, namun makin banyak data yang
terrekam.
- Makin sedikit jumlah bit, makin sedikit variasi
nilai tinggi rendahnya suara (untuk audio) atau
makin sedikit variasi warna pada citra/video,
kualitas signal atau citra/video semakin rendah
dan semakin sedikit data yang terrekam.
Frquence dchantillonnage
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 25
Kuantisasi :
Amplitudo
Amplitudo
Kuantisasi dengan 3 bit
- Variasi nilai amplitudo 23 = 8
- Jumlah data = N*8 bit
- Kualitas intensitas berkurang
0 x
13
Representasi dan kapasitas data multimedia
Informasi textual :
- Teks jumlah data JD = Nhuruf x 8 bit
- Texs + citra/grafik JD = Nhuruf x 8 bit + besar file citra/grafik
Informasi Audio/suara/musik :
- Manusia mampu mendengan pada frekuensi 20 Hz 20 kHz
- Teori sampling NyquistShannon : frequensi sampling minimal =
2 kali frequensi signal (frequensi pendengaran manusia)
- Jumlah sampling 44.100 sampel (44.1 kHz)/ detik
- Kualitas sedang audio = 12 bit/sampel
- JD = 44 100 sampel x 12 bit = 0,5 Mbit/detik (90 Mbit / 3 menit).
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 27
Informasi citra :
- Citra berwarna warna dasar RGB (merah, hijau, biru)
- Ukuran citra 2D NxM pixel (tinggi x lebar) JD = N x M x 24 bit
- Kamera foto digital berukuran 8 mega pixel JD = 192 Mbit
Informasi Video :
- Video citra yang di-capture secara sekuensial pada selang
waktu yang berbeda
- Kecepatan capture kecepatan sistem visual manusia untuk
menganalisis informasi citra 25 (PAL) 30 (NTSC) citra/detik
- VCD Jumlah pixel/citra 352x240 (NTSC) dan 352x288 (PAL)
- VCD JD = 60,83 Mbit/s (NTSC), JD = 60,83 Mbit/s (PAL)
- DVD Jumlah pixel/citra 720x480 (NTSC) dan 720x576 (PAL)
- DVD JD = ?
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 28
14
Teks Teks
65 menit ?
Data multimedia
Citra 500 Mbps Citra
Bandwidth
128 kbps
wwxxyyzz
Video Bandwidth Video
128 kbps
Teks
harapan !!
Informasi Citra
Multimedia
Terkompresi
128 kbps Bandwidth
128 kbps
wwwxxxyyyzzz
Bandwidth Video
128 kbps
Harapan pengguna
Teknologi Informasi Audio
Sarifuddin Madenda.
Multimedai
Sis. Mul. : Pendahuluan. 30
15
wwwwwwwwww
Teks
Teks Teks
terkompresi
lumayan !!
xxxxxxxxxxxxx
Citra
Citra Citra
terkompresi
Bandwidth
128 kbps
yyyyyyyyyyyy
Teks Teks
Wow !!!
Citra Citra
Bandwidth
128 kbps
fjmmsflkkdffjskjk
16
Kompresi data multimedia
Kompresi data teks (Huffman coding,
RLE coding, LZW coding, arithmetic coding
Representasi dan kompresi data suara
dan audio
Representasi dan kompresi citra
Representasi dan kompresi video
Kompresi data :
Metode representasi data/informasi kedalam
ukuran yang lebih kecil sehingga dapat
mempercepat waktu transmisinya dan memperkecil
penggunaan memori penyimpanan
Kompresi dapat dilakukan tanpa kehilangan
atau perubahan data (Lossless compression)
Kompresi dapat dilakukan dengan kehilangan atau
perubahan data (lossy compression)
17
Lossless compression :
Lossless compression :
18
Lossless compression :
Huffman Coding
Contoh : "this is an example of a huffman
tree"
- statistik munculnya karakter : = 7, a=4,
e=4, f=3, t=2, h=2, i=2, s=2, n=2, m=2, x=1,
p=1, l=1, u=1, 0=1, r=1.
- Probabilitas munculnya karakter : = 0.1944,
a=e=0.1111, f=0.0833, t=h=i=s=n=m=0.0556,
x=p=l=u=o=r=0.0278.
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 37
Lossless compression :
Huffman Coding
pohon biner :
0 0 0
= 7 12 20 36 = 000
0 1
a=4 8 a = 010
e=4 1 e = 011
f=3 0 5 1 f = 0010
t=2 1 t = 0011
h=2 0 4 0 8 0 16 1 h = 1000
i=2 1 i = 1001
s=2 0 4 1 s = 1010
n=2 1 n = 1011
m=2 0 4 0 8 1 m = 1100
x=1 0 2
1 x = 11010
p=1 1 p = 11011
l=1 0
2
0
4
1 l = 11100
u=1 u = 11101
1
0=1 2 288 bit 135 bit o = 11110
0 1
r=1
Sarifuddin Madenda. Sis. Mul. : Pendahuluan.
r = 11111 38
1
19
Lossless compression :
Huffman Coding
Lossless compression :
Huffman Coding
20
Lossless compression :
Huffman Coding
Lossless compression :
Kelemahan Huffman Coding
Entropi H :
Entropi H :
21
Lossless compression :
Run-length encoding
Lossless compression :
Aplikasi Run-length encoding
- Kompresi citra format bmp pada Windows dan OS/2 untuk
citra 1, 4 dan 8 bit/pixel
- Citra format PCX 8 dan 24 bit/pixel
- Fax dan scanner hitam putih
22
Lossless compression :
Lempel-Ziv-Welch coding
- Asumsi setiap karakter dikode dengan 8 bit (nilai code 256)
- Membentuk table gabungan karakter (kata dalam kamus)
- Tabel ini menyimpan kode kata dengan jumlah bit tetap
(umumnya maksimum 12 bit)
- Contoh : TOBEORNOTTOBEORTOBEORNOT
c w wc output Kamus
T <NIL> T
O T TO T TO = <256>
B O OB O OB = <257>
E B BE B BE = <258>
O E EO E EO = <259>
R O OR O OR = <260>
N R RN R RN = <261>
O N NO N NO = <262>
T O OT O OT = <263>
T T TT T TT = <264>
O T TO
B TO TOB <256> TOB = <265>
E B BE
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 46
23
c w wc output Kamus
O BE BEO <258> BEO = <266>
R O OR
T OR ORT <260> ORT = <267>
O T TO
B TO TOB
E TOB TOBE <265> TOBE = <268>
O E EO
R EO EOR <259> EOR = <269>
N R RN
O RN RNO <261> RNO = <270>
T O OT
OT <263>
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 47
Lossless compression :
Lempel-Ziv-Welch coding
- Contoh : TOBEORNOTTOBEORTOBEORNOT
Hasil pengkodean :
TOBEORNOT<256><258><260><265><259><261><263>
Jumlah bit 16 * 9 = 144 bits.
TOBEORNOTTOBEORTOBEORNOT
24
k w input w+input output Kamus
T T T
O T O TO O TO = <256>
B O B OB B OB = <257>
E B E BE E BE = <258>
O E O EO O EO = <259>
R O R OR R OR = <260>
N R N RN N RN = <261>
O N O NO O NO = <262>
T O T OT T OT = <263>
<256> T TO TT TO TT = <264>
<258> TO BE TOB BE TOB = <265>
<260> BE OR BEO OR BEO = <266>
<265> OR TOB ORT TOB ORT = <267>
<259> TOB EO TOBE EO TOBE = <268>
<261> EO RN EOR RN EOR = <269>
<263>
Sarifuddin Madenda. RN OTSis. Mul. : RNO
Pendahuluan. OT RNO = <270>
49
25
JPEG (Joint Photo Expert Group)
Format JPEG mengikuti norm ISO
Bersifat pengunaan bebas
Jumlah warna citra 224 = 16777216 warna
Type kompresi lossy menggunakan DCT
Kualitas kompresi tergantung pada rasio
kompresi
Tidak memiliki sifat warna transparan
Bukan format animasi
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 51
26
PNG (Portable Network Graphics)
Bersifat pengunaan bebas
Type kompresi lossless baik untuk citra
berwarna maupun citra gray-level
Memiliki sifat warna transparan
Bukan format animasi
Versi format animasinya adalah MNG
27
Kompresi JPEG
Bagan standar kompresi citra JPEG
Kompresi JPEG
Tabel Tabel Citra terkompresi
Citra asli
Kuantisasi coding JPEG
Rekonstruksi JPEG
Matriks asli.
Sub-sampling warna
Format ruang warna : 4:4:4
R G B Y Cb Cr
Y
4:2:2
4:1:1
28
Konversi RGB Yuv :
Down sampling
29
Matriks asli. Matriks transformasi DCT
DCT
Matriks kuantisasi
Transformasi DCT
2 N 1 N 1
( 2 x + 1).i ( 2 y + 1). j
DCT (i , j ) = .C ( j ).C (i ) Pixel ( x, y ). cos . cos
N y =0 x =0 2N 2N
N 1
( 2 x + 1).i
Implementasi 1D : DCT (i , y ) X = 2
N .C (i ) Pixel ( x, y ). cos
x =0 2N
N 1
( 2 y + 1). j
DCT (i, j ) = 2
N .C ( j ) DCT (i, y ) X . cos
y =0 2N
N 1
( 2 y + 1). j
Implementasi 1D : IDCT (i , y ) X = 2
N .C ( j ) DCT (i, j ). cos
j =0 2N
N 1
( 2 x + 1).i
Pixel ( x, y ) = 2
N .C (i ) IDCT (i, y ) X . cos
i =0 2N
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 60
30
Matriks terkuantisasi. Matriks terkuantisasi invers.
1264 0 10 0 0 0 0 0
24 12 0 0 0 0 0 0
14 13 0 0 0 0 0 0
0 0 0 0 0 0 0 0
F =
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
x
IDCT
Matriks kuantisasi
31
Quantization Table for: Quantization Table: Luminance Quantization Table: Chrominance
Photoshop CS2 (Save As 11) 1 1 1 2 3 3 4 5 1 2 4 7 8 8 8 8
1 1 1 2 3 4 4 6 2 2 4 7 8 8 8 8
1 1 2 3 4 4 5 7 4 4 7 8 8 8 8 8
2 2 3 4 4 5 7 8 7 7 8 8 8 8 8 8
3 3 4 4 5 7 8 8 8 8 8 8 8 8 8 8
3 4 4 5 7 8 8 8 8 8 8 8 8 8 8 8
4 4 5 7 8 8 8 8 8 8 8 8 8 8 8 8
5 6 7 8 8 8 8 8 8 8 8 8 8 8 8 8
1 1 1 2 3 6 6 6 2 2 3 7 10 10 10 10
1 1 2 2 4 6 7 6 2 3 6 10 10 10 10 10
1 2 2 3 5 9 8 6 5 7 10 10 10 10 10 10
2 2 4 6 7 11 10 8 10 10 10 10 10 10 10 10
2 4 6 6 8 10 11 9 10 10 10 10 10 10 10 10
5 6 8 9 10 12 12 10 10 10 10 10 10 10 10 10
7 9 10 10 11 10 10 10 10 10 10 10 10 10 10 10
32
Table 1 - Huffman - Luminance (Y) - DC Table 2 - Huffman - Luminance (Y) - AC
000 04 00 01
2 bits
001 05 01 02
010 03 3 bits 100 03
3 bits 011 02
100 06 1010 11
4 bits 1011 04
101 01
110 00 (End of Block) 1100 00 (End of Block)
20 -10 11 1 -9 2 -2 -4 -8 -1 0 1 2 3 -1 0 0 0 0 -1 EOB
20 -10 11 1 -9 2 -2 -4 -8 -1 0 1 2 3 -1 0 0 0 0 -1 EOB
1011 0101 1011 1011 00 1 . . . . . 1010 1 . . . . . . 111011 0 1100
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 66
33
Analisis multi-frekuensi :
Wavelet transform
34
Discrete Wavelet Transform (DWT)
Pendekatan melalui dilatasi filtre ?
- Pada tahap awal, kita bagi informasi signal dalam dua bagian dengan
melewatkannya dalam high-pass filter (500-1000 Hz) dan low-pass
filter (0-500 Hz).
- Menghasilkan satu signal yang berhubungan dengan informasi pada
interval 0-500 Hz (frekuensi rendah) dan satu signal lainnya dengan
informasi pada interval 500-1000 Hz (frekuensi tinggi).
- Selanjutnya, kita lakukan proses berulang pada salah satu atau kedua
komponen tadi.
- Andaikan kita lakukan untuk bagian low-pass dengan menggunakan
high-pass filter (250-500 Hz) dan low-pass filter (0-250 Hz). Maka kita
akan punya 3 komponen informasi, masing-masing berhubungan
dengan informasi dari satu signal yang sama pada frekuens 0-250 Hz,
250-500 Hz et 500-1000 Hz.
- dst.
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 69
35
Discrete Wavelet Transform (DWT)
36
Discrete Wavelet Transform (DWT)
Principes :
Melakukan proses WT terhadap citra asli
Kuantisasi skalar (sesuai tingkat resolusi)
Pengkodean (RLE, entropy, Huffman, )
37
Standar Kompresi JPEG2000
Encoder Optimisasi
rasio-distorsi
Decoding Wavelet
Citra Kantisasi Citra
Per blok transform
terkompresi invers rekonstruksi
inverse
Decoder
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 75
38
Standar Kompresi JPEG2000
LL2
Detil
Citra horisontal
LL1 LH2
Detil
vertikal
HL2
baris Detil
kolom diagonal
HH2
39
Standar kompresi JPEG2000
Transmisi secara progresif per resolusi
40
Standar kompresi JPEG2000
Transmisi secara progresif per resolusi
41
Standard compression JPEG2000
Perbandingan rasio kompresi
42
Standard compression JPEG2000
Keuntungan
Kualitas lebih baik dari JPEG
Lossless dan lossy compression sangat baik
Regions of Interests ROI coding
Transmisi dan pengkodean progressif
Sesuai untuk data aplikasi multimedia
Untuk nilai PSNR (pick signal to noise ratio) yang sama, ratio
kompresi JPEG2000 dapat mencapai 2 kali dari JPEG
Efek blok tidak tampak
Kompresi Video
Problem :
- Satu citra dari suatu video dapat menempati kapasitas
memori sekitar 0,916 MB (640x480 pixel).
- Untuk menampilkan video yang secara visual tampak
kontinu, maka kecepatan pengambilan gambar adalah
25 atau 30 citra per detik, atau sekitar 23 MB/detik atau
sekitar 1,38 GB/menit atau sekitar 82,94 GB/jam.
- Kapasitas penyimpanan (CD dan DVD) yang ada saat
ini sekitar 7GB,
- Kapasitas band-width jaringan komunikasi yang terbatas.
- 25 citra/detik butuh band-with sekitar 184 Mbps.
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 86
43
Kompresi Video
Solusi :
- Meningkatkan kapasitas memori penyimpanan,
implikasinya penambahan biaya yang besar
- Memperbesar band-width komunikasi
implikasinya penambahan biaya yang besar
- Kompresi data video pengembangan algoritma CoDec
(COmpression/DECompression) untuk memperkecil
semaksimal mungkin data video tanpa banyak mengurangi
kualitas visualnya
Sarifuddin Madenda. Sis. Mul. : Pendahuluan. 87
Kompresi Video
44
Kompresi Video
Kompresi Video
45
Standar video MPEG
46
MPEG : Prinsip dasar
Coding
Prediksi Transformasi Kuantisasi Entropy Coding
P T Q Ce
Decoding
R G B Y U V
47
MPEG : Prinsip dasar
Down sampling
48
MPEG : Prinsip dasar
Modul Prediksi :
I B B B P B B B P B B B I
49
MPEG : Prinsip dasarr
Frames I :
MPEG : Principe
Frames P :
Citra ini dihitung melalui perbedaan antra citra actual terhadap citra I atau
citra P sebelumnya.
Algoritma yang dikembangkan untuk menghitung citra P adalah melalui
perbandingan blok per blok, disebut macroblocs (16x16 pixels), dan
berdasarkan pada nilai ambang tertentu dapat dinyatakan apakah blok
tesebut berbeda dengan blok citra sebelumnya. Jika ya maka dilakukan
compresi JPEG dan jika tidak, blok tersebut dinyatakan sama dengan
blok citra sebelumnya dan tidak perlu dikompresi.
Perhitungan macroblocs sangat mempengaruhi kecepatan kompresi.
50
MPEG : Principe
Frames B :
51