Multimedia

Week 3
Media

Type media
- Static
- non static / continuously (daatanya berubah seiring perubahan waktu)

Media adalah respresentasi dari berbagai bentuk (text, images, audio, video,
graphics)
Gambar itu static, padahal klo di dunia nyata tidak static.

Digital Images
Gambar digital punya warna, bisa gray bisa color
Kalau gray 8 bit, klo color 24 bit, atau kalau ada alphanya 32 bit

contoh image punya 640 width dan height 480. RGB direpresentasikan dengan 8 bit
masing-masing-m
sizenya dari color image = 640 x 480 x 3 x 8 = 7.37 Mbits (921.6 Kbytes)

Kenapa ada alpha channel?

Kaitannya dengan animasi, buat transparansi karakter di animasi
Background + Foreground(R,G,B,alpha) = Final
Rumus : Final[i][j] = Foreground[i][j] * alpha[i][j] + Background[i][j]*(1-alpha[i]
[j])

Aspect Ratio
width/heigth dari gambar
3:2 untuk cetak gambar fotografi

PAR(pixel aspect ratio)

1:1

ct :
3:2 -> SAR (Sample aspect ratio [si videonya aspectnya berapa])
720 : 480 -> DAR (Display aspect ratio [si layarnya])
PAR = 1:1 (720 : 480 dibandingin sama 3:2)
DAR = SAR * PAR

Digital Image Formats

- Gambar ketika diambil pasti dikompres. ada yang lossy, ada yang loseless
Gambar tidak dikompres ketika ada kebutuhan. Ct : watermarking, komvolusi,
dittering, halftone(ada renggang-renggang, untuk hemat tinta)
Dikompres ketika ada kepentingan untuk data tersebut ditranmisikan, di sharing

Raster images. Yang disimpan banyaknya baris dan kolom. Kalau punya 8 juta titik,
maka 8 juta pixel yang disimpan

Vector graphic. Yang disimpan bukan data pixel. Tapi object apa yang ada di gambar.
Ketebalan berapa, posisi xy, dll. Bisa berupa file text, bisa juga binary. Vector
base dibuat pakai editor yang khusus. Disimpan dalam vector.

Metafile. Informasi terkait dengan gambar vector atau bitmap agar bisa dirubah ke
tipe gambar yang beda. Masih terus dikemabangkan, ada semacam standar. Kalau gambar
ga punya metaile, maka ga bisa diubah. Bitmap tetap bitap, vector tetap vector.

---------------------
Video
Video --> "I see" dalam latin
Gamabr yang ditampilkan sequence secara cepat. Ada frame, yaitu representasi matrix
pixel yang didefinisikan dengan width, height, dan pixel depth. Keyword pentingnya
FPS frame rate, dan scanning format

Frame rate : banyaknya still image yang ditampilkan perdetik. Biasanya untuk film
animasi itu 20 fps, tv 30 fps atau 25 fps. Kalau kurang dari itu mata kita melihat
itu bukan gambar gerak.
Video itu diasumsikan 3D --> 2Dnya image, 1Dnya scanline
Scanline :

Interlaced : refresh rate, ada yang 60hz yaitu 60 frame perdetik

Flicker : kalo kurang dari standar ada efek kedipnya
Progresive : gambar yang bagus sehingga menghilangkan efek flicker
Composite : semua warna disatukan kedalam 1 channel
S-Video : misahin channel warna Y dan C (Y ubahan dari R, C ubahan dari UV, UV
ubahan dari GB)

---------------
Audio : banyaknya sampling mempengaruhi kualitasnya
Pekonversian analog audio ke digital dikenal dengan PCM (pulse code modulation)
Amplitudo itu besar kerasnya gelombang
Ngitung sizenya : rate x ddurasi audio x resolusi x number of channel
rate -> Hz
durasi -> second
resolusi -> bits
number of channel -> stereo (2) / mono (1)

Week 4
Color
Gimana cara setelah di render warnanya tetep sama. Mata manusia punya keterbatasan,
kalau kertas dibawah sinar matahari, lampu kuning, lampu putih, hasilnya bisa beda.
Jadi bisa jadi masalah kalalu warnanya ga akurat

Spectrophotometer : buat ngukur cahaya

Cone cell : yang nangkep RGB
Rod cell : yang nangkep terang gelap
Hewan cuma punya 2 channel warna

Color Calibration : untuk mengukur menyesuaikan warna perangkat dalam kondisi

tertentu. Misal file video mau ditampilin di suatu perangkat, gimana caranya biar
warnanya sesuai

Color Cameras : CCD (charge-coupled device) bentuknya matrix.

Filter Bayer : filter pattern 50% green, 25% red dan 25% blue (soalnya green di
tengah-tengah)

Week 5
Trichromatic : Cahaya yang ditangkap dimata kita ada 3 campuran cahaya RGB
CCD bentuknya matrix. Umumnya cuma ada 1 layer aja. Tapi kamera profesional ada 3
layer
Filter Bayer saat di filter cahayanya, pemetaannya ada caranya tersendiri.
Pemetaannya hasil research. Makanya teknologi tv ada yang berbeda", sehingga layar
tiap tv beda
Rendering color : ketika gambar mau ditampilkan di screen, caranya macem-macem
YUV Subsampling : 4:4:4 24 bits, 4:2:2 16 bits, 4:1:1 12 bits, 4:2:0 12 bits

Power Law transformations memiliki rumus : s = c*r^y *y disini

lamda. Semakin kecil lamda maka akan semakin terang
Websafe color : warna yang dipakai di web. Ada 220 kombinasi warna. Sisanya dipakai
buat web browser
Grayscale = (R+G+B)/3

Additive Color : Sistem kaya di monitor. Awalnya warna hitam, trus warnanya makin
dicampur warna lain lama-lama jadi putih. Warna primernya RGB
Subtractive Color : Awalnya warna putih, trus dicampur-campur terus lama-lama jadi
warna hitam. Warna primernya CMY
[C,M,Y] = [1-R, 1-G, 1-B]
K diambil dari min[C,M,Y]

HSV (Hue, Saturation, Value(Brightness))

Hue : yang 360 derajat. Red 0-60, Yellow 60-120, Green 120-180, Cyan 180-240, Blue
240-300, Magenta 300-360

Multimedia Authoring
Authoring Tools
Programming dan scripting itu
rendah (low level). Kalau scripting
Ada produk yang bersifat aktif, ada
Ada produk yang bersifat interaktif
berbeda. Programming udah masuk ke ranah yang
udah ga bisa.
yang pasif. Pasif itu produknya hanya ditonton.
(ct game, web), Tiap orang bisa beda-beda.

Contoh Produk Multimedia

- Sebuah web, ada text, hypertext, hyperlink
- Photo album. Orang bisa milih kateogri. Ada slide-slide buat ngatur foto.
- Video on demand (mp4)

Week 6
Multimedia Autoring Paradigms; Flows : step-stepnya berurutan, kaya bikin skenario

Kompresi data
Gimana cara logika orang mau mengembangkan teknik kompresi data
Kenapa harus dikompres? : Ukuran multimedia relatif sangat besar. Sedangkan
kecepatan bandwidht hp 2-6 Mbps. Maka kompresi sangat dibutuhkan

Misal HDTV framenya 1920 x 1080

YUVnya 4:2:0, setiap warna pixel dipresentasikan dengan 12 bit
bandwidth yang dibutuhkan 1080 x 1920 x 12 x 30(fpsnya) = 745 Mb/s
Maka ini perlu dikompresi agar tidak besar banget
Misal kamera 5MP
tiap pixel ada 24 bit untuk warna RGB
maka dibutuhkan 5 x 3 byte = 15 MB

Efficient Transmission : Seberapa effision ketika informasi ditransmisi ke

penerimanya
Reliable Transmission : Data yang dikirim tidak jadi berubah-ubah, corrupt dll
Encoder : algoritma untuk kompresi
Decoder : proses dekompres, untuk membalikan dari encoder
Shannons Communication model : Information Source --> Encoder ---> Decoder --->
Information Receiver

Definisi dari Teori Informasi

Informasi itu terkait dengan sequence of symbol
kalau sequencenya berubah, maka informasinya juga berubah
Misal kita punya data 80000 bit. Bit ini tidak bisa diambil sendiri-sendiri, harus
dikelompokan lewat symbol
Kalau bit ini merepresentasikan gray-intensity dimana tiap pixel direpresentasikan
dengan 8 bit, maka tiap symbol sebesar 10000 bit

Alphabet dan Symbols

Panjang sebuah symbol disebut vocabulary
alphabet bisa didefine lewat symbol S={s1, s2, s3, s4, ....., sn}
Unik Simbol : contohnya ASCII, tiap simbol memiliki kode yang berbeda. Tidak boleh
simbol yang beda punya kode yang sama

Sequence dari simbol disebut juga message. Maka kalau sequencenya berubah, maka
messagenya berbeda: contohnya kasur != rusak
Alphabet {s1,s2,s3,s4} maka hanya butuh 2 bit : 2^2 = 4
Alphabet inggris ada 26 makanya di representasi binernya butuh 5 bit : 2^5 = 32

Symbol Probability
Pi = mi/N
m : banyaknya simbol
N : panjangnya simbol
misal s1 muncul 70 kali, s2 5 kali, s3 20 kali, s4 5 kalu
maka probability s1 = 70/100 = 0.7

Untuk kompresi, simbol yang sering muncul codenya akan lebih pendek dibanding
simbol yang jarang muncul, sehingga ukurannya bisa lebih kecil
Jadi kompresi bikin aturan tapi gaboleh ambigu

Entropy(H) : menghitung varian dari data

Kalau datanya sama semua maka varian datanya = 0
Misal gambar semuanya hitam, maka entropynya = 0
Entropy semakin besar nilainya, maka file data kompresi akan semakin besar. Karena
varian datanya semakin besar juga (untuk kompresi Loseless)
Kecuali kalau teknik kompresi lossy, karena akan ada beberapa informasi yang
dibuang

Efficiency = Entropy / Average Symbol Length

Lossy
Filtering : informasi yang penting disimpen, yang ga terlalu penting dibuang
Subsampling : pixel yang rapet banget dibuang dikit
Ada yang hybrid, dimana pakai teknik algorithma dari loseless dan lossy. Tapi
teknik ini masih tetep masuk ke kompresi lossy. Ct : JPEG, MPEG

File video, audio compression ratenya harus diperhatikan

Compression ratio : membandingkan ratio size data original awal dengan size data
kompresi
kalau lossy bisa ada distorsi, ct ada noise. Karena nilainya berubah terlalu jauh.
Distorsi selalu muncul kalau kompresinya lossy

loseless : menekan redundancy informasi, tapi ga boleh berubah. akan disimpan dalam
bentuk new code dari yang awal. Ketika di decompress maka harus balik ke data
sebelumnya
Ada beberapa algorithma probability yang menghitung berapa frekuensinya
Ct loseless : run length, dia mensupress repetisi. ct BBBBEEEEEEEECCCCDAAAAA,
menjadi 4B8E4C1D5A. asalnya 22byte jadi 10 byte
ada yang pakai simbol tertentu untuk mengatasi yang berulang. ct
abdcbaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa, menjadi abdcb^ (simbol penggantinya bisa
apa saja)