Review Jurnal Multimedia Intelligence: When Multimedia Meets Artificial Intelligence

Nama/NIM : - Aidil Fitrah Ramadhan 22.82.1471

- Muklis Saputra 22.82.1446
- Laurent Prado S.P 22.82.1480
- Saif Ali M. 22.82.1482
- M.Khansa Syahrizal A. 22.82.1493
Tanggal : 2 Januari 2023
Penulis : Xin Wang

Jurnal multimedia intelligence yang ditulis oleh xin wang, menjelaskan tentang
kombinasi antara A.I dengan multimedia yang memiliki hubungan kuat, keduannya dapat
menghasilkan sistem dan produk yang sangat membantu meringankan pekerjaan manusisa.
Multimedia memiliki arti yang berbeda beda, dari bentuk awal pada tahun 1960 sampai
saat ini, A,I mengombinasikan unsur yaitu video, gambar, audio, dan teks sehingga dapat diakses
secara interaktif. Beberapa universitas terkenal mengatakan bahwa A.I yang akan
dikombinasikan dengan multimedia dimana keduanya bisa saling berhubungan positif, dan
membentuk pola looping dimana keduannya memiliki hubungan yang saling melengkapi.
Hubungan dari keduannya terdapat dua aspek yaitu center multimedia around A.I dan center A.I
around multimedia.
Perkembangan A.I yang sangat pesat dengan adanya perintah dalam machine learning
dan analisis data, dari sini hubungan antara multimedia dan machine learning adalah
meultimedia sebagai media untuk mempromosikan, sedangkan machine learning untuk
meningkatkan kemampuan multimedia dengan kemampuannya untuk bernalar.

1. Multimedia Promotes Machine Learnig

Multimedia yang mempromosikan machine learning tedapat beberapa cara yang
dilakukan yang pertama adalah mempromosikan teknik machine learning, dari banyak tipe data
dari gambar, audio, dan video dan lainnya, dari banyaknya data tersebut dapat difokuskan ke
beberapa proses analisis yaitu
- multimedia representasi, terdapat dua kategori berbeda antaranya gabungan dan terkoordinasi,
- penataan multimedia yang ditujukan untuk mengelompokan data agar saling berhubungan,
terdapat dua tipe dalam penataan yaitu implisit dan eksplisit,
- penggabungan multimedia, terdapat penggabungan modal dasar dan modal agnostic, modal
agnostic dibagi menjadi tiga yaitu penggabungan cepat, lambat, dan hybrid, dapat dikatakan
proses penggabungan adalah proses setelah pengelompokan data.
- transfer multimedia, merupakan cara untuk mengirimkan informasi ke beberapa modal yang
berbeda agar bisa ditampilkan, data dikirimkan dari satu modal ke modalitas lain melalui lapisan-
lapisan dari sistem yang tidak terlihat, contohnya pada visual CNN.
Selain mempromosikan teknik, multi media juga mempromosikan aplikasi dari machine
learning, dengan berbagi cara yaitu
- media search and recommendation, merupakan metode yang klasik, mesin bekerja mencari
kata-kata yang sama seperti apa yang dicari sebelumnya, sistem akan merekam data yang sudah
pernah diberikan sebelumnya dan akan dimunculkan kembali sebagai sebuah rekomendasi yang
bisa berbentuk gambar, video, teks, maupun audio.
- multimedia recognition, merupakan kinerja sistem yang merujuk kea rah audio-visual, sistem
akan mencari informasi yang sudah disimpan dari audio-visual yang didapatkannya
- multimedia detection, machine learning yang bekerja lebih dalam mengolah data sehingga bisa
menghasilkan modalitas seperti visual, audio, motion dan lainnya
- multimedia generation, machine learning yang menggenerasi data yang sama dan mengubah
data menjadi modalitas yang lebih spesifik, contohnya modalitas yang bisa ditampilkan secara
visual
- multimedia language and vision, machine learning meningkatkan interaksi antara Bahasa dan
tampilan sehingga berbagai data dapat memiliki lokasi masing-masing

2. Machine Learning Boosts Multimedia

Multimedia mendapatkan aksi yang sama dari machine learning yaitu dengan
meningkatkan kinerja multimedia atau machine learning boost multimedia, dapat dikatakan
kinerja machine learning sudah sangat cepat dan tepat dari mengelompokan binatang hingga
mencari hal-hal lain, namun kekurangannya adalah tidak adanya bukti yang kuat untuk para
pembaca, ,aka dari itu dibutuhkan gambar untuk membuktikannya.
Beberapa cara mengoptimalkan kinerja machine learning dengan menigkatkan
multimedia yaitu dengan memberikan step-step dalam sistem pencarian, dengan sedikit meniru
nalar manusia dan diperbaiki menjadi lebih tidak fleksibel seperti nalar manusia, relational
reasoning mengimitasi bagaimana nalar manusia dan diperbaiki agar bisa bekerja lebih simpel,
neural modular network, neural-symbolic reasoning.
 3. Future Research And Directions
Cara kerja intelligence multi media yang kompleks dan masih banyak perkembangan
agar lebih canggih membuat beberapa penelitian yang aka nada di masa depan, penelitian ini
mungkin sudah dalam bentuk konsep atau belum dalam proses produksi masal, penelitian di
masa depan tersebut yaitu,
-multimedia turing test,
-explainable reasoning in multimedia
-automl and meta-learning
-digital retinas
Dari beberapa penelitian sistem A.I di masa depan ada produk A.I yang kita pilih untuk
dibahas, cara kerjanya, pengelompokan penggunaan multimedia dan A.I yang digunakan dalam
produk tersebut
Desktop pet bernama EMO adalah sebuah AI yang memiliki kepribadian layaknya makhluk hidup

EMO dibangun dengan beragam sensor

Cara kerja:

EMO bekerja layaknya peliharaan, EMO bisa menyemangati anda dengan musik, beragam tarian, dan
permainan

EMO juga bisa menjadi penolong, contohnya sebagai alarm, menghidupkan lampu, mengambil foto dan
menjawab pertanyaan yang diajukan.

AI :

- memiliki fitur kamera yang bisa mengenali wajah anda hingga keluarga anda

- memiliki sistem beradaptasi dengan lingkungan sekitar

- memiliki Neural Network Processor dan 3 AI yang berbeda

MM :

- dapat menangkap suara, dan dapat mengalokasikan suara dari asal suara

- memiliki sensor di kepalanya yang meresponsi sentuhan layaknya peliharaan

- memiliki 1000 lebih ekspresi dan gerakan layaknya manusia berinteraksi