Nama : Burhan Ahmad

NIM : 4611421026
Mata Kuliah : Kecerdasan Buatan

REVIEW KULIAH PROF. PASCALE FUNG

Setelah saya menyimak, pertama itu yang dibahas adalah sejarah perkembangan model bahasa,
dimana dimulai dari ahli matematika Rusia Andre Markov pada tahun 1913 yang menghitung
peluang sebuah kata mengikuti huruf lain dan menunjukkan bahwa hal itu tidak acak. Pada
tahun 1948, orang Amerika Clark Shannon yang menerbitkkan makalah pertama tentang Teori
Komunikasi dan pada tahun 1951 ia menerbitkan makalah tentang prediksi huruf Inggris. Pada
tahun 1980-an, Janina dari IBM dan Bob Mercer juga menerbitkan estimasi distribusi
probabilitas dari data tentang model bahasa. Sampai perkembangan arsitektur jaringan saraf
Transformer dalam pengembangan model bahasa pra-pelatihan. Kemudain ada penjelasan
mengenai model Bahasa dimana model bahasa itu tugas untuk menetapkan probabilitas ke
urutan kata atau kalimat, dan digunakan dalam berbagai aplikasi seperti pengenalan suara dan
NLP. Pra-pelatihan pada data beesar dan berlabel dengan miliaran token dapat meningkatkan
kinerja tugas paada model bahasa.

Kemudian dijelaskan mengenai perkembangan arsitektur jaringan saraf Transformer dalam

pengembangan model bahasa pra-pelatihan. Arsitektur Transformer memungkinkan model
bahasa untuk membaca semua teks dengan benar tanpa dibatasi oleh panjang teks, dan
memiliki perhatian yang tepat. Model bahasa pra-pelatihan merupakan model bahasa besar
yang telah dilatih oleh beberapa perusahaan dan dapat digunakan oleh para peneliti untuk
keperluan penelitian NLP. Model-model bahasa seperti GPT-2 dan GPT-3 juga menggunakan
arsitektur Transformer. Pra-pelatihan pada data besar dan berlabel dengan miliaran token dapat
meningkatkan kinerja tugas pada model bahasa. Dalam pengembangan model bahasa, skala
tertentu dapat membuka beberapa kemampuan luar biasa yang sebelumnya tidak diketahui.

Dijelaskan bahwa saat ini dapat memanfaatkan model bahasa pra-terlatih seperti GPT-3 yang
memiliki ukuran parameter lebih dari 100 miliar sebagai dasar untuk tugas NLP. Model-model
tersebut dapat digunakan untuk membangun aplikasi NLP dengan metode zero-shot, yaitu
dengan memberikan prompt tanpa harus melalui pelatihan terlebih dahulu. Model-model ini
juga memiliki representasi bahasa yang kuat dan pengetahuan tertanam, karena dilatih dari
berbagai sumber. Tapi, meskipun skalabilitas model-model ini semakin baik, tantangan dalam
hal ketidaktransparan dan ketidakkonsistenan masih ada, yang dapat menghasilkan keluaran
yang tidak aman atau salah. Saat ini, model-model terbaru seperti Palm memiliki ukuran
parameter mencapai 540 miliar.

Dijelaskan juga pada masa pandemi, banyak orang bekerja dari rumah dan menggunakan
model bahasa besar seperti GPT-3 untuk bekerja secara terdistribusi. Namun, model bahasa
besar juga memiliki risiko keamanan, termasuk halusinasi konten yang tidak faktual atau
bahkan berbahaya, seperti propaganda, diskriminasi, informasi palsu, privasi bocor, dan
terorisme. Hal ini terjadi karena model bahasa besar menggunakan data yang tidak selalu
terverifikasi. Oleh karena itu, keamanan AI sangat penting dan harus ditingkatkan, terutama
untuk NLP generatif yng muncul dengan konten halusinasi. Contoh kasus seperti Chef GPT
dan Google Terjemahan juga meunjukkan bahwa model bahasa dapat menghasilkan jawaban
yang salah dan mengandung kesalahan informasi.

Dalam pengembangan model bahasa besar seperti GPT-3 yang mampu menghsilkan konten
yang mirip manusia, namun masih memuliki kelemahan seperti halusinasi. Halusnasi dapat
terjadi karena model bahasa belajar dari berbagai sumber dan memiliki import dari berbagai
sumber yang mempengaruhi hasil outputnya. Oleh karena itu, pengguna harus berhati-hati dan
tidak sepenuhnya meengandalkan hasil yang diberikan oleh model bahasa. Ada beberapa
metode mitigasi yang dapat dilakukan untuk mengurangi halusinasi, seperti membersihkan
data dan memfilter konten berbaahaya.

Kemudian dibahas tentang perbedaan antara model bahasa besar dengan antarmuka obrolan
seperti GPT-3 dengan sistem dialog atau chatbot lainnya. GPT-3 adalah model bahasa besar
yang dilatih pada bahasa alami dan ditingkatkan dengan umpan balik manusia untuk
meningkatkan pembelajaran penguatan. Ada tiga langkah dalam metode pelatihan obrolan
GPT-3, yaitu mengumpulkan data, melatih model, dan memberikan hadiah atau umpan balik
manusia untuk mengoptimalkan kebijakan terhadap model hadiah menggunakan algoritme
pembelajaran penguatan PPO. Dalam penggunaannya, GPT-3 tidak sepenuhnya dianggap
sebagai chatbot, tetapi lebih kepada model bahasa besar dengan antarmuka obrolan. GPT-3
dapat melakukan banyak jenis tugas, meskipun fokus utamanya itu ada pada tugas agnostik
dalam bentuk obrolan. Model bahasa besar lainnya yang dirancang khusus untuk tugas dialog
memiliki fokus yang lebih terbatas, yaitu untuk tugas dialog aja. Evaluasi performa model
bahsa besar seperti GPT-3 dapat dilakukan dengan membandingkanya dengan model bahasa
besar lainnya yang telah dilatih secara khuusus untuk tugas tertentu.

Kemudian dibahas juga kemampuan model bahasa alami GPT-3.5 dalam beberapa area, seperti
kemampuan bahasa, gambar, dan penalaran. Model GPT sendiri memiliki kemampuan yang
mirip dengn manusia dalam instruksi bahasa, namun masih membutuhkan bantuan model lain
untuk tugas gambar. Dalam uji kemampuan penalaran, model GPT dapat berfungsi dengan
baik dalam beberapa kategori, tetapi masih memiliki kelemahan.
Kemudian ada membahas tentang kemampuan model bahasa alami (NLP) yang saat ini masih
memiliki banyak kelemahan dan tidak dapat diandalkan sepenuhnya dalam pengambilan
keputusan yang penting seperti klasifikasi pencarian. Meskipun demikian, NLP masih dapat
digunakan untuk kegiatan kreatif seperti meenulis novel atau skrip periklanan. Terdapat pula
perdebatan mengenai apakah NLP harus belajar hanya dari teks atau juga harus memahami dari
kerjanya dunia dan menggambarkan dunia dengan bahasa. Namun, ilmu kognitif telah
menemukan bahwa kemampuan bahasa dan kemampuan berpikir adalah dua hal yang berbeda,
sehingga model bahasa besar masih memiliki kefasihan seperti manusia dalam hal berpikir,
karena mereka berpikir itu tidak selalu benar.

Terakhir itu pembicara mengkhawatiran tentang plagiarisme jika menggunakan GPT untuk
memoles bahasa, namun GPT dikatakan tidak menyalin dan menempelkan konten secara
verbatim. Dalam kesimpulannya, penggunaan model bahasa dapat dilakukan dengan mandiri
melalui metode auto-regressive tanpa memerlukan data berlabel, namun perlu hatihati dalam
penggunannya.