Chapter 5:

LEARNING
Dipresentasikan oleh:
YANG GISELLA YULIALISTIKA E.

Dosen : Dr.Dra. Prima Naomi, M.T.

Pengantar
Bab ini mengeksplorasi bagaimana model ekonomi pembelajaran (economic models of learning) dan
koneksi psikologi perilaku (behavioural psychology connect).

 “To Learn” didefinisikan dalam Concise Oxford Dictionary of English sebagai

“mendapatkan pengetahuan atau keterampilan dengan belajar, pengalaman atau
diajar”.
 Teori pembelajaran (Learning) dapat dikelompokkan ke dalam beberapa
kategori besar: pendekatan evolusioner, dan model pembelajaran penguatan
(Reinforcement Learning) vs kepercayaan (Belief Learning) atau hybrid
misalnya menurut Camerer dan Ho (1999) adalah Model experience-weighted
attraction (EWA).
Pengantar
 Model pembelajaran lainnya adalah model pembelajaran antisipatif, yang menganggap
kecanggihan, imitative pembelajaran, teori arah pembelajaran dan pembelajaran
berbasis aturan.

 Yang paling berpengaruh dari pendekatan ini diuraikan di bawah ini.

 Belief learning
 Reinforcement learning
 Experience-weighted attraction (EWA)
 Herding and social learning
 Evolutionary approaches to learning
 Belief Learning
 Dalam model belief learning (BL), atraksi dibangun dengan melampirkan probabilitas pada setiap kombinasi
strategi dari pemain lain yang memberikan fungsi kepercayaan yang bergantung pada waktu di mana keyakinan
tentang tindakan orang lain diperbarui saat terungkapnya sejarah.
 Informasi ini digunakan untuk menghitung ekspektasi imbalan (payoffs) yang diberikan pada keyakinan ini.

 Varian model BL muncul tergantung pada bobot yang melekat pada tindakan
masa lalu. Brown (1951) mengembangkan model permainan fiktif (fictitious
play model) yang menggabungkan permainan yang lebih "menarik" asumsi
bahwa pemain menanggapi rata-rata sejarah yang diamati dengan pengamatan
sebelumnya dihitung dan diberi bobot yang sama. Dalam model Cournot,
mengikuti Cournot (1838) pemain memilih respons terbaik untuk tindakan
lawan yang paling baru diamati; hanya tindakan terakhir lawan dihitung.
 A belief Learning Model
 Dengan asumsi bahwa kepercayaan tidak dapat diamati secara langsung, Cheung dan Friedman
membangunnya aturan pembelajaran empiris berdasarkan skema di mana pemain dan
lembaga/mekanisme menghasilkan interaksi dan umpan balik antara tindakan, hasil dan keyakinan.
 Aturan BL memberikan aturan keputusan berdasarkan probabilitas bahwa seorang pemain akan
memilih diberikan tindakan; ini akan ditentukan oleh tiga elemen.

 Pertama, daya tanggap pemain terhadap hasil relatif dari suatu

tindakan – bobot bukti;
 kedua, keistimewaan pemain preferensi untuk tindakan itu; dan
 ketiga, parameter pembelajaran. Cheung dan Friedman melamar aturan
belajar mereka untuk mempelajari pilihan dalam permainan
eksperimental.
 Eksperimen Cheung dan Friedman
 Implikasi yang ditarik Cheung dan Friedman dari analisis mereka adalah para pemain itu bersifat
heterogen. Perkiraan parameter memungkinkan klasifikasi pemain menjadi tipe: Pemain Conot dengan
ingatan pendek; pemain perantara dengan BL adaptif; dan Panjang pemain memori menggunakan
aturan FP (Fictitious Play).

 Secara keseluruhan, Cheung dan Friedman menyimpulkan bahwa,

bersama-sama, temuan mereka mendukung keyakinan model pembelajaran
di atas model pembelajaran penguatan (reinforcement learing). Pendukung
pernyataan tersebut bersifat campuran, dimana beberapa ekonom telah
menemukan dukungan kuat yang serupa untuk model pembelajaran
penguatan (reinforcement learing), seperti yang dibahas di bagian berikut.
Reinforcement Learning
 Reinforcement learning adalah ilmu pengambilan keputusan dengan mempelajari perilaku optimal
dalam sebuah lingkungan untuk mendapatkan reward yang maksimal.
 Wawasan dari model ekonomi pembelajaran penguatan (Reinforcement learning) perkembangan
paralel di psikologi perilaku

 Fokus ini diamati perilaku sangat cocok dengan tema teori eksperimen dan permainan (the
experimental and game theory) yang terlihat dalam ekonomi perilaku modern yaitu tentang
menganalisis pilihan. Psikologi perilaku dikembangkan dari ahli fisiologi pemenang hadiah Nobel -
Ivan Pavlov (1849–1946).

 Teori pembelajaran Edward L. Thorndike mengembangkan konsep

pengkondisian ini fokus pada pengondisian operan (yaitu pengondisian
berdasarkan kinerja tindakan tertentu) dan
hukum efek, latihan, dan kebaruan (Thorndike 1911).
 A Reinforcement Learning model
 Thorndike membangun hukum tentang bagaimana belajar berkembang dengan membuat asosiasi antara
rangsangan, tindakan dan penghargaan:
• hukum efek adalah tindakan yang menghasilkan kesenangan memberikan penguatan positif dan
akan diulangi – pembelajaran akan membangun pada kesenangan dan penghargaan;
• hukum latihan adalah bahwa semakin sering positif (negatif) asosiasi dibuat, semakin besar
(kurang) kemungkinan untuk digunakan dan sebaliknya; dan
• hukum kebaruan adalah bahwa peristiwa baru-baru ini akan lebih menonjol dan tanggapan baru-
baru ini lebih mungkin diulang tetapi dampak dari penghargaan dan hukuman sebelumnya akan
membusuk seiring waktu.
Experience-weighted attraction (EWA)
 Camerer dan Ho (1999) memberikan solusi dalam bentuk model hybrid experience-weighted at traction
(EWA) yang menangkap pemutakhiran nilai dalam model berbasis keyakinan untuk menghasilkan fungsi
nilai bergantung waktu antara model RL dan BL, mengisi celah dan keterbatasan kedua pendekatan.

 EWA adalah model pembelajaran adaptif yang melihat ke belakang berdasarkan pengalaman masa lalu
baik dalam bentuk penguatan langsung atau sebagai bukti tentang sejarah orang lain.

 EWA menggabungkan model RL dan weighted fictitious play (WFP) di mana

tindakan masa lalu dari pemain lain diberikan bobot yang menurun dari waktu
ke waktu, dan dengan demikian memberikan model mencakup dengan RL dan
BL sebagai kasus batas.
Experimental evidence about EWA models
Camerer (2003) menetapkan beberapa bukti empiris yang mendukung EWA yang menyatakan hal itu dalam
penelitian dari sekitar 31 set data, EWA cocok/memprediksi sampel lebih akurat daripada RL atau
WFP kecuali dalam game dengan keseimbangan strategi campuran.

Bukti eksperimental tentang model EWA ada 2 (dua) jenis yaitu:

Continental divide games
Beauty contests
Experimental evidence about EWA models
 Continental divide games
Camerer (2003) menyimpulkan bahwa data eksperimen dari Continental Divide Games cocok lebih baik
dengan model EWA daripada alternatif lainnya karena EWA menangkap interaksi keyakinan tentang apa
yang dilakukan perusahaan lain dan penguatan dari eksternalitas imbalan yang muncul ketika sejumlah
besar perusahaan melakukan hal yang sama, misalnya semua perusahaan akan mendapatkan keuntungan
dari investasi perusahaan lain dalam infrastruktur lokal

 Beauty contests
Beauty Contest dikembangkan oleh ekonomi perilaku modern, Keynes
menggunakan metafora “beauty contest” surat kabar. Pesaing tidak
diminta untuk memilih “wajah tercantik” tetapi “yang menurutnya paling
mungkin untuk ditangkap keunggulan dari pesaingnya.”. Dalam Beauty
Contest, spekulan di pasar keuangan mencapai "derajat ketiga" penalaran.
Mereka tidak membentuk keyakinan tentang fundamental, kebenaran
nilai-nilai atau hasil tetapi malah mencoba menebak apa yang dipikirkan
orang lain.
Herding and Social Learning
 Ekonomi perilaku (Behavioural economics) juga mengeksplorasi jenis pembelajaran tertentu/spesifik
dalam bentuk sosial belajar,
 Herding adalah kategori umum dari perilaku di mana orang mengikuti kelompok orang lain dan
mungkin melakukannya karena berbagai alasan. Ini adalah fenomena bukan individu memutuskan
untuk mengikuti orang lain dan meniru perilaku kelompok daripada memutuskan secara independen
dan atomistik berdasarkan informasi pribadi mereka sendiri.

 Salah satu studi perintis/pelopor tentang herding and social learning adalah
model kaskade informasi yang dikembangkan oleh Bikhchandani, Hirshleifer
dan Welch (BHW; 1992, 1998). Mereka fokus pada pembelajaran sosial
dalam konteks perilaku sosial yang seragam. Mereka mengidentifikasi empat
mekanisme penggembalaan utama / four primary herding mechanisms
encouraging people mendorong orang untuk melakukan apa yang orang lain
lakukan: sanksi atas menyimpang, eksternalitas hasil/payoff positif, preferensi
konformitas dan komunikasi.
Herding and Social Learning
 Jadi BHW mengusulkan bahwa pembelajaran sosial dalam bentuk “kaskade informasi” juga menghasilkan perilaku
sosial yang seragam. Kaskade informasi terjadi “ketika optimal untuk sebuah individu, setelah mengamati tindakan
orang-orang di depannya, untuk mengikuti perilaku individu sebelumnya tanpa memperhatikan informasinya
sendiri” (BHW 1992, hal. 994).
 Bikhanchandi, Hirshleifer dan Welch (1992) mengembangkan model serupa kaskade informasi sebagai penjelasan
untuk konformitas lokal yang munculketika optimal bagi seorang individu untuk mengikuti tindakan pendahulunya
dan mengabaikan informasi pribadinya.

 Menurut teori Bayesian, herding dan kaskade informasi muncul karena anggota
kawanan mengabaikan sinyal pribadi mereka sendiri untuk mendukung informasi
kawanan tentang tindakan pendahulu mereka. Ini berarti bahwa mereka berpotensi
mengabaikan sejumlah besar informasi pribadi yang penting.
 Secara keseluruhan, model herding dan sosial learning didasarkan pada model
Bayesian berasumsi bahwa agen menggunakan metode logis yang canggih tetapi
hasilnya bisa bagus atau buruk tergantung pada apakah pembuat keputusan yang
diturunkan benar atau salah melacak oleh tindakan pendahulu mereka.
Experimental tests of Bayesian herding
Sebuah aritmatika analisis aturan Bayes dirangkum dalam Mathematical Appendix A5.3. Tabel 5.1 merangkum probabilitas bahwa bola
berasal dari Guci A, dihitung dengan menggunakan Bayes's aturan.

 Contoh: jika A mengumumkan bahwa menurutnya bola berasal dari Guci A, maka yang lain akan berasumsi bahwa dia mengambil
bola merah. Kemudian B memilih. Mungkin dia memilih bola hitam tetapi dia menyimpulkan bahwa A telah menarik bola merah
dan dari sini menyimpulkan bahwa peluang terambilnya bola dari Guci A adalah 50%. Dia bisa memilih secara rasional baik guci
tapi bayangkan dia menebak guci A.
 Kemudian C memilih dan mungkin dia juga memilih bola hitam tetapi dia berasumsi bahwa A dan B telah memilih bola merah dan
sebagainya, jika dia menggunakan aturan Bayes, maka dia menyimpulkan bahwa Guci A dipilih karena bola merah telah dipilih dua
kali, melawan satu undian bola hitamnya. Secara keseluruhan, dia menilai itu kemungkinan Guci A adalah 67% jadi dia juga akan
memilih Guci A meskipun dia memilih sebuah bola hitam..
Experimental tests of Bayesian herding
Anderson dan Holt (1996, 1997) membangun sebuah ilustrasi tentang bagaimana proses penalaran ini
bekerja dan menguji hipotesis secara eksperimental menggunakan percobaan guci.
Eksperimen ada dua guci: Guci A dan Guci B; Guci A berisi dua merah bola dan satu bola hitam; dan Guci
B berisi satu bola merah dan dua bola hitam, seperti yang ditunjukkan pada Gambar 5.1

 Eksperimen dengan menyembunyikan label guci sehingga bisa jadi

Guci A, bisa jadi menjadi Guci B. Semua hal dianggap sama, jika
Anda menggambar bola merah, kemungkinan besar jika Guci A
sedang digunakan dan kecil kemungkinannya jika Guci B digunakan.

 Menurut Anderson dan Holt, orang menilai kemungkinan itu Guci A

digunakan sesuai dengan pilihan pendahulunya, dengan pilihan yang
dibuat berurutan bergiliran berdasarkan penerapan aturan Bayes.
Evolutionary approaches to learning
 Pendekatan evolusioner dibangun di atas pemahaman bahwa kita dilahirkan dengan strategi dan
memainkannya secara naluriah, misalnya strategi menyediakan makanan, melarikan diri dari pemangsa
dan menemukan pasangan, memungkinkan kelangsungan hidup yang terkuat. Gagasan ini juga
disejajarkan dalam biologi evolusi dan ilmu saraf. Seperti dicatat oleh Camerer (2003b)

 (Prinz 2005). Cohen (2005) berpendapat bahwa otak manusia telah

berevolusi menjadi konfederasi mekanisme yang biasanya bekerja sama
tetapi terkadang bersaing. Mekanisme terdekat seperti herding, ketika
dimotivasi oleh respons emosional yang tampak tidak rasional dan
dimotivasi oleh emosi, pada kenyataannya melibatkan mekanisme otak
yang tua secara evolusioner tetapi sangat terawat yang mungkin optimal
secara lokal tetapi belum tentu optimal secara universal
Evolutionary approaches to learning
 Pendekatan evolusioner tidak bertentangan dengan gagasan tentang penalaran Bayesian, jika
penalaran Bayesian adalah keterampilan yang telah berevolusi untuk melayani tujuan sosial. Untuk
misalnya, dengan heterogenitas dalam tipe kepribadian, pengambilan keputusan berbasis aturan
(seperti sebagai pembaharuan Bayesian) membantu untuk memastikan konsensus ditempa di antara
orang-orang yang berbeda, mendorong proses pengambilan keputusan masyarakat yang efektif
meskipun keragaman alami.
SUMMARY
Introduction
 Berbagai Model pembelajaran perilaku membangun kombinasi wawasan ilmu ekonomi dan psikologi.

 Model pembelajaran penguatan (Reinforcement learning models) memanfaatkan wawasan dari psikologi perilaku
eksperimen – termasuk eksperimen klasik dari Skinner dan Thorndike – yang menunjukkan bagaimana proses belajar
hewan didorong oleh respons mereka terhadap imbalan (reward)

 Model pembelajaran kepercayaan (Belief learning models) mengacu pada wawasan dari teori permainan (game
theory) untuk menangkap pembelajaran sebagai proses strategis mengantisipasi tindakan orang lain, konsekuensi dari
tindakan tersebut dan strategi terbaik yang diberikan informasi ini.

 Beauty Contest adalah jenis model pembelajaran kepercayaan di mana peserta

eksperimen mencoba mengantisipasi tebakan (guesses) peserta lain dan bukti dari
beauty contest menunjukkan bahwa orang memiliki kedalaman penalaran yang
terbatas, yaitu mereka tidak memikirkan secara mendalam urutan skenario potensial
(the sequence of potential scenarios), dengan cara yang diprediksi oleh teori pilihan
rasional (rational choice theory).
Introduction

TERIMAKASIH