Cara menggunakan Machine Learning AI dalam Unity!

(ML-Agents)
00:00 What is Machine Learning, ML-Agents

01:22 Installation (Python, PyTorch, CUDA, ML-Agents)

10:10 New Unity Project

12:00 Create Agent

13:35 Agent Actions

17:21 Test Training

19:46 Agent Observations

24:10 Agent Reward

27:57 Heuristics Testing

29:38 Training 34:22

Use Trained Brain Model

40:04 Improve Brain Model

40:55 TensorBoard Visualization

43:25 Final Result

halo di sana saya monyet kode Anda dan mari kita belajar bagaimana menggunakan

pembelajaran mesin dan agen ml dalamkesatuan, ini adalah toolkit yang sangat kuat yang

memungkinkan Anda membuat beberapa ai yang sangatcerdas,

Ini membantu Anda memecahkan banyak masalah yang tidak mungkin dipecahkan saat

menggunakan aplikasiklasik, ada potensi besar dalam toolkit ini, jadi Anda harus tahu cara

menggunakannya sehingga Anda tahu bagaimana hal itu dapat membantu Anda dan kapan

harus mendaftar, ini adalah video yangpanjang, tetapi ini adalah satu-satunya video yang

Anda butuhkan untuk belajar bagaimana memulai bekerja dengan pembelajaran mesin dalam

kesatuan, kita akan mulai sepenuhnya dari awal dan melalui seluruh proses instalasi,
kemudian belajar bagaimana menggunakannya dengan menyiapkan adegan untuk melatih ai

menggunakan pembelajaran penguatan,

dan akhirnya lihat hasilnya untuk melihat ai beraksi menggunakan model otak terlatihkami,

jadi pastikan Anda menonton video sampai akhir untuk memahami seluruh proses,

Video ini dimaksudkan untuk membantu Anda memulai dan setelahmenontonnya, pergi

periksa tautan daftar putar dalam deskripsi di mana saya akan menambahkan video yang

mencakup kasus penggunaan menarikyang dibuat dengan pembelajaran mesin

dalamkesatuan, misalnya saat ini saya sedang mengerjakan kasus penggunaan pertandingan

3 tertentu dan banyak yang berbeda lainnya, jadi nantikan saja,

sekarang cara kerja pembelajaran mesin dalam kesatuan adalah melalui toolkit agen ml yang

menggabungkan beberapaalat, pertama Anda memiliki paket python agen ml yang

menjalankan algoritma pembelajaranmesin, maka Anda memiliki lingkungan belajar Anda

yang merupakan adegan persatuan Anda dengan permainan yang berjalan,

dan kemudian Anda memiliki paket ml agent c sharp yang memungkinkan Anda menentukan

data yang Anda masukkan ke dalam algoritma serta menggunakan otak yangdihasilkan, jadi

mari kita melalui seluruh proses itu mulai dari awal, pertama di sini adalah halaman github

untuk paket agen ml,

ada tautan dalamdeskripsi, Anda dapat menemukan banyak dokumentasi di sini sehingga

pasti memberikan tampilan, Anda memiliki readme cepat berbicara tentang bagaimana

semuanya bekerja semua fitur rilis dokumentasi dan sebagainya, Anda punya folder dokumen

di mana Anda memiliki semua dokumentasi sehingga ton topik pada instalasi mulai membuat

beberapa lingkungan dan sebagainya, dan juga memiliki banyak contoh mengagumkan yang

dapat Anda jelajahi untuk melihat cara kerjanya, sekarang hal pertama yang perlu kita

lakukan adalah benar-benar menginstal python,

dan pada saat rekaman ini versi python yang direkomendasikan adalah 3.6 atau 3.7 jadi di

sini di situs web python saya akan melanjutkan dan mengunduh 3.7.9, sekali lagi jika Anda

menonton ini di masa depan pastikan Anda memeriksa dokumen resmi untuk melihat versi

mana yang harus Andainstal,

jadi silakan hanya men-download danmenginstal, itu setelah menginstal python membuka

command prompt, jadi cukup klik pada tombol start dan ketik cmd, jadi ini dia dan sekarang

sebenarnya ada satu hal unik tentang windows 10,yang secara teori Anda harus dapat

menjalankan python dengan hanyamengetik python,

namun jika Anda melakukannya di sini pada windows 10 itu membuka toko microsoft bukan

benar-benar menjalankanpython, jadi jika Anda melihat perilaku ini solusinya adalah bukan

python hanya mengetik py, jadi di sini bukan python hanya py, dan saya tekan masuk dan di

sana Anda pergi sekarang saya di dalam python,

dan di sini Anda dapat memverifikasi bahwa pertama-tama python sedang berjalan dan Anda

dapat memverifikasi Bahwa Anda memiliki versi yang benar yang dalam hal ini 3.7.9, oke

sejauh ini sangat baik, sekarang mari kita keluar daripython baik-baik saja kembali di baris

perintah, sekarang langkah selanjutnya adalah kita perlu mengubah direktori untuk pergi ke

proyek kesatuan kami,

jadi di sini adalah proyek persatuan yang akan saya gunakan jadi silakan salin seluruhjalur,

dan pada command prompt hanya mengubah direktori ke direktori itu, oke sekarang di sini

apa yang akan kita lakukan adalah menciptakan lingkungan virtual python, ini akan

membantu kita dengan menjaga semua proyek kita terpisah sehingga setiap lingkungan

virtual benar-benar terpisah dariyanglain,

artinya kita dapat memiliki beberapa proyek di mesin yang sama masing-masing

menggunakan paket python merekasendiri, dan mereka tidak akan menyebabkan konflik satu
sama lain, jadi sekali lagi pertama-tama masuk ke direktori proyek unity Anda, dan kemudian

di sini kita akan mengetik perintah python-m,

berarti kita akan menjalankan modul dan yang ingin kita jalankan disebut vnv untuk

menciptakan lingkunganvirtual, dan kemudian setelah itu ini membutuhkan nama folder di

mana lingkungan tidak akandibuat, jadi jaga saja hal-hal yang bagus dan terorganisir dan

berikan nama yang sama persis jadi vnv, jadi ini akan menciptakan lingkungan virtual di

dalam folder bernama vnv,

sekarang jika Anda berada di linux atau mac perintah yang sedikit berbeda jadi periksa

dokumenresmi, dan sekali lagi seperti yang saya katakan sebelumnya jika Anda memiliki

masalah dengan python tidak berjalan ketika Anda mengetik python, maka di sini bukan

python hanya mengetik py mvnv, vnv jadi silakan tekan pada enter dan yep, sekarang itu

menciptakan lingkungan virtual,

baiklah itu dilakukan dan Anda dapat memverifikasi bahwa itu bekerja dengan membuka file

explorer anda dan yep di sini ada folder yang disebut vnv, dan di sana kita memiliki

lingkungan virtualkami, di sini Anda melihat beberapa folder, dan Anda melihat yang satu ini

dengan sekelompok script,

dan di sini kita melihat skrip aktivasi,ini adalah bagaimana kita benar-benar akan

mengaktifkan lingkungan virtual, jadi kembali ke baris perintah kita masuk ke dalam folder

vnv, kita mengakses folder skrip dan kemudian menjalankan aktifkan, jadi ketika Anda

melakukannya,

yep perintah prompt perubahan di sana dikatakan vnv sehingga kita sekarang berada di dalam

lingkungan virtualpython, sehingga setiap perubahan yang Anda buat di sini tidak akan

mempengaruhi proyek python lain yang Anda miliki di mesin Anda, seperti misalnya proyek

unt lainnya dengan perpustakaan python lainnya,

sekarang sebelum kita menginstal paket python kami mari kita pastikan installer

kamidiperbarui, penjual kemasan python bernama pip, jadi untuk memastikan bahwa itu

menggunakan versi terbaru mari kita jalankan perintah python-m, kita akan melakukan dash

dash instalasi pip,

upgrade dan kami akan ingin meng-upgrade paket pipkami, jadi hanya pergi maju tekan di

enter, dan Anda sekarang sudah berhasil menginstal paket pip terbaru, oke sejauh ini begitu

baik sekarang kita dapat mulai menginstal paket kami,

dan yang pertama yang kita perlukan adalah paket yang disebut pytorch, ini adalah

perpustakaan open source untuk melakukan perhitungan menggunakan grafik alirandata, jadi

ini adalah representasi yang mendasari model pembelajaran mendalam, untuk itu mari kita

jalankan instalasi pip perintah dan di sini kita membutuhkan versi tertentu, jadi di sini ada di

obor lagu versi 1.7,

dan unduh dari situs webini, sekarang jika Anda memiliki masalah atau Anda menonton ini

berbulan-bulan di masa depan periksa dokumen instalasi github untuk melihat versi mana

yang akan digunakan, jadi Anda terus menjalankan ini, dan sekarang kami menunggunya

selesai, oke pytorch sekarang diinstal selanjutnya kami menginstal paket agen ml, jadi kami

hanya memasang agen mlpip, tetapi hanya berjalan seperti ini dapat memberi Anda beberapa

kesalahan kompatibilitas, jadi mari kita coba dan lihat,

dan di sini kita melihat kesalahan di mana kita memiliki versi numpy yangsalah, jadi itu

tidak kompatibel, jadi jika Anda tidak mendapatkan kesalahan itu maka tidak apa-apa terus

berjalan tetapi jika Anda mendapatkan kesalahan seperti yang saya lakukan maka solusinya

adalah menggunakan resolver paket yang berbeda, begitu juga pip install ml agents dan

kemudian dash dash, gunakan fitur dan fiturnya adalah resolver 2020,

jadi jika Anda menggunakan resolver baru dan menjalankan jika di sana Anda pergi sekarang

Anda dapat melihat itu menghapus versi yangsalah, dan menjual yang benar baik-baik saja
sehingga sekarang kita memiliki semua versi yang benar dan kita dapat memverifikasi bahwa

paket agen ml diinstal dengan benar dengan menjalankan perintah,

masuk ke mlagents-learn dan kemudian menggunakan command-help, dan tekan enter, dan

yap jika semuanya berjalan dengan benar maka Anda harus dapat melihat file helm untuk

paket yang dipelajari agen ml,

jadi di sini semuanya berjalan dengan benar sehingga semuanya diinstal denganbenar, dan

pada saat rekaman ini saya menggunakan ml legends rilis 10, dengan paket python 0,22 jadi

sekali lagi jika Anda memiliki masalah atau Anda menonton ini berbulan-bulan di masa

depan periksa dokumen resmi untuk setiap perubahan versi,

Oke sejauh ini begitu baik dan dengan itu sisi python semua diinstal denganbenar, sekarang

sebenarnya ada satu langkah opsional lagi di sini jika Anda melihat di konsol Anda mungkin

melihat beberapa pesan peringatan, sekarang ini tidak terkait langsung dengan paket mlegens

tetapi apakah itu karena salah satu dependensi,

jadi jika Anda menonton ini di masa depan dengan rilis mesin ml lain itu mungkin tidak

menunjukkan peringatanini, sesuatu yang mengatakan itu tidak bisa memuat perpustakaan

dinamis dengan nama cuda rt64 menggarisbawahi 101, jadi jika Anda melihat sesuatu seperti

itu memberitahu Anda bahwa itu tidak dapat menemukan perpustakaan cooldown,

sekarang ini opsional semuanya akan berjalan dengan baik tanpamereka, jadi jika Anda tidak

memiliki GPU Anda dapat melewati langkah ini dan itu akan menggunakan cpu Anda bukan

gpuAnda, tetapi jika Anda memiliki GPU nvidia Anda dapat opsional menginstal cuda, jadi

jika Anda melihat bahwa pesan perhatikan nama perpustakaan yang hilang, jadi dalam kasus

saya, saya melihat perpustakaan yang hilang yang berakhir dengan garis bawah 101.dll,

jadi itu berarti bahwa itu membutuhkan cuda versi 10.1, jadi cukup masuk ke situs web

nvidia dan unduh cuda, namun sekali lagi perhatikanversinya, pada saat rekaman ini versi

cuda terbaru sebenarnya adalah versi 11,

Namun perpustakaan yang hilang adalah versi 10. jadi ketika Anda masuk ke Halaman

download tidak men-download versi 11. alih-alih masuk ke arsip dalam hal ini kami mencari

versi 10.1 jadi silakan dan unduh yang satuitu,

setelah menginstalnya jika Anda sekali lagi menjalankan simpanan agen ml belajar dash dash

help jika Anda menjalankannya lagi Anda harus dapat melihat bahwa peringatanhilang, jadi

sekarang menemukan perpustakaan cooldown namun Anda mungkin melihat peringatan lain,

yang lagi memeriksa namaperpustakaan, sehingga Anda mungkin melihat perpustakaan lain

yang hilang bernama bisa nn64 menggarisbawahi tujuh, jadi ini adalah perpustakaan jaringan

saraf dalam cuda sehingga sekali lagi hanya masuk ke situs nvidia dan mencari coo dnn, jadi

di sini hanya pergi ke depan dan men-download itu,

tetapi sekali lagi perhatikan nama perpustakaan lagi dalam kasus saya, itu hilang kode dnn64

menggarisbawahi7, yang berarti bahwa ia menggunakan versi 7, dan sekali lagi yang terbaru

sebenarnya adalah versi delapan sehingga ketika Anda mengunduhnya pastikan Anda

mengunduh versi tujuhyangbenar,

Ketika Anda mengunduhnya Anda mendapatkan file zip dan di dalam Anda melihat folder

cuda dan sekelompokfile, jadi untuk menginstalnya Anda cukup masuk ke folder instalasi

cuda Anda, jadi dalam kasus saya saya meletakkannya secara default sehingga pada file

program dan nvidia gpu computing toolkit,

kemudian di dalam Anda melihat folder cuda dan di dalam kita melihat kita masuk ke versi

10.1, dan kemudian di sini kita melihat berbagai folder kami jadi silakan saja dan salin semua

ini,

jadi folder sertakan lib dan tempat sampah,jadi ambil saja ini dan seret semuanya di sana, dan

setelah melakukan itu Anda dapat memverifikasi dengan masuk ke dalam perpustakaan

sampah, dan di sini Anda harus dapat menemukan semua dlls, jadi dalam kasus saya cuda

rt64101,
dan yang lainnya adalah bisa nn 64 menggarisbawahitujuh, dan sekarang jika kita

menjalankan agen ml belajar bantuan sekarang Anda harus dapat melihat semuanya berjalan

tanpa peringatan, jadi kami di sini perintah berlari dan tidak ada peringatan, oke sejauh ini

begitu baik, jadi dengan ini kita memiliki semua setup untuk sisi python termasuk

perpustakaan kodon opsional,

sekarang mari kita masuk ke proyek persatuan kami,di sini saya memiliki proyek yang cukup

banyak hanya baru, jadi hanya demo sederhana saya telah menyiapkan paket mesin ml,

bekerja dengan versi unity mulai dari 2018.4, sekarang saya ingin memastikan bahwa video

ini tetap relevan selama mungkin, jadi dalam proyek ini saya saat ini menggunakan 2020.2,

tetapi semuanya bekerja persis sama jika Anda menggunakan 2019.4 atau jika Anda berada di

masa depan menggunakan versi lts 2020, jadi untuk menginstal paket agen ml hanya pergi ke

depan membuka manajer paket, maka di sini pilih paket dan pastikan Anda masuk ke registri

unt, dan di sini hanya gulir ke bawah dan menemukan paket agen ml,

di sini Anda dapat melihat paket stabil terbaru yang merupakan waktu rekaman ini adalah

versi 1.0.6 dan lagi saya ingin video ini relevan untuk waktu yanglama, jadi saya akan

menginstal paket pratinjau terbaru, jadi untuk itu saya akan mengklik ikon roda gigi masuk

ke pengaturan proyek tingkat lanjut, dan di sini saya akan mengaktifkan paket pratinjau, dan

ya saya mengerti begitu di sini pada legenda ml sayadapat memperluasnya melihat versi lain,

dan di sini saya melihat paket pratinjau terbaru yang pada saat rekaman ini adalah 1,6 tetapi

sekali lagi jika Anda berada dalam tahap produksi pengembangan Anda dan Anda

menginginkan stabilitasmaksimum, maka pergilah dengan versi unity lts yang stabil serta

paket agen ml yang stabil,

jadi pilih pilihan Anda dan lanjutkan dan klikinstal, oke itu dilakukan dan Anda dapat

memverifikasi bahwa semuanya diinstal denganbenar, hanya dengan membuat objek

permainan kosong,
dan di sini jika Anda masuk ke komponen tambahan,Anda sekarang harus dapat melihat grup

untuk agen ml dan di sini berbagai skrip, baiklah sehingga kami memiliki semuanya dengan

benar diinstal, sekarang di sini untuk pengujian saya memiliki demo ini yang cukup banyak

diambil dari contoh resmi,

Itu hanya karakter yang bagus dan di sini adalahtujuannya, jadi tujuannya adalah untuk

mengajarkan karakter ini untuk bergerak menuju tujuan dan tidak jatuh dari peta, jadi mari

kita lihat bagaimana kita benar-benar menggunakan agen ml kita, sekarang untuk pertama

kali itu kita perlu membuat agenagen, adalah apa yangakan menjalankan ai kita baik untuk

pelatihan dan kemudian untuk bermain,

dan untuk membuat agen kita hanya membuat skrip c tajam normal,jadi klik kanan di sini,

akan membuat skrip c sharp baru, dan mari kita beri nama ini pindah ke agen tujuan, dan

terus membuka naskah, dan sekarang di sini kita perlu pergi ke sini untuk menambahkan

menggunakan,

masuk ke dalamkesatuan, dan mari kita gunakan kesatuan agen ml, maka di sini mari kita

singkirkan metode default yang tidak kita butuhkan sekarang, dan alih-alih mewarisi dari

perilaku modern, kita akan mewarisi dari kelas agen,

jadi di sini Anda dapat mengklik kanan pada agen dan masuk kedefinisi, dan di sini kita

melihat definisi kelas itu, sehingga seperti yang Anda lihat kita memiliki banyak metode yang

semuanya terkait dengan pembelajaran mesin, sekarang cara agen belajar adalah melalui

pembelajaran penguatan, jadi itu didasarkan pada lingkaran pengamatan yang relatif

sederhana di mana agen mengumpulkan data dari lingkungannya, kemudian membuat

keputusan berdasarkan data yang memiliki dan kemudian mengambiltindakan, dan jika

melakukan tindakan yang benar maka mendapat hadiah, jadi ini adalah siklus berkelanjutan

di mana agen tumbuh untuk belajar berdasarkan pengamatan dan tindakan apa yang

mengarah pada imbalan tertinggi,

Oke jadi mari kita lihat bagaimana menerapkan siklusini, sekali lagi di sini adalah kelas

agen, dan kita perlu mengesampingkandua fungsi, jadi kita perlu mengesampingkan yang

satu ini mengumpulkan pengamatan untuk memberikan agen beberapa pengamatan,

dan kemudian kita juga perlu mengesampingkan yang satu ini yang menerima penyangga

dengan semua tindakankita, oke jadi mari kita kembali ke naskah kita, jadi langkah kita

keagen tujuan, dan pertama-tama mari kita lihat bagaimana ai mengambil tindakan, jadi kita

akan melakukan peniadaan publik,

dan kita akan mengesampingkan tindakan yang diterima yang mengambil

penyanggatindakan, jadi penyangga ini kemudian berisi tindakan kita sebagai pelampung

atau berakhir, sekarang satu hal yang perlu diingat adalah bahwa algoritma pembelajaran

mesin hanya bekerja dengan angka, yang berarti bahwa ia tidak memiliki pemahaman tentang

apa sebenarnya objek pemain, atau apa artinya pindah ke kanan, yang diketahuinya

hanyalahangka,

Lebih mudah untuk memahami hal ini jika kita melihatnyaberaksi, jadi untuk saat ini mari

kita kembali ke editor, dan di sini mari kita pilih agen kami jadi saya memiliki agen bagus

saya di sini, dan saya hanya akan menyeret langkah ke agen tujuan dan melampirkannya di

sana, dan ya di sini adalah langkah kami untuk pergi skrip agen dan ketika kami

menambahkan ini juga menambahkan skrip parameter perilaku,

ini adalah berbagai parameter yang digunakan ai kita pertama kali kita memiliki

namaperilaku, jadi mari kita ganti nama ini untuk pindah ke pergi, jadi berikan nama yang

tepat untuk agen ini, dan kemudian di sini mari kita lihat tindakan vektor, jadi mari kita

pelajari apa artinya ini pertama-tama Anda memiliki tipe ruang, jadi di sini Anda dapat

memilih antara script dan terusmenerus, sekarang pada dasarnya diskrit adalah bilangan bulat

sehingga Anda dapat memiliki 0 1 2 3 dan seterusnya, dan terus menerus adalah Floats, jadi

akan antara minus 1 sampai plus 1 dan semua angka diantara, jadi 0.2.3 minus 0,4 dan
seterusnya, kita akan melakukan tes cepat untuk melihat perbedaan ini dalam sedikit, mari

kita pelajari tentang parameter lain,jadi pertama jika Anda memilihterus menerus,

di sini Anda melihat ukuran ruang dan ini adalah berapa banyak tindakan yang tidak akan

Anda dapatkan padavektor, jadi misalnya jika Anda menempatkan 2 di sini, maka dalam

kode jika kita memeriksa buffer tindakan kita, kita melihat bahwa ini berisi dua segmen

tindakan satu untuk tindakan terus menerus dan satu untuk tindakan diskrit,

jadi segmen tindakan di sini pada dasarnya adalah array sehingga ketika Anda mengatur

ukuran ruang Anda mendefinisikan ukuran untuk array dari jenis yang Andapilih, jadi jika

Anda menetapkan ukuran ruang dua maka ini akan memiliki dua posisi dengan duanilai, nilai

pada indeks nol dan satu lagi pada indeks satu,

dan kemudian jika Anda memilihdiskrit, ukurannya sama sehingga berapa banyak nilai yang

Anda dapatkan pada array itu, tetapi kemudian Anda juga memiliki parameter kedua yang

merupakan nilai maksimum untuk cabang ini, jadi seperti yang saya katakan diskrit berarti

bilangan bulat atau bilangan bulat,

Jadi misalnya jika Anda memasukkan 1 disini, maka Anda tidak akan mendapatkan nilai

tindakan hanya nol, tetapi jika Anda menempatkan dua maka Anda akan mendapatkan nilai

tindakan nol atau satu, dan jika Anda menempatkan lima maka Anda bisa mendapatkan nol

satu dua tiga atau empat,

dan setiap cabang dapat memiliki ukuran sendiri jadi misalnya jika Anda membuat ai mobil

Anda akan membuat cabang pertama mengacu pada mempercepat danmelanggar, sehingga

Anda akan meletakkannya dengan dua nilai, dan kemudian untuk cabang kedua katakanlah

itu akan mewakili berputar, sehingga Anda akan menempatkan tiga nilai satu untuk berbelok

ke kiri berbelok ke kanan dantidak berbalik,

Oke sekarang sebelum kita melangkah lebih jauh dan melihat bagaimana

mendefinisikanpelatihan, mari kita uji tindakan ini untuk mendapatkan pemahaman yang
lebih baik tentang bagaimana semua ini bekerja, jadi pertama-tama mari kita letakkan diskrit

hanya dengan satu cabang tetap sederhana dan mari kita letakkan dengan ukuran lima, dan

sekarang di sini dalam kode kita hanya melakukan debug.log,

kita masuk ke dalam buffertindakan, kemudian kita mengakses tindakan diskrit kita, dan

mari kita cetak apa yang ada di indeks 0. karena kita hanya memiliki satu cabang yang berarti

kita memiliki satu nilai pada array ini sehingga nilai berada pada indeks nol, oke sekarang

sebelum kita dapat menguji ai ini kita perlu menambahkan satu hal lagi,

di sini di agen kami mari kita tambahkankomponen, masuk ke agen ml dan kami akan

menambahkan pemohon keputusan, seperti yang saya katakan sebelumnya cara kerja

pembelajaran penguatan, adalah melalui siklus tindakan keputusan pengamatan dan

penghargaan,

jadi untuk mengambil tindakan kita harus terlebih dahulu memintakeputusan, dan apa yang

dilakukan skrip ini hanyalah meminta keputusan setiap jumlah waktu tertentu dan kemudian

mengambiltindakan, sekarang ada cara lain untuk meminta keputusan tetapi untuk saat ini

mari kita gunakan skrip sederhana ini, oke jadi di sini kita siap untuk memulai pelatihan dan

menjalankan tes kita untuk melihat apa yang akan dihasilkan AI di sini,

jadi untuk itu mari kita kembali ke command promptkami, dan di sini pastikan Anda berada

di dalam lingkungan virtual dan untuk melatihnya sangat mudah kita hanya menjalankan

perintah ml agen dashalert, jadi hanya tekan enter dan yep kita melihat logo kesatuan ascii

yang bagus dan pesan yang memberitahu kita bahwa kita dapat mulai berlatih dengan

menekan tombol bermain, jadi lakukan saja di sini tekan tombol putar, dan ya kita sekarang

memiliki pelatihan kami berjalan,

jadi kita dapat memeriksa command prompt yep kita memiliki semuanyaberjalan, sehingga

mendengarkan itu dan itu menjalankan pelatihan kami dan di sini kita dapat
memeriksakonsol, dan sekarang kita dapat memverifikasi dan melihat apa vektor tindakan

yang sebenarnya berisi,

Jadi mari kita jatuh dan di sini kita dapat melihat bahwa kita menempatkan hanya satu cabang

dengan ukuran cabanglima, jadi di sini kita memiliki nilai-nilai pergi dari nol satu dua tiga

dan empat, jadi kita memiliki lima nilai nol sampai empat, jadi ini adalah apa artinya

memiliki vektor diskrit dengan ukuran cabang lima, sekarang mari kita uji dengan tipe

kontinu untuk melihat tindakan apa yang kitadapatkan,

jadi di sini mari kita menukarnya dari diskrit menjadi kontinu dan dengan ukuran ruang

hanyasatu, maka di sini dalam kode itu hampir sama satu-satunya perbedaan adalah kita

mengakses segmen tindakan untuk tindakan terus menerus bukan diskrit, dan posisinya sama

pada indeks nol,

dan sekarang kami ingin menjalankan tesini, jadi di sini di baris perintah pertama-tama kita

dapat melihat bahwa tes sebelumnya bekerja dengan benar sehingga kita memiliki pelatihan

kita, kita memiliki model kita dan seterusnya, dan di sini jika kita menjalankan perintah yang

sama persis ml agen belajar, jika kita menjalankannya seperti ini di sana itu adalah kita

mendapatkan kesalahan,

dan kesalahannya adalah karena kami mencoba menjalankan pelatihan lagi menggunakan id

default yangsama, jadi di sini kami memiliki dua opsi yang dapat kami sebut agen ml kami

pelajari, dengantag gaya, jadi ini akan menimpa data sebelumnya, atau kami dapat

menentukan nama id yang berbeda, jadi mari kita coba lakukan itu sehingga dash run dash id,

sama dan kemudian sesuatunama, jadi katakanlah test2, jadi sekarang jika kita terus

menekan masuk dan ya kita memilikinya kita mendengarkan di pelabuhan jadi hanya mulai

pelatihan, jadi hanya memukulnya dan mari kita lihat dan ya kita memiliki pelatihan berjalan

dan sekarang kita dapat melihat apa yang satu ini tidak,
jadi kita bisa melihat seperti apa tindakan terusmenerus, jadi di sini kita mendapatkan nilai

cukup banyak antara minus satu dan ditambah satu dan segala sesuatu diantaranya, baiklah

sekarang Anda harus memiliki pemahaman yang lebih baik tentang bagaimana tindakan

bekerja,

jadi diskrit adalah bilangan bulat dan terus menerus kita punya pelampung dari -1 ke

plussatu, sehingga seperti yang Anda lihat ini benar-benar hanya angka sehingga terserah

Anda untuk memutuskan apa yang mereka wakili, sekarang mari kita lihat bagian lain dari

siklus pembelajaran penguatan, mari kita lihat pengamatan, jadi kembali ke kode di sini,

cara kami mengumpulkan pengamatan adalah dengan mengesampingkanfungsi, jadi kami

hanya melakukan peniutan publik dan kami akan mengesampingkan pengamatan yang satu

ini yang mengambil sensor vektor, dan segera setelah Anda melakukannya di sini akan

menambahkan sensor agen ml kesatuan yang menggunakan, jadi di sinilah sensor ini ada, jadi

kami memiliki fungsi pengamatan pengumpulan kami,

dan sekarang pengamatan adalah bagaimana agen mengamatilingkungannya, jadi anggap

saja seperti input untuk ai, dan jelas ini akan berbeda berdasarkan masalah apa yang Anda

coba selesaikan,

Jadi pada dasarnya Anda perlu memikirkan data apa yang dibutuhkan AI untuk memecahkan

masalah yang Andaberikan, sekarang tujuan kami dalam contoh ini, adalah kami memiliki

karakter dan kami memiliki tujuan dan kami ingin memindahkan karakter ke arah tujuan, jadi

jika Anda memikirkannya jika Anda mengendalikan pemain jadi informasi apa yang Anda

butuhkan,

yah pertama-tama jelas Anda perlu tahu di mana Andaberada, jadi kita harus lulus di posisi

pemain, dan kemudian Anda juga perlu tahu di mana targetnya sehingga kita juga perlu

melewati posisi itu, jadi di sini dalam naskah bagaimana kita meneruskannya ke ai sangat

sederhana kita hanya masuk ke sensor dan memanggil fungsi menambahkan pengamatan,
dan di sini pertama mari kita lulus di transform.position, jadi posisi pemain sehingga dengan

ini ai akan memiliki data untuk posisipemain, dan kemudian mari kita juga lulus dalam posisi

target jadi di sini mari kita tambahkan film serial untuk referensi, jadi transformasi untuk

transformasi target, jadi kembali di editor kita memiliki film kita mari kita seret saja

transformasi emas di sana,

dan di sini kita melakukan hal yang sama sensor menambahkan pengamatan dan lulus dalam

posisi transformasitarget, baiklah, jadi dengan kedua posisi ini ai harus memiliki cukup data

yang diambil dari pengamatan lingkungannya agar dapat menyelesaikan tugasnya,

jadi kita melewati dua pengamatan ini dan kembali ke sini mari kita sekarang melihat

parameter pengamatanvektor, jadi kita melihat ukuran ruang jadi ini adalah berapa banyak

input yang akan kitaberikan, dan kembali ke kode kami Anda mungkin berpikir bahwa kita

mengirim dua input,

namun kami hanya mengirim dalam dua posisi dan Anda harus ingat bahwa posisi benar-

benar vektortiga, yang terdiri dari tiga beban untuk x y dan z, jadiuntuk masing-masing dari

dua posisi ini masing-masing melewati tiga nilai, jadi dengan dua posisi kita benar-benar

melewati dalam enam nilai atau enam mengapung, jadi di sini untuk ukuran ruang

pengamatan kita akan mengaturnya menjadienam,

maka parameter lainnya adalah vektorsekte, jadi ini untuk kasus penggunaan yang lebih maju

di mana Anda membutuhkan ai untuk memiliki semacam memori, jadi jika Anda

mengaturnya menjadi satu maka hanya dibutuhkan satu pengamatan mengambil semua enam

nilainya dan membuat keputusannya, dan jika Anda mengatur ini menjadi dua maka

dibutuhkan satu pengamatan dan juga yang terakhir dan menggunakan keduanya untuk

membuatnya. keputusan,

jadi misalnya jika Anda melewati vektor bertumpuk lebih darisatu, dan Anda menggunakan

posisi sebagai pengamatan, maka ai kemudian dapat menyimpulkan arah objek, tetapi seperti
yang saya katakan itu untuk kasus penggunaan yang lebih maju jadi di sini mari kita tetap

sederhana dan hanya meletakkannya di satu,

baiklah sehingga dengan ini kami memiliki pengamatan kami diurus dan kami sudah melihat

bagaimana tindakanbekerja,

jadi sekarang mari kita benar-benar menggunakan tindakan-tindakan itu lagi tujuan dalam tes

ini adalah untuk memindahkan karakter menujutujuan, jadi untuk itu mari kita mengatur

ruang aksi menjadi terus menerus sehingga kita memiliki pelampung, dan mari kita atur

untuk menerima dua, jadi kita akan menerima satu untuk gerakan x karakter kita dan satu

lagi untukgerakan z, jadi kembali ke sini dalam kode kami mari kita ambil tindakan kita, kita

akan mendefinisikan posisi pertama sebagai x, jadi kita mengapung bergerak x kita masuk ke

tindakan kita, dalam hal ini kita menggunakan tindakan terus menerus, sehingga Anda

mengambil yang satu pada indeks nol ini akan menjadi bergerak kita x, dan kemudian yang

lain pada indeks satu adalah untuk bergerak z.

jadi sekali lagi seperti yang saya katakan ai hanya bekerja denganangka, jadi ini bukan hanya

mengapung dan terserah Anda untuk menentukan apa yang mereka wakili, jadi di sini saya

mengatakan bahwa pelampung pertama pada indeks nol mengacu pada bergerak x, dan yang

ada di indeks satu mengacu pada moveset, jadi kami memiliki ini dan kemudian mari kita

lakukan transformasi yang sangat mendasar, jadi hanya mengubah bergerak posisi hanya

meningkatkan itu mari kita membuat tiga baru dengan bergerak x, dengan nol pada y kita

tidak ingin bergerak pada y dan bergerak z,

kemudian kita kalikan ini dengan waktu dot delta waktu dan kemudian dengan kecepatan

bergerak tertentu,jadi di sini kita melipat untuk kecepatan bergerak dan untuk saat inimari

kita tinggalkan hanya pada satu, oke jadi dengan logika yang sangat mendasar ini ai harus

dapat memindahkan karakter, sekarang sekali lagi mari kita kembali ke siklus belajar

penguatan,
kami telah mengurus keputusan dan tindakanpengamatan, sekarang yang tersisa hanyalah

menambahkan hadiah, tujuan kami di sini adalah agar karakter mencapai target, dan karakter

kami di sini memiliki tubuh yang kaku serta penyorotan kotak,

dan kemudian pada target itu sendiri juga sebagai collider dengan set untuk memicu,sehingga

kita dapat dengan mudah menguji tabrakan ini, jadi pada agen di sini kita hanya

menambahkan kekosongan pribadi yang sangat dasar, kita menambahkan pada pemicu masuk

dan ketika kita memasuki pelatuk maka kita memiliki tujuan kita,

sekarang ada dua cara agar kita dapat memberikanhadiah, kita dapat memanggil fungsi yang

ditetapkan hadiah, jadi yang satu ini menetapkan hadiah ke jumlah tertentu, dan kemudian

Anda juga memiliki yang lain yang menambahkan hadiah yang menambah hadiah saat ini,

jadi misalnya ketika membuat driver kartu ai Anda akan meningkatkan pada setiap pos

pemeriksaan yang Andapukul, tetapi di sini kita hanya memiliki satu tujuan sehingga

menggunakan hadiah yang ditetapkan sempurna, jadi cukup panggil tetapkan hadiah dan atur

untuk katakanlah 1f, sekarang nilai spesifik yang Anda pilih ere tidak terlalu penting, jadi

bisa 1 atau 10 atau 0,3 atau hampir semua hal,

itu hanya penting relatif terhadap imbalan Anda yang lain seperti misalnya ketika kita

menabrakdinding, kita harus memberikan penalti besar, oke jadi dengan ini kita menetapkan

hadiah ketika kita memukul collider, sekarang hal lain tentang bagaimana agen ml bekerja

adalah konsep episode, jadi satu episode pada dasarnya adalah satu lari, dan episode harus

berakhir ketika karakter baik mencapai tujuan akhir atau kalah, jadi di sini setelah

menetapkan hadiah mari kita akhiri episode kami, jadi kita hanya memanggil fungsi dan

episode, jadi ini akan mengakhiri episode dan kemudian ketika episode berakhir,

permainan tidak benar-benarberhenti, tetapi kita perlu beberapa cara untuk mengatur ulang

negara sehingga kita dapat melatihlagi, sehingga kita dapat menimpa yang lain, sehingga

kekosongan menimpa publik, dan kita akan mengesampingkan fungsi pada episode mulai,
jadi yang satu ini dipanggil segera setelah episode dimulai dan di sini kita dapat mengatur

ulang semuanya kembalinormal, sekarang dalam contoh yang sangat sederhana ini kita

hanya perlu mengatur ulang posisi karakter.

kembali ke keadaanawalnya, yang untuk saat ini untuk demo sederhana yang saya miliki di

sini keadaan awal hanya pada nol nolnol, sekarang nanti kita akan menambahkan beberapa

keacakan tetapi untuk saat ini mari kita tetap sederhana dan mengatur ulang kembali ke titik

yang sama, jadi di sini hanya mengubah posisi itu dan meletakkannya pada vektor 3.0,

jadi ini akan mengatur ulang negara dengan benar sehingga dapat berlatihlagi, oke jadi di

sini kita memiliki hampir semuanya siap untuk dilatih, hal terakhir yang kita butuhkan

hanyalah penalti, jadi di sini untuk membuat pelatihan kita lebih efektif,

Mari kita tambahkan beberapa kolektor ditepi, sehingga kita bisa memberikan hadiah negatif

dan kemudian mengakhiri episode, jadi mari kita membuat isyarat 3d baru, mari kita beri

nama ini dinding dan mari kita letakkan di tepinya, oke jadi di sini saya menambahkan

beberapa dinding hanya beberapa collider dasar,

dan mari kita juga membuatnya sebagaipemicu, dan sekarang kita hanya perlu

mengidentifikasi apakah pemain bertabrakan dengan tujuan atau dinding, jadi untuk itu mari

kita buat beberapa komponen tag dasar, jadi satu untuk tujuan dan satu lagi untuk dinding,

dan hanya tambahkan komponen kosong hanya untuk berfungsi sebagai tag, jadi dinding dan

tujuannya jadi sekarang di sini ketika kita memiliki untrigger masuk,

kita bisa masuk ke yang lain dan mencoba mendapatkankomponen, pertama-tama mencoba

mendapatkan tujuan, jadi jika itu memiliki tujuan maka kita akan memberikan hadiah positif

dan mengakhiri episode, dan kemudian kita memeriksa apakah itu memiliki dinding sebagai

gantinya, jika demikian maka kita akan memberikan hadiah negatif dan juga dalam episode,

Baiklah, jadi itulah semuanya harus hampir selesai, sekarang sebelum kita benar-benar mulai

melatih hal pertama yang harus kita lakukan adalah memvalidasi untuk memastikan bahwa
semuanya memang berhasil, jadi untuk pengujian ada hal lain yang dapat kita lakukan yaitu

kita dapat mendorong tindakansendiri, jadi mari kita mengesampingkan fungsi lain, jadi kita

akan mengesampingkan yang satu ini,

itu disebut heuristik dan mengambil dan tindakan untuk buffertindakan, dan sekarang di sini

kita pada dasarnya dapat memodifikasi tindakan yang kemudian akan diterima oleh fungsiini,

jadi dalam hal ini kita menggunakan tindakan terus menerus, jadi kita masuk ke tindakan

keluar dan kita mengakses tindakan terus menerus, ini adalah jenis segmen tindakan

mengapung,

jadi kita mendapatkannya dan kemudian kita dapat dengan mudahmemodifikasi, mereka

sehingga dalam hal ini mari kita gunakan input untuk memindahkan karakter dengan

tombolpanah, jadi kita hanya memodifikasi nilai-nilai ini, jadi pertama pada z kita punya

bergerak x, jadi mari kita masuk ke input untuk mendapatkan sumbu mentah untuk

horizontal, Dan kemudian vertikal,

Oke jadi ini hanya untuk pengujian dan sekarang kembali ke editor kita memilih agenkami,

dan di sini kita memiliki film untuk jenis perilaku, jadi kita memiliki heuristik default dan

inferensi, sekarang dalam hal ini kita dapat secara manual mengaturnya ke heuristik saja yang

akan memaksanya untuk menggunakan heuristik,

atau Anda dapat membiarkannya sebagai default dan selama Anda tidak memiliki python

dengan agen mlberjalan, dan Anda tidak memiliki model yang dipilih itu akan secara

otomatis menggunakan heuristik, jadi jika kita melakukan seperti ini dan kita jalankan di sini

adalah permainan berjalan dan jika saya menggunakan tombol mouse,

Yap sekarang saya dapat memindahkankarakter, mari kita tingkatkan kecepatan dengan

sedikit, oke saya memiliki kecepatan sekarang mari kita pastikan bahwa semuanya bekerja,

jadi pertama-tama gerakan bekerja, jadi kita benar-benar melewati tindakan dan memetakan
tindakan-tindakan itu menjadi gerakan, selanjutnya mari kita coba memukul dinding jadi naik

ke sana menabrak dinding,

dan jika di sana Anda pergi itu memangterjadi, sehingga mengakhiri episode seperti yang

Anda lihat reset kembali ke nol, dan sekarang jika kita mencapai tujuan ya juga terjadi,

baiklah sehingga di sini kita dapat memverifikasi bahwa semuanya bekerja dengan sempurna

dan kami memiliki segalanya siap untuk pelatihan,

sekarang untuk melatih adalah hal yang sama persis yang kita lihatsebelumnya, hanya di sini

pastikan bahwa jenis perilaku diatur kembali ke default, dan kemudian membuka command

prompt, dan di sini mari kita jalankan hal yang sama seperti yang kita lihat sebelumnya, jadi

mari kita berikan id yang berbeda dan katakanlah ini adalah tes tiga,

jadi tekan pada masuk dan ya sekarang mendengarkan jadi mulaipelatihan, jadi hanya tekan

pada bermain, dan jika ada itu ada kami memiliki agen kami dan itu benar bekerja, sehingga

Anda dapat melihat sekarang itu memang akan melalui proses pelatihan,

Jadi itu mencoba segala macam nilai sampai menemukan sesuatu yang mungkin memberikan

hadiahpositif, sekarang yang harus kita lakukan adalah menunggu, namun ada satu hal yang

dapat kita lakukan untuk mempercepat pelatihan secara besar-besaran, dan mari kita juga

memecahkan satu masalah potensial yang mungkin terjadi,

Jadi jika masalahnya adalah bahwa jika ai tidak pernah menyentuhtujuan, maka mungkin

hanya belajar untuk menghindari dinding dan hanya tinggal di tempatselamanya, sehingga

kita dapat memperbaiki bahwa untuk memastikan bahwa tidak terjadi dengan menetapkan

langkah maksimal,

jadi di sini pada agen kita dapat melihat bidang untuk langkahmaksimal, sekarang langkah

seperti pembaruan pada pelatihan, secara default berjalan 50 kali per detik persis sama

dengan pembaruan fisika, jadi di sini mari kita berikan langkah maksimal dari sesuatu seperti

seribu,
Hanya untuk memastikan bahwa episode berakhir dan tidak berjalanselamanya, oke jadi itu

satu masalah terpecahkan dan di sini mari kita hanya visual menyembunyikan dinding, hanya

agar terlihat sedikit lebih baik, sekarang untuk mempercepat pelatihan itu sangat sederhana,

kita hanya bisa menggunakan lebih dari satu agen,

Jadi mari kita ambil semua lingkungan pelatihan kita di sini dan memasukkan objek

yangsebenarnya, jadi hanya wadah mari kita beri nama lingkungan kita, dan mari kita seret

seluruh lingkungan kita ke dalam sana, dan kemudian kita mengambil ini dan mari kita seret

saja ke file proyek kita untuk membuatnya menjadi prefab, jadi kita memiliki prefab kita dan

sekarang kita hanya menyalin pasta ini beberapa kali,

jadi cukup duplikat letakkan satu sama lain di sana dan sekarang lagi Anda dapat

menempatkan sebanyak yang Anda inginkan untuk berlatih sedikit lebih cepat daripada

hanya satusekaligus, baiklah, jadi di sanalah di sini kita memiliki 20 lingkungan, semuanya

dengan benar untuk pelatihan, sekarang ada satu hal yang sangat penting ketika

menggunakan metode ini, di sini kita menduplikasi dan menggerakkan lingkungankita,

Jadi jika Anda mengambil pendekatan ini untuk mempercepat pelatihan Anda perlu

memastikan bahwa semua logika Anda bekerja berdasarkan komposisi rendah dan bukan

pada posisiglobal, jadi misalnya karakter ini di sini memang pada posisi lokal 0, tetapi pada

posisi global 13, jadi jika Anda mengatur ulang kembali ke posisi level 0 maka itu akan

kembali ke sana,

dan bukan ke mana ia harus benar-benarpergi, jadi di sini pada logika kita kita menggunakan

posisi dan mari kita hanya mengganti semua contoh posisi dalam komposisi rendah tersebut,

oke semuanya seharusnya tidak bekerja, dan sekarang di sini hanya untuk membuat ini lebih

mudah untuk memvisualisasikan saya akan menambahkan sesuatu, jadi pada naskah saya

akan menambahkan dua bidang lagi,

jadi hanya beberapa referensi untuk bahan angin dalam bahan longgar dan renderer

meshlantai, ini hanya agar kita dapat memvisualisasikan pelatihan jelas ini tidak perlu, jadi

hanya pergi ke sini ketika kita memiliki angin kita, mari kita mengatur bahan rendering mesh

lantai ke dalam bahan angin,

dan ketika kita kalah mari kita atur ke materi yang tidakloyal, jadi kembali ke editor mari

kita buka prefab pilih agen, dan di sini kita memiliki bidang kita mari kita lewati di lapangan

untuk platform,

dan hanya menang dan materipenyakit, sekali lagi ini hanya untuk visual hanya untuk

membuatnya lebih mudah untuk melihat pelatihan terjadi pada video, itu jelas tidak perlu

untuk benar-benar melatih mesin, oke, sekarang sebelum kita memulai pengujian massal,

mari kita pastikan semuanya bekerja, jadi sekali lagi divalidasi hanya dengan heuristik saja,

Dan mari kita lihat,

Inilah semua agen dan yep kami semua bergerak dan itu bekerja denganbaik, dan jika kami

pergi ke dinding, ya itu berubah menjadi merah sehingga kami dapat dengan mudah

memvisualisasikan bahwa pelatihan gagal, dan di sana ada belokan terbuka yang terlalu hijau,

oke, jadi logikanya berfungsi dan kami dapat memvisualisasikan pelatihan,

Sekarang kami siap untuk melakukan beberapa pelatihan massal hanya masuk ke agen Anda

dan pastikan bahwa jenis perilaku berada padadefault, dan sekarang dengan command

prompt kami, mari kita jalankan agen ml kami belajar, dan untuk menjalankan id dan mari

kita berikan id yang tepat, jadi mari kita beri nama itu pindah untuk pergi, Oke jadi jalankan

saja dan sudah siap jadi cukup tekan tombol putar, dan di sini kita bisa melihat semua agen

terjadi kita melihat beberapa merah,

beberapasayuran, dan ya itu benar-benar belajar cukup cepat, sehingga Anda melihat

beberapa merah terjadi dan sekarang itu benar-benar hanya sebagian besar hijau, jadi seiring

waktu agen belajar dan itu terus-menerus menjadi lebih baik dan lebih baik,
dan dengan contoh yang sangat sederhana ini setelah hanyasedikit, ya semuanya bekerja dan

kita dapat melihat hampir semuanya berwarna hijau, jadi di sini kita memiliki ai yang dengan

benar belajar bagaimana bergerak menuju tujuan target,

Oke jadi itu luarbiasa, sekarang mari kita berhenti berlatih jadi hentikan saja editor, dan di

sini di command prompt Anda dapat melihatnya menyimpan model dan otak adalah titik ini

pada file x, dan Anda dapat melihat bahwa menyalin hasil untuk hasil bergerak untuk pergi

pindah ke tujuan dan kita memiliki otak, jadi buka file explorer dan masuk ke folder proyek

Anda,

dan di sini masuk ke dalamhasil,dalam hal ini kita memiliki langkah ke tujuan, dan di sini

kita memiliki langkah untuk pergi pada titik onyx ini adalah otak kita, jadi silakan copy pasta

ini ke aset normal kita, dan di sini kita dapat melihat pindah ke tujuan sehingga kita memiliki

otak yang bagus, Jadi ini adalah model jaringan saraf kami,

dan sekarang untuk menggunakan otakini, mari kita pilih lingkungan kita, jadi untuk saat ini

mari kita nonaktifkan semua yang lain hanya untuk melihat yang satu ini beraksi, jadi pilih

agen dan cukup klik dan seret dan tetapkan model jaringan saraf kita, dan kemudian pada

jenis perilaku kita dapat meninggalkannya sebagai default atau Anda dapat langsung

mengaturnya ke kesimpulan saja,

Inferensi berarti menggunakan model otak daripadapelatihan, oke jadi mari kita uji seperti

ini dan kita harus dapat melihat karakter kita menggunakan otak ini untuk mencapaitujuan,

dan jika di sana kita memiliki karakter kita dengan benar menggunakan otak kita untuk

mencapai tujuan kita,

baiklah jadi selamat Anda baru saja melatih ai pembelajaran mesin pertamaAnda, luar biasa,

sekarang tantangan sebenarnya dalam pembelajaran mesin adalah bagaimana melakukan

pelatihan secara efektif,

Jadi ada desain skenario pelatihan Anda yang sangatpenting, jadi misalnya di sini kami

menguji pengaturan yang sangat sederhana, jadi kami hanya mendapatkan karakter untuk

pindah dari sini sampai ke sini, jadi itulah yang dipelajari ribuan tahun tetapi jika saya

sekarang mengambil tujuan ini,

dan saya hanya memindahkannya ke sini dan anda di sana Anda pergi tiba-tiba karakter tidak

tahu apa yang harusdilakukan, dengan cara yang kita mengatur pelatihan kami ai kami hanya

belajar bahwa itu bergerak ke kanan dan mendapathadiah,

Jadi dengan memindahkan transformasi itu tidak benar-benar belajar bagaimana untuk masuk

ke posisi tujuan yangsebenarnya,

Jadi ini adalah contoh mata yang sangat sederhana tidak tahu apa yang harus dilakukan

karena tidak dilatih untuk tujuan yangbergerak, jadi inilah mengapa ketika pelatihan

biasanya Anda ingin menambahkan beberapa keacakan untuk mencegah ai dilatih hanya pada

satu skenario yang sangat spesifik, jadi ada banyak yang dapat Anda lakukan untuk

menentukan skenario pelatihan yang tepat,

dan kemudian ada juga banyak parameter yang dapat Andamainkan, parameter untuk

algoritma disimpan dalam file konfigurasi, jadi jika Anda masuk ke halaman github ke

dokumen untuk lingkungan belajar, buatyangbaru,

dan Anda menggulir sepanjang jalan ke bawah disini, kita dapat melihat format untuk file

yaml pelatihan, jadi di sini saya hanya akan melanjutkan dan menyalin semua ini, kemudian

ke folder proyek, mari kita buat folder baru menjaga hal-hal yang baik dan terorganisir

namanya dikonfigurasi,

dan sekarang di sini mari kita buat hanya objek teksbaru, namanya pindah ke goal.yml, lalu

buka saja ini dengan notepad atau editor teks apa pun, dan di sini cukup sampaikan parameter

tersebut,
sekarang di sini saya tidak akan membahas terlalu banyak detail ke setiap parameterini, jika

Anda mau Anda dapat masuk ke dokumen github untuk melihat apa yang masing-masing

lakukan, jadi di sini ada cukup banyak hanya satu hal yang perlu kita ubah, yang ada di sini

nama ini di sini adalah nama otak yang ingin kita latih,

jadi di sini di agen kami, kami memberikannya nama perilaku pindah ke tujuan jadi itulah

yang perlu kamitambahkan, jadi di sini alih-alih rollerball mari kita gunakan nama itu, oke

jadi lanjutkan simpanfile itu, jadi di sini ada di folder konfigurasi pindah ke gold.yml, dan

sekarang setelah Anda memiliki file ini Anda dapat menjalankan pelatihan menggunakan

parameter ini,

jadi buka saja editor perintah dan kita akan menjalankan dash agen mlbelajar, dan kemudian

kita lulus dalam konfigurasi, jadi itu pada konfigurasi, dan kemudian kita memiliki dalam hal

ini pindah ke tujuan dot yaml,

dan kemudian mari kita berikan id run mari kita beri nama parameteruji, dan sekarang sama

seperti sebelumnya, jadi cukup klik masuk dan sekarang siap untuk dijalankan, jadi di sini

pada mesin mari kita atur kembali ke default sehingga menjalankan pelatihan dan

menjalankannya,

dan ya sekarang agen sedang berlatih dan itu pelatihan menggunakan parameterkustom,

sekali lagi seperti yang saya katakan pergi memeriksa halaman itu untuk melihat apa yang

mereka semualakukan, sekarang dengan satu hal lagi yang perlu kita pelajari adalah

bagaimana kita memperbaiki model,

Jadi sebelumnya kami membuat model ini yang bekerja cukupbaik, karakter pergi ke sana

dan itu menuju target tetapi seperti yang kita lihat jika kita tiba-tiba memindahkan tujuan dan

tiba-tiba karakter benar-benar gagal,

jadi kita dapat mengambil model ini dan memperbaikinya jadi pertama-tama mari kita

tingkatkan skenario pelatihan yang sebenarnya,jadi mari kita tambahkan beberapa keacakan

pada posisi awal tujuan serta karakter,

jadi di sini ketika kita memiliki episode padadimulai, mari kita mengambil posisi lokal

transformasi dan menambahkan beberapa keacakan, sehingga faktor baru 3 random.range dan

mari kita lihat nilai acak,

jadi di sini adalah agen pada posisi lokal 0 jadi mari kita pergi dari yang satu begitu pada

minus tiga dan mari kita naik ke mungkin ditambahsatu, jadi untuk x dari minus tiga f ke

ditambah satu f, maka untuk y mari kita tinggalkan pada nol, dan kemudian untuk z mari kita

lihat, jadi mari kita pergi dari -2 sampai ke plusdua,

Oke jadi kita memiliki karakter pada posisiacak, dan kemudian mari kita juga memindahkan

target transformasi, jadi di sini mari kita ambil tujuan dan mari kita lihat keacakan, pertama-

tama pada x mari kita mulai yang satu ini jadi pada 2,4 dan kita akan acak sampai itu, jadi

antara 2,4 dan 5. jadi di sini antara dua titik empat f dan lima f, jadi kita akan acak sampai itu,

jadi antara2,4 dan 5. jadi di sini antara dua titik empat f dan lima f, jadi di sini antara dua titik

empat f dan lima f, jadi di sini antara dua titik empat f dan lima f, jadi kita akan acak sampai

itu, jadi antara 2,4 dan 5. jadi di sini antara dua titik empat f dan lima f, jadikita akan acak

sampai itu, jadi antara 2,4 dan 5. jadi di sini antara dua titik empat f dan lima f, jadi kita akan

acak sampai itu, jadi antara 2,4 dan 5. jadi di sini antara dua titik empat f dan lima f, jadi kita

akan acak sampai itu, jadi antara 2,4 dan 5. jadi di sini antara dua titik empat f dan lima f, jadi

kita akan acak sampai itu,jadi antara 2,4 dan 5. jadi di sini antara dua dan kemudian untuk

tujuan ini, mari kita mulai dari semua jalan di sana jadi dari minus dua sampai ditambahdua,

oke jadi dengan ini setiap kali kita memulai episode baru kita akan memilih posisi

acakyangberbeda,
jadi ini akan memungkinkan model untuk benar-benar belajar bagaimana menuju target

daripada hanya posisitertentu, sekarang sekali lagi sebelum kita melakukan apa pun mari kita

validasi untuk memastikan bahwa semuanyabekerja, jadi di sini mari kita pilih heuristik saja,

dan ya, itu melahirkan pada posisi acak dan sekarang jika saya berakhir dan jika berada pada

posisi yang berbeda berbeda dan seterusnya, oke jadi baik karakter dan tujuan mereka berdua

pada posisi acak, oke jadi sekarang mari kita jalankan pelatihan dan memperbaiki model

sebelumnya, jadi untuk itu mari kita jalankan hal yang sama sehingga agen ml belajar kita

lulus dalamkonfigurasi, dan kemudian cara kita belajar dari otaksebelumnya, adalah dash

dash berinisial dari, dan kemudian kita lulus dalam run id yang sebelumnya kita gunakan,

yang dipindahkan ke tujuan, sehingga akan memuat otak itu, dan kemudian mari kita berikan

id lain sehingga dash dash run dash id,

sama dengan pindah ke tujuan 2 oke jadi mari kita tekanenter, sekarang sudah siap untuk

belajar dan di sini mari kita hanya mengaktifkan semua lingkungan lain, dan pastikan bahwa

yang satu ini diatur ke dalam kebiasaan, sehingga belajar dan membiarkannya bermain, dan

di sini kita memiliki pelatihan di tempat kerja, dan Anda dapat melihat bahwa mereka

memang akan ke posisi acak,

dan kami punya beberapa merah dan beberapa sayuran dan yap tampaknyabekerja, semua

sekarang ada satu hal terakhir yang terkait dengan pembelajaran mesin yang merupakan

visualisasi yang bagus, jadi mari kita lihat itu saat kereta kami berjalan, jadi untuk itu

membuka command prompt baru, dan di sini mari kita masuk ke folder proyek,

kemudian sekali lagi masuk ke dalam lingkunganvirtual, jadi skrip vnv aktif, jadi kita berada

di dalam lingkungan virtual dan sekarang di sini mari kita jalankan tensorboard perintah, jadi

tensorboard adalah nama utilitas yang memvisualisasikan hasil kita, dan kemudian kita

melewati folder dengan hasil kita yang secara default bernama hasil, jadi dash dash

kemudian log di sini dan log ada hasil,

jadi klik enter dan yep sekarang kita lihat pesanini, jadi tensorboard berjalan di url ini,jadi

localhost di port 6006. jadi kemudian buka saja browser dan masuk ke localhost 6006. dan

yap di sini adalah dan kita sekarang dapat memvisualisasikan semuanya, jadi yang paling

penting di sini kita melihat hadiah kumulatif kita,

jadi kami memberinya tujuan satu ketika mencapaitarget, jadi kami harus dapat melihat ini

terus meningkat karena otak menjadi jauh lebihbaik,

kemudian panjang episode juga turun yang berarti bahwa ai sedang belajar bagaimana

mencapai tujuan lebihcepat, dan pada command prompt Anda dapat melihat setiap kali

pembaruan, jadi saat ini memperbarui grafik padasetiap 10.000 langkah,

jadi klik saja pada penyegaran dan di sana kita melihat ini adalah salah satu yang saat ini kita

jalankan dan seperti yang Anda lihat dimulai di sana dan itu mengangkat semua jalan disana,

jika kita melihat ke dalam membangun persatuan kita kita dapat melihat bahwa itu

memangbekerja,

Jadi kita punya cukup banyak lautan hijau sehingga bahkan dengan posisi acak tampaknya ai

kami telah belajar bagaimana menujutarget, maka di sini Anda juga dapat memvisualisasikan

kebijakan, jadi ini semua adalah cara kerja batinnya, jadi Anda punya banyak hal seperti beta

entropi,

Anda memiliki perkiraan hadiah dansebagainya, jadi di sini Anda memiliki banyak grafik

bagi Anda untuk menganalisis dan meningkatkan pelatihan dan aiAnda, sekarang kembali ke

sini kita dapat melihat bahwa pelatihan berjalan sangat baik, jadi kita bisa berhenti berlatih

dan sekali lagi kita melihat bahwa kita menyimpan model ke posisi itu, jadi di sini mari kita

masuk ke hasil ini adalah langkah untuk pergike, mari kita menyalin otak, menempelkannya

ke asetkita,

dan sekarang di sini kita melakukan hal yang sama untuk menggunakan musimsemi, jadi

mari kita sembunyikan lingkungan lain, dan biarkan saja yang satu ini dan pilih untuk
menggunakan otak itu dan mengaturnya untuk menyimpulkan, dan jika kita berlari dan jika

ada, kita dapat memverifikasi bahwa pelatihan kita berjalan memang sangat baik,

Jadi bahkan dengan posisi acak ai cukup pintar untuk benar-benar tahu bahwa tujuannya

bukan hanya untuk bergerak ke kanan daripada bergerak menujutujuan, jadi di sini kami

telah sepenuhnya melatih ai kami dari awal tanpa memberikan perintah khusus, sekali lagi

ingat bagaimana semua yang kami lakukan adalah kami memberikannya posisi saat ini dan

posisi target,

Kami tidak mengatakannya bagaimana bergerak, kami tidak mengatakannya apa artinya kami

tidakmengatakannya, jadi aion belajar mengambil nilai-nilai itu dan mempelajari apa yang

perlu dilakukan untuk mendapatkanhadiah,

sehingga hampir terasa seperti sihir yang merupakan kekuatan luar biasa dari

pembelajaranmesin, baiklah jadi sekarang Anda tahu segalanya untuk mulai bekerja dengan

pembelajaran mesin dan agen ml dalamkesatuan, pembelajaran mesin adalah beberapa

teknologi yang sangat menarik dengan banyak aplikasi potensial, jadi pasti tetap di sini untuk

beberapa video yang lebih mengagumkan,

Anda dapat menjelajahi contoh resmi yang memiliki banyak kasus penggunaan

yangmengagumkan, jika Anda memiliki skenario tertentu yang ingin Anda lihat beri tahu

saya dikomentar, juga saat ini saya sedang mengerjakan kasus penggunaan match 3 jadi pasti

tetap disetel untuk itu, dan seperti yang saya katakan ada daftar putar dalam deskripsi bahwa

saya tidak akan terus diperbarui saat saya menjelajahi agen ml semakinbanyak,

jadi jika Anda menonton ini di masa depan periksa tautan itu untuk melihat semuavideo,

baiklah sehingga video ini adalah satu ton pekerjaan yang harus dibuat tetapi saya benar-

benar berharap Anda belajar banyak,

jika Anda melakukannya, silakan tekan tombol suka dan pertimbangkan untuk berlangganan

video ini dimungkinkan berkat pendukung yang luar biasaini, pergilah ke patreon.com
unitycodemonkey untuk mendapatkan beberapa fasilitas dan membantu menjaga video tetap

gratis untuk semua orang, karena selalu memposting pertanyaan apa pun yang Anda miliki di

komentar dan saya akan melihat Anda lain kali.