Menggunakan pembelajaran penguatan sim-to-real untuk melatih robot melakukan tugas-tugas sederhana di lingkungan yang luas

Pembaruan: 19 April 2024


Menggunakan pembelajaran penguatan sim-to-real untuk melatih robot melakukan tugas-tugas sederhana di lingkungan yang luas
Penempatan ke lingkungan luar ruangan. Kredit: Ilija Radosavov

Sebuah tim ahli robot di Universitas California, Berkeley, melaporkan bahwa melatih robot untuk melakukan tugas-tugas yang relatif sederhana dapat dilakukan dengan menggunakan pembelajaran penguatan sim-to-real untuk melatih mereka. Dalam penelitian mereka yang dipublikasikan di jurnal Robotika ilmu, kelompok tersebut melatih robot untuk berjalan di lingkungan asing sambil membawa beban berbeda, semuanya tanpa terjatuh.

Selama beberapa tahun terakhir, ahli robotik telah menggunakan berbagai teknik untuk melatih robot agar bergerak secara efisien dan cepat di berbagai lingkungan. Namun seperti yang dicatat oleh para peneliti dalam upaya baru ini, robot semacam itu tidak memiliki banyak kegunaan yang berguna. Mereka berpendapat bahwa robot yang mampu melakukan tugas-tugas biasa dengan lambat namun efisien akan jauh lebih berguna. Untuk mencapai tujuan tersebut, mereka telah beralih ke pembelajaran penguatan sim-to-real.






Penempatan di lingkungan luar ruangan. Kredit: Ilija Radosavov

Teknik ini melibatkan pelatihan versi simulasi robot untuk melaksanakan tugas yang diinginkan dengan memaparkannya pada miliaran contoh di lingkungan simulasi. Metode ini juga melibatkan penggunaan sistem penghargaan/penalti sebagai bagian dari pelatihan robot—jika robot melakukan sesuatu dengan benar dalam upaya mencapai suatu tujuan, robot akan diberi imbalan dengan menerima “1”, misalnya. Namun, jika ia melakukan sesuatu yang salah, ia menerima “-1.” Seiring waktu, ia meningkatkan kinerjanya seiring dengan upayanya untuk meningkatkan jumlah imbalannya.

Tim peneliti menggunakan pendekatan tersebut untuk melatih robot bernama Digit untuk menavigasi jalan di sepanjang trotoar di bagian kota yang tidak diketahui dan untuk memulihkan diri setelah berulang kali diserang oleh bola besar, untuk mengatasi hambatan fisik, untuk berjalan melintasi material yang mungkin terkena dampak. menyebabkannya tersandung, membawa ransel, membawa kantong sampah ke tempat sampah, dan menggunakan tas jinjing untuk membawa barang-barang pribadi.






Eksperimen dalam ruangan dan tolok ukur simulasi. Kredit: Ilija Radosavovic

Para peneliti menyarankan agar pembelajaran penguatan sim-to-real dapat digunakan untuk melatih robot di lingkungan dunia nyata seperti rumah, kantor, atau lantai pabrik. Idenya, menurut mereka, adalah membuat robot lebih berguna.