Menggunakan pembelajaran pengukuhan sim-to-real untuk melatih robot melakukan tugasan mudah dalam persekitaran yang luas

Kemas kini: 19 April 2024


Menggunakan pembelajaran pengukuhan sim-to-real untuk melatih robot melakukan tugasan mudah dalam persekitaran yang luas
Penyebaran ke persekitaran luar. Kredit: Ilija Radosavov

Pasukan robotik di Universiti California, Berkeley, melaporkan bahawa adalah mungkin untuk melatih robot untuk melakukan tugas yang agak mudah dengan menggunakan pembelajaran tetulang sim-to-real untuk melatih mereka. Dalam kajian mereka, diterbitkan dalam jurnal Sains Robotik, kumpulan itu melatih robot untuk berjalan dalam persekitaran yang tidak dikenali sambil membawa beban yang berbeza, semuanya tanpa terbalik.

Sejak beberapa tahun yang lalu, pakar robotik telah menggunakan pelbagai teknik untuk melatih robot untuk bergerak dengan cekap dan pantas merentasi pelbagai persekitaran. Tetapi sebagai penyelidik dengan nota usaha baharu ini, robot tersebut tidak mempunyai banyak aplikasi berguna. Mereka mencadangkan bahawa robot yang mampu menjalankan tugas biasa dengan cara yang perlahan tetapi cekap akan jauh lebih berguna. Untuk itu, mereka telah beralih kepada pembelajaran pengukuhan sim-to-real.






Penyebaran dalam persekitaran luar. Kredit: Ilija Radosavov

Teknik ini melibatkan latihan versi simulasi robot untuk menjalankan tugas yang dikehendaki dengan mendedahkannya kepada berbilion contoh dalam persekitaran simulasi. Kaedah ini juga melibatkan penggunaan sistem ganjaran/penalti sebagai sebahagian daripada latihan robot—jika ia melakukan sesuatu yang betul semasa ia cuba mencapai matlamat, ia diberi ganjaran dengan menerima “1”, contohnya. Jika ia melakukan sesuatu yang salah, bagaimanapun, ia menerima "-1." Dari masa ke masa, ia meningkatkan prestasinya sambil berusaha untuk meningkatkan kiraan ganjarannya.

Pasukan penyelidik menggunakan pendekatan untuk melatih robot yang dipanggil Digit untuk menavigasi laluan di sepanjang kaki lima di bahagian yang tidak diketahui di bandar dan untuk pulih selepas berulang kali diserang oleh bola besar, untuk mengatasi kekangan fizikal, untuk berjalan melintasi bahan yang mungkin menyebabkan ia tersandung, membawa beg galas, membawa beg sampah ke tong sampah dan menggunakan beg jinjing untuk membawa barang peribadi.






Eksperimen dalaman dan tanda aras simulasi. Kredit: Ilija Radosavovic

Para penyelidik mencadangkan bahawa pembelajaran pengukuhan sim-ke-sebenar boleh digunakan untuk melatih robot dalam persekitaran dunia sebenar seperti lantai rumah, pejabat atau kilang. Ideanya, kata mereka, adalah untuk menjadikan robot lebih berguna.