Peneliti MIT mengajarkan robot untuk beradaptasi menggunakan model bahasa, memungkinkan mereka menangani situasi tak terduga dan menyelesaikan tugas.
Kredit:Gambar: Jose-Luis Olivares, MIT. Foto milik para peneliti
Robot dilatih untuk melakukan tugas-tugas rumah tangga yang semakin kompleks, mulai dari menyeka tumpahan hingga menyajikan makanan, sering kali melalui peniruan, di mana robot diprogram untuk meniru gerakan yang dipandu oleh manusia. Meskipun robot adalah peniru yang sangat baik, mereka mungkin hanya tahu cara menangani benturan dan dorongan yang tidak terduga jika para insinyur memprogramnya untuk menyesuaikannya, yang dapat mengakibatkan mereka harus mengulangi tugas mereka dari awal.
Insinyur MIT telah mengintegrasikan data gerakan robot dengan model bahasa besar (LLM) untuk memberikan akal sehat bagi robot dalam situasi di luar jalur. Hal ini memungkinkan robot untuk memecah tugas menjadi beberapa subtugas dan menyesuaikan diri dengan gangguan tanpa memulai ulang atau memerlukan pemrograman eksplisit untuk setiap potensi kegagalan.
Tugas bahasa
Para peneliti mendemonstrasikan tugas menyendok kelereng yang melibatkan serangkaian subtugas seperti meraih, menyendok, dan menuangkan. Tanpa pemrograman khusus untuk setiap subtugas, robot yang keluar jalur harus memulai ulang. Mereka mengeksplorasi menggunakan LLM, yang dapat memproses teks untuk menghasilkan daftar subtugas yang logis, seperti “mencapai”, “menyendok”, dan “menuangkan”. Pendekatan ini memungkinkan robot untuk mengoreksi dirinya sendiri secara real time tanpa pemrograman tambahan yang ekstensif.
Memetakan kelereng
Tim mengembangkan algoritma untuk menghubungkan posisi fisik robot atau keadaan gambar dengan label bahasa alami subtugas, yang dikenal sebagai “grounding.” Algoritme ini belajar untuk secara otomatis mengidentifikasi subtugas semantik robot, seperti “reach” atau “scoop”, berdasarkan koordinat fisik atau tampilan gambarnya. Dalam eksperimen dengan lengan robot yang dilatih untuk melakukan tugas menyendoki marmer, tim mendemonstrasikan pendekatan ini dengan memandu robot melalui tugas tersebut dan menggunakan LLM yang telah dilatih sebelumnya untuk membuat daftar langkah-langkah yang terlibat.
Tim kemudian mengizinkan robot untuk melakukan tugas menyendoki menggunakan pengklasifikasi landasan yang baru dipelajari. Saat robot berkembang, para peneliti mendorong dan menyenggolnya agar keluar dari jalurnya dan menjatuhkan kelereng dari sendoknya. Alih-alih berhenti dan memulai dari awal atau melanjutkan tanpa bertanya, robot dapat mengoreksi dirinya sendiri dan menyelesaikan setiap subtugas sebelum melanjutkan ke subtugas berikutnya.