Os pesquisadores do MIT estão ensinando robôs a se adaptarem usando modelos de linguagem, permitindo-lhes lidar com situações inesperadas e concluir tarefas.
Créditos:Imagem: Jose-Luis Olivares, MIT. Stills cortesia dos pesquisadores
Os robôs estão sendo treinados para realizar tarefas domésticas cada vez mais complexas, desde limpar respingos até servir comida, muitas vezes por meio de imitação, onde são programados para copiar movimentos guiados por um ser humano. Embora os robôs sejam excelentes imitadores, eles só saberão como lidar com solavancos e empurrões inesperados se os engenheiros os programarem para se ajustarem adequadamente, o que pode resultar na necessidade de reiniciarem suas tarefas desde o início.
Os engenheiros do MIT integraram dados de movimento de robôs com grandes modelos de linguagem (LLMs) para dar aos robôs bom senso em situações fora do caminho. Isso permite que os robôs dividam as tarefas em subtarefas e se ajustem às interrupções sem reiniciar ou precisar de programação explícita para cada falha potencial.
Tarefa de idioma
Os pesquisadores demonstraram uma tarefa de colher bolinhas de gude envolvendo uma sequência de subtarefas como alcançar, colher e despejar. Sem programação específica para cada subtarefa, um robô desviado do curso teria que reiniciar. Eles exploraram o uso de LLMs, que podem processar texto para gerar listas lógicas de subtarefas, como “alcançar”, “colher” e “despejar”. Essa abordagem poderia permitir que os robôs se autocorrigissem em tempo real, sem extensa programação adicional.
Mapeando bolinhas de gude
A equipe desenvolveu um algoritmo para conectar a posição física ou o estado da imagem de um robô com o rótulo de linguagem natural de uma subtarefa, conhecido como “aterramento”. Este algoritmo aprende a identificar automaticamente a subtarefa semântica do robô, como “alcançar” ou “colher”, com base em suas coordenadas físicas ou visualização de imagem. Em experimentos com um braço robótico treinado em uma tarefa de colher bolinhas de gude, a equipe demonstrou essa abordagem guiando o robô durante a tarefa e usando um LLM pré-treinado para listar as etapas envolvidas.
A equipe então permitiu que o robô realizasse a tarefa de escavação usando os classificadores de aterramento recém-aprendidos. À medida que o robô avançava, os experimentadores o empurravam e empurravam para fora de seu caminho e arrancavam bolinhas de gude da colher. Em vez de parar e recomeçar ou continuar sem questionar, o robô poderia se autocorrigir e concluir cada subtarefa antes de passar para a próxima.