버클리 캘리포니아 대학의 로봇공학자 팀은 시뮬레이션-실제 강화 학습을 사용하여 로봇을 훈련시킴으로써 상대적으로 간단한 작업을 수행하도록 로봇을 훈련시키는 것이 가능하다고 보고합니다. 그들의 연구는 저널에 게재되었습니다. 과학 로봇, 그룹은 로봇이 넘어지지 않고 다양한 하중을 운반하는 동안 익숙하지 않은 환경에서 걸을 수 있도록 로봇을 훈련시켰습니다.
지난 몇 년 동안 로봇 공학자들은 다양한 기술을 사용하여 로봇이 다양한 환경에서 효율적이고 빠르게 움직일 수 있도록 훈련해 왔습니다. 그러나 이 새로운 노력의 연구자들이 지적한 바와 같이, 그러한 로봇에는 유용한 응용 프로그램이 그리 많지 않습니다. 그들은 느리지만 효율적인 방식으로 일상적인 작업을 수행할 수 있는 로봇이 훨씬 더 유용할 것이라고 제안합니다. 이를 위해 그들은 시뮬레이션-실제 강화 학습으로 전환했습니다.
이 기술에는 시뮬레이션된 환경에서 수십억 개의 예제에 로봇을 노출시켜 원하는 작업을 수행하도록 시뮬레이션된 버전의 로봇을 훈련시키는 것이 포함됩니다. 이 방법에는 로봇 훈련의 일부로 보상/벌점 시스템을 사용하는 것도 포함됩니다. 예를 들어 로봇이 목표 달성을 시도하면서 올바른 작업을 수행하면 "1"을 받음으로써 보상을 받습니다. 그러나 뭔가 잘못되면 "-1"을 받습니다. 시간이 지남에 따라 보상 수를 늘리려고 노력하면서 성능이 향상됩니다.
연구팀은 이 접근 방식을 사용해 도시의 알려지지 않은 지역에서 보도를 따라 길을 탐색하고, 큰 공에 반복적으로 공격을 받은 후 회복하고, 신체적 구속을 극복하고, 위험할 수 있는 물질을 가로질러 걸을 수 있도록 Digit이라는 로봇을 훈련시켰습니다. 넘어질 수 있고, 배낭을 들고 다니고, 쓰레기통에 쓰레기 봉지를 들고 다니고, 개인 물품을 운반하기 위해 토트백을 사용합니다.
연구원들은 시뮬레이션-실제 강화 학습을 사용하여 집, 사무실 또는 공장 현장과 같은 실제 환경에서 로봇을 훈련할 수 있다고 제안합니다. 그들은 로봇을 더욱 유용하게 만드는 것이 아이디어라고 지적합니다.