Эти инициативы сократят время разработки и улучшат производительность разработчиков, стремящихся включить функции компьютерного зрения и искусственного интеллекта / машинного обучения в свои приложения на основе ROS.
Open Robotics улучшит ROS 2, чтобы обеспечить эффективное управление потоком данных и разделяемой памятью через GPU и другие процессоры, представленные на платформе искусственного интеллекта NVIDIA Jetson edge.
Это значительно повысит производительность приложений, которым необходимо обрабатывать данные с высокой пропускной способностью с датчиков, таких как камеры и лидары, в режиме реального времени.
Кроме того, Open Robotics и NVIDIA работают над обеспечением бесшовной совместимости моделирования между Ignition Gazebo от Open Robotics и NVIDIA Isaac Sim в Omniverse.
Isaac Sim уже "из коробки" поддерживает ROS 1 и 2 и имеет чрезвычайно важную экосистему 3D-контента с его подключением к популярным приложениям, таким как Blender и Unreal Engine 4.
Ignition Gazebo имеет многолетний опыт широкого использования в сообществе робототехники, в том числе в громких соревнованиях, таких как текущая подземная игра DARPA.
С двумя подключенными симуляторами разработчики ROS могут легко перемещать своих роботов и среды между Ignition Gazebo и Isaac Sim, чтобы запускать крупномасштабное моделирование и использовать преимущества расширенных функций каждого симулятора, таких как высокоточная динамика, точные модели датчиков и фотореалистичный рендеринг для создания синтетические данные для обучения и тестирования моделей ИИ.
Ожидается, что программное обеспечение, созданное в результате этого сотрудничества, будет выпущено весной 2022 года. Isaac GEM выпущены для ROS (значительное ускорение по сравнению с пакетами только для ЦП) Isaac GEM для ROS - это пакеты с аппаратным ускорением, которые упрощают разработчикам ROS создание высокопроизводительных решений на платформе Jetson.
Основное внимание в этих GEM уделяется повышению пропускной способности обработки изображений и моделей восприятия на основе DNN, которые становятся все более важными для робототехников.
Эти пакеты снижают нагрузку на центральный процессор, обеспечивая при этом значительный прирост производительности. Новые GEM Isaac для ROS включают в себя: · Стереодискретность SGM и облако точек · Преобразование цветового пространства и коррекцию искажения объектива · Обнаружение AprilTags.
Загрузите Isaac GEMs для ROS здесь
Больше информации об Исааке Симе здесь
Учебники по генерации синтетических данных с Исааком Симом здесь
Дополнительная информация об ускорении обучения машинному обучению с помощью TAO Toolkit здесь
NVIDIA Jetson и JetPack - подробности здесь
NVIDIA DeepStream - подробности здесь
NVIDIA Fleet Command - подробности здесь
Сервер логического вывода NVIDIA TRITON - подробности здесь
NVIDIA RIVA - подробности здесь