Ces initiatives réduiront le temps de développement et amélioreront les performances des développeurs cherchant à incorporer des fonctionnalités de vision par ordinateur et d'IA/apprentissage automatique dans leurs applications basées sur ROS.
Open Robotics améliorera ROS 2 pour permettre une gestion efficace du flux de données et de la mémoire partagée entre les GPU et les autres processeurs présents sur la plate-forme NVIDIA Jetson Edge AI.
Cela améliorera considérablement les performances des applications qui doivent traiter en temps réel des données à large bande passante provenant de capteurs tels que des caméras et des lidars.
En outre, Open Robotics et NVIDIA travaillent pour permettre une interopérabilité de simulation transparente entre Ignition Gazebo d'Open Robotics et NVIDIA Isaac Sim sur Omniverse.
Isaac Sim prend déjà en charge ROS 1 et 2 prêts à l'emploi et dispose d'un écosystème très important de contenu 3D avec sa connexion à des applications populaires, telles que Blender et Unreal Engine 4.
Ignition Gazebo apporte une expérience de plusieurs décennies d'utilisation généralisée dans toute la communauté de la robotique, y compris lors d'événements de compétition de haut niveau tels que le DARPA Subterranean Challenge en cours.
Avec les deux simulateurs connectés, les développeurs ROS peuvent facilement déplacer leurs robots et environnements entre Ignition Gazebo et Isaac Sim pour exécuter une simulation à grande échelle et tirer parti des fonctionnalités avancées de chaque simulateur telles que la dynamique haute fidélité, des modèles de capteurs précis et un rendu photoréaliste pour générer données synthétiques pour la formation et le test de modèles d'IA.
Le logiciel résultant de cette collaboration devrait être publié au printemps 2022. Isaac GEMs publié pour ROS (packages d'accélération significative vs CPU uniquement) Isaac GEMs pour ROS sont des packages à accélération matérielle qui permettent aux développeurs ROS de créer plus facilement des solutions hautes performances. sur la plate-forme Jetson.
L'objectif de ces GEM est d'améliorer le débit du traitement d'images et des modèles de perception basés sur DNN qui revêtent une importance croissante pour les roboticiens.
Ces packages réduisent la charge sur le processeur hôte tout en offrant un gain de performances significatif. Les nouveaux GEM d'Isaac pour ROS incluent : · Disparité stéréo SGM et nuage de points · Conversion d'espace colorimétrique et correction de distorsion de l'objectif · Détection d'AprilTags.
Téléchargez Isaac GEMs pour ROS ici
Plus d'informations sur Isaac Sim ici
Tutoriels sur la génération de données synthétiques avec Isaac Sim ici
Plus d'informations sur l'accélération de la formation ML avec TAO Toolkit ici
NVIDIA Jetson et JetPack – détails ici
NVIDIA DeepStream – détails ici
NVIDIA Fleet Command – détails ici
Serveur d'inférence NVIDIA TRITON – détails ici
NVIDIA RIVA – détails ici