Deze initiatieven zullen de ontwikkelingstijd verkorten en de prestaties verbeteren voor ontwikkelaars die computervisie en AI/machine learning-functionaliteit willen opnemen in hun op ROS gebaseerde applicaties.
Open Robotics zal ROS 2 verbeteren om efficiënt beheer van de gegevensstroom en gedeeld geheugen mogelijk te maken tussen GPU en andere processors die aanwezig zijn op het NVIDIA Jetson edge AI-platform.
Dit zal de prestaties aanzienlijk verbeteren van applicaties die in realtime gegevens met hoge bandbreedte van sensoren zoals camera's en lidars moeten verwerken.
Daarnaast werken Open Robotics en NVIDIA aan naadloze simulatie-interoperabiliteit tussen Open Robotics' Ignition Gazebo en NVIDIA Isaac Sim op Omniverse.
Isaac Sim ondersteunt ROS 1 en 2 al out of the box en beschikt over een uiterst belangrijk ecosysteem van 3D-content met zijn verbinding met populaire applicaties, zoals Blender en Unreal Engine 4.
Ignition Gazebo heeft een decennialange staat van dienst van wijdverbreid gebruik in de robotica-gemeenschap, inclusief in spraakmakende competitie-evenementen zoals de lopende DARPA Subterranean Challenge.
Met de twee simulatoren verbonden, kunnen ROS-ontwikkelaars hun robots en omgevingen eenvoudig verplaatsen tussen Ignition Gazebo en Isaac Sim om grootschalige simulaties uit te voeren en te profiteren van de geavanceerde functies van elke simulator, zoals high-fidelity-dynamiek, nauwkeurige sensormodellen en fotorealistische weergave om te genereren synthetische data voor het trainen en testen van AI-modellen.
Software die voortvloeit uit deze samenwerking zal naar verwachting in het voorjaar van 2022 worden uitgebracht. Isaac GEMs vrijgegeven voor ROS (Significant Speedup vs CPU only-pakketten) Isaac GEMs voor ROS zijn hardwareversnelde pakketten die het voor ROS-ontwikkelaars gemakkelijker maken om hoogwaardige oplossingen te bouwen op het Jetson-platform.
De focus van deze GEM's ligt op het verbeteren van de doorvoer van beeldverwerking en op DNN-gebaseerde perceptiemodellen die van groeiend belang zijn voor robotici.
Deze pakketten verminderen de belasting van de host-CPU terwijl ze een aanzienlijke prestatiewinst opleveren. De nieuwe Isaac GEM's voor ROS omvatten: · SGM-stereodispariteit en puntenwolk · Kleurruimteconversie en lensvervormingscorrectie · AprilTags-detectie.
Download Isaac GEMs voor ROS hier
Meer informatie over Isaac Sim hier
Tutorials over het genereren van synthetische gegevens met Isaac Sim hier
Meer informatie over het versnellen van ML-training met TAO Toolkit hier
NVIDIA Jetson & JetPack – details hier
NVIDIA DeepStream – details hier
NVIDIA Fleet Command – details hier
NVIDIA TRITON Inference Server – details hier
NVIDIA RIVA – details hier