Stellen Sie sich vor, Sie gehen in einem Ihnen unbekannten Gebiet – mit verbundenen Augen. Die Wahrscheinlichkeit, dass Sie etwas treffen, ist sehr hoch. Und genau damit würden Roboter konfrontiert, wenn sie nicht mit Sensoren ausgestattet wären. Verwenden von Sensor Fusion ermöglicht die Erfassung von Daten durch die verschiedenen Sensoren, damit Roboter sicher durch jede Umgebung navigieren können.
Roboter müssen durch ihnen unbekannte Umgebungen navigieren, auf die sie jedoch reagieren und sich anpassen müssen, indem sie Objekte erkennen, diese Objekte klassifizieren und sie schließlich vermeiden. Darüber hinaus muss der Roboter auch den Bereich, den er durchquert, kartieren, indem er beispielsweise Tore, Klippen oder Gänge identifiziert, und sicher mit anderen Menschen und Robotern koexistieren.
Wenn man sich speziell autonome mobile Roboter (AMRs) ansieht, gibt es drei Herausforderungen, die Designer lösen müssen, um eine effektive, autonome Navigation zu erreichen:
- Sichere Erkennung der Anwesenheit von Personen. Die Erleichterung der Erkennung der Anwesenheit von Menschen beginnt mit der Definition eines Sicherheitsbereichs um den Roboter herum, der dazu führt, dass er anhält oder eine Person in der Nähe dieses Bereichs ausweicht.
- Kartierung und Lokalisierung. Der Roboter muss über eine Karte der Umgebung verfügen, in der er operieren wird, und gleichzeitig wissen, wo er sich zu jedem Zeitpunkt befindet, damit er zu einem bestimmten Ausgangspunkt zurückkehren oder ein vordefiniertes Ziel erreichen kann.
- Kollisionsvermeidung. Das AMR muss Objekten, die sich in seinem Weg befinden, ausweichen und durch Gänge oder Tore navigieren, indem es jegliche Art von Hindernissen umgeht.
Die Sensorfusion stellt einen wichtigen Schritt in der Robotik dar, um von geführten Fahrzeugen zu vollständig autonomen Fahrzeugen zu gelangen, die in jeder Umgebung sicher arbeiten. (Quelle: Texas Instruments Inc.)
Es ist möglich, diese Herausforderungen durch den Einsatz verschiedener Arten von Sensortechnologien zu bewältigen, die dem Roboter, wenn sie miteinander verschmolzen sind, ein Maß an Autonomie verleihen, das es ihm ermöglicht, in jeder Umgebung unabhängig und sicher zu arbeiten.
LiDAR und Radar sind die beliebtesten Technologien, die verwendet werden, um eine Sicherheitsblase um AMRs herum zu erzeugen, damit sie die Anwesenheit von Menschen erkennen können.
Aber was ist der beste Sensor? Technologie sich mit der Kartierung und Lokalisierung in Innenräumen befassen? Unter Berücksichtigung einer unbekannten Umgebung müsste der AMR eine dynamische Karte erstellen, indem er die Position der nächstgelegenen Objekte oder Strukturen mit Ultraschall-, LiDAR-, 3D-Flugzeit- und Radarsensoren misst. Dann könnten Gyroskope, Beschleunigungsmesser und Encoder die Entfernung messen, die der AMR von seinem ursprünglichen Standort zurückgelegt hat.
Um Kollisionen zu vermeiden, ist es wichtig, die Eigenschaften des Objekts (Material, Form, Farbe) zu kennen und zu wissen, ob es sich um ein statisches Objekt (z. B. eine Wand oder ein Regal) oder ein dynamisches Objekt (z. B. ein anderer Roboter) handelt.
Wenn es sich um ein statisches Objekt handelt, muss der Roboter diese Informationen beim Kartieren des Bereichs erfassen, damit er planen kann, das Objekt im Voraus zu vermeiden. Wenn es sich um ein dynamisches Objekt handelt, könnte die Fusion von Daten verschiedener Sensoren in Echtzeit den Abstand zum Objekt, seine Dimension und seine Geschwindigkeit erkennen und so eine aktive Kollisionsvermeidung implementieren.
Die Sensorfusion adressiert diese Herausforderungen, indem sie die individuellen Grenzen einzelner Sensortechnologien überwindet. Radar und LiDAR können beispielsweise Entfernungen mit hoher Präzision und Genauigkeit messen, arbeiten bei schlechten Lichtverhältnissen und sind unabhängig von Wetterbedingungen.
Auf der anderen Seite sind Kameras wie unsere Augen gut darin, Objekte zu klassifizieren und Formen und Farben zu unterscheiden, haben jedoch eine begrenzte Leistung unter Umweltbedingungen – was letztendlich zu einer schlechten Sichtbarkeit führt. Nur durch den Einsatz unterschiedlicher Sensortechnologien kann ein AMR ein Maß an Autonomie erreichen, das es ihm ermöglicht, sicher durch jede Umgebung zu navigieren, selbst in unbekannten Umgebungen.
Texas Instruments (TI) kann alles von den Sensoren bis hin zu den Prozessoren bereitstellen, die für die AMR-Sensorfusion benötigt werden, mit einem Portfolio, das die gesamte Robotik-Signalkette umfasst.
Das Sensorportfolio des Unternehmens reicht von diskreten bis hin zu hochintegrierten Lösungen zur Umsetzung der Sensorfusion. So integrieren beispielsweise Safety Integrity Level-2 60- und 77-GHz-Single-Chip-TI-Millimeterwellen-Sensoren (mmWave) einen digitalen Signalprozessor, einen Mikrocontroller und ein Hochfrequenz-Frontend und erzeugen Messwerte für Distanz, Geschwindigkeit und Einfallswinkel der Objekte im Sichtfeld eines AMR.
Durch die Implementierung eines Sicherheitsbereichsscanners mit dem Sensor kann der Roboter Objekte in drei Dimensionen erkennen und lokalisieren. Neben der Erkennung eines Menschen kann das AMR auch die Fahrtrichtung und Geschwindigkeit dieses Menschen bestimmen. Mit diesen Informationen kann der Roboter einen Sicherheitsbereich um sich selbst definieren und seine Geschwindigkeit dynamisch anpassen, je nachdem, wie nahe der Mensch ist.
Die Kombination einer Kamera mit einem TI mmWave-Sensor beispielsweise ermöglicht es dem AMR, zusätzliche Informationen über die Eigenschaften eines Objekts zu erhalten, die mit nur einem einzigen Sensor nicht möglich wären. Natürlich bringt die Verschmelzung von Radar und Kamera zusätzliche Herausforderungen in das System, wie zum Beispiel:
- Es ist möglich, Kameras mit OpenCV-Kalibrierungsroutinen und dem Schachbretterfassungsalgorithmus zu kalibrieren, während Radare mit Eckreflektoren kalibriert werden.
- Datensynchronisation. Um eine parallele Verarbeitung eines eingehenden Datenstroms zu erreichen, ist eine Zeitsynchronisation zwischen Radar und Kamera erforderlich.
- Ausrichtung der räumlichen Daten. Während die Daten berechnet werden, beginnt der Prozess der Überlagerung von Bildern, die von verschiedenen Sensoren und Blickwinkeln stammen.
- Objekterkennung und -klassifizierung. Nach der Durchführung der räumlichen Ausrichtung, Clusterbildung und Klassifizierung ermöglichen die Daten die Objekterkennung und -klassifizierung.
Der TI Jacinto-Prozessor beschleunigt die Sensorfusion, indem er alle Sensordaten erfasst, die Daten verarbeitet und die Messungen zur Steuerung des AMR interpretiert. Das Jacinto Software Development Kit enthält Tools, die Deep-Learning-Open-Source-Frameworks wie TensorFlow Lite umfassen, sowie ein Computer-Vision- und Perception-Toolkit, das einige der zuvor genannten Herausforderungen adressiert, einschließlich Bildklassifizierung, Objekterkennung und Semantik Segmentierung.
Die Sensorfusion sollte in einer Roboterbetriebssystemumgebung implementiert werden, die die Verwendung von Sensorgeräten als Knoten des Systems ermöglicht, wobei die Sensorgeräte entsprechend verschmolzen und getestet werden, um die in dem Papier diskutierten Herausforderungen zu lösen.
Die Sensorfusion muss in Echtzeit erfolgen, insbesondere wenn der AMR mit Menschen zusammenarbeitet, da der Roboter auf die Daten der Sensoren angewiesen ist, um sicherzustellen, dass er keine Menschen in der Nähe verletzt, während er weiterhin Aufgaben ausführt. Die Übertragung des Datenstroms vom Sensorknoten zum Gehirn des Roboters mit einer Hochgeschwindigkeits-Kommunikationsschnittstelle ist ein Muss für eine Echtzeitreaktion, damit der AMR basierend auf den Sensoreingaben schnell reagieren kann.
Die von den Sensoren erfassten Daten können auch dazu beitragen, bessere Modelle für maschinelles Lernen und künstliche Intelligenz zu erstellen, auf die Roboter angewiesen sind, um autonom zu werden, Echtzeitentscheidungen zu treffen und in dynamischen realen Umgebungen zu navigieren.
Trotz der vielen Herausforderungen, die die Sensorfusion mit sich bringt, stellt diese Technologie einen wichtigen Schritt in der Robotik dar, um von geführten Fahrzeugen zu vollautonomen Fahrzeugen zu gelangen, die endlich die Koexistenz von Mensch und Roboter ermöglichen und die Arbeit effizienter und profitabler machen.
Über den Autor
Giovanni Campanella ist Sector General Manager bei Texas Instruments mit den Schwerpunkten Gebäudeautomation, Einzelhandelsautomatisierung sowie Zahlungsverkehr und Haushaltsgeräte. Giovanni leitet ein Team, das bei der Lösung von Designherausforderungen von Kunden weltweit hilft. Er verfügt über breite Erfahrung in Analog- und Sensortechnologien sowie ausgeprägte analytische und zwischenmenschliche Fähigkeiten, kombiniert mit einer praktischen Einstellung. Giovanni hat einen Bachelor-Abschluss in Elektronik und Telekommunikationstechnik der Universität Bologna und einen Master-Abschluss in Elektrotechnik der Polytechnischen Universität Turin.
über Texas Instruments