Stel je voor dat je in een voor jou onbekend gebied loopt - geblinddoekt. De kans dat je iets raakt is erg groot. En dat is precies waar robots mee te maken zouden krijgen als ze niet waren uitgerust met sensoren. Gebruik makend van sensor fusion zorgt ervoor dat gegevens door de verschillende sensoren kunnen worden verzameld, zodat robots veilig door elke omgeving kunnen navigeren.
Robots moeten navigeren door omgevingen die ze niet kennen, maar waarop ze moeten reageren en zich moeten aanpassen door objecten te detecteren, die objecten te classificeren en ze uiteindelijk te vermijden. Daarnaast moet de robot ook het gebied waarover hij zich voortbeweegt in kaart brengen door bijvoorbeeld poorten, kliffen of gangpaden te identificeren, en veilig samen te leven met andere mensen en robots.
Als we specifiek kijken naar autonome mobiele robots (AMR's), zijn er drie uitdagingen die ontwerpers moeten oplossen om effectieve, autonome navigatie te bereiken:
- Veilige menselijke aanwezigheidsdetectie. Het vergemakkelijken van het vermogen om de aanwezigheid van mensen te detecteren, begint met het definiëren van een veiligheidsgebied rond de robot die ervoor zorgt dat deze stopt of een persoon in de buurt van dat gebied ontwijkt.
- In kaart brengen en lokaliseren. De robot moet een kaart hebben van de omgeving waarin hij gaat werken, en tegelijkertijd weten waar hij zich op elk moment bevindt, zodat hij kan terugkeren naar een bepaald startpunt of een vooraf gedefinieerde bestemming kan bereiken.
- Het uit de weg gaan van botsingen. De AMR moet objecten op zijn pad vermijden en door gangpaden of poorten navigeren door elk soort obstakel te vermijden.
Sensorfusie is een belangrijke stap in robotica om van geleide voertuigen over te gaan naar volledig autonome voertuigen die veilig werken in elke omgeving. (Bron: Texas Instruments Inc.)
Het is mogelijk om deze uitdagingen aan te gaan door verschillende soorten detectietechnologieën te gebruiken die, wanneer ze samengesmolten zijn, de robot een niveau van autonomie geven waardoor hij onafhankelijk en veilig kan werken in elke omgeving.
LiDAR en radar zijn de meest populaire technologieën die worden gebruikt om een veiligheidsbubbel rond AMR's te creëren, zodat ze de aanwezigheid van mensen kunnen detecteren.
Maar wat is de beste sensor technologie om indoor mapping en lokalisatie aan te pakken? Gezien een onbekende omgeving zou de AMR een dynamische kaart moeten creëren door de positie van de dichtstbijzijnde objecten of structuren te meten met ultrasone, LiDAR-, 3D-vluchttijd- en radarsensoren. Vervolgens zouden gyroscopen, versnellingsmeters en encoders de afstand kunnen meten die de AMR vanaf zijn oorspronkelijke locatie heeft afgelegd.
Om te ontwerpen om botsingen te vermijden, is het belangrijk om te weten wat de kenmerken van het object zijn (materiaal, vorm, kleur) en of het een statisch object is (bijvoorbeeld een muur of een plank) of een dynamisch object (zoals een andere robot).
Als het een statisch object is, moet de robot die informatie verkrijgen terwijl hij het gebied in kaart brengt, zodat hij van tevoren kan plannen om het object te vermijden. Als het een dynamisch object is, kan het in realtime samensmelten van gegevens van verschillende sensoren de afstand tot het object, de afmetingen en de snelheid detecteren, waardoor actieve botsingsvermijding wordt geïmplementeerd.
Sensorfusie pakt deze uitdagingen aan door de individuele beperkingen van individuele sensortechnologieën te overwinnen. Radar en LiDAR zijn bijvoorbeeld goed in het meten van afstanden met hoge precisie en nauwkeurigheid, werken bij slechte lichtomstandigheden en worden niet beïnvloed door weersomstandigheden.
Aan de andere kant zijn camera's, net als onze ogen, goed in het classificeren van objecten en het onderscheiden van vormen en kleuren, maar presteren ze beperkt in omgevingsomstandigheden, wat uiteindelijk leidt tot slecht zicht. Alleen door verschillende sensortechnologieën te gebruiken, kan een AMR een niveau van autonomie bereiken waarmee hij veilig door elke omgeving kan navigeren, zelfs door onbekende omgevingen.
Texas Instruments (TI) kan alles leveren, van de sensoren tot de processors die nodig zijn voor AMR-sensorfusie, met een portfolio dat de hele robotsignaalketen omvat.
Het sensorportfolio van het bedrijf varieert van discrete tot sterk geïntegreerde oplossingen voor het implementeren van sensorfusie. Safety Integrity Level-2 60- en 77-GHz single-chip TI millimetergolf (mmWave) sensoren integreren bijvoorbeeld een digitale signaalprocessor, een microcontroller en een hoogfrequent front-end en genereren meetwaarden voor de afstand, snelheid en invalshoek van de objecten in het gezichtsveld van een AMR.
Door een veiligheidsgebiedscanner met de sensor te implementeren, kan de robot objecten in drie dimensies detecteren en lokaliseren. Naast de detectie van een mens, kan de AMR ook de reisrichting en snelheid van die mens bepalen. Met deze informatie kan de robot een veiligheidsgebied om zich heen definiëren en zijn snelheid dynamisch aanpassen, afhankelijk van hoe dichtbij de mens is.
Door bijvoorbeeld een camera te combineren met een TI mmWave-sensor, kan de AMR aanvullende informatie verkrijgen over de kenmerken van een object die met slechts één sensor niet mogelijk zou zijn. Natuurlijk brengt de fusie van radar en camera extra uitdagingen in het systeem, zoals:
- Het is mogelijk om camera's te kalibreren met OpenCV-kalibratieroutines en het schaakbordopname-algoritme terwijl radars met hoekreflectoren worden gekalibreerd.
- Gegevens synchronisatie. Om een parallelle verwerking van een inkomende datastroom te realiseren, is tijdsynchronisatie tussen de radar en de camera nodig.
- Uitlijning van ruimtelijke gegevens. Terwijl de gegevens worden berekend, begint het proces van het over elkaar leggen van afbeeldingen afkomstig van verschillende sensoren en gezichtspunten.
- Objectherkenning en classificatie. Na het uitvoeren van ruimtelijke uitlijning, clustering en classificatie, zullen de gegevens objectherkenning en classificatie mogelijk maken.
De TI Jacinto-processor versnelt sensorfusie door alle sensorgegevens vast te leggen, de gegevens te verwerken en de metingen te interpreteren om de AMR te regelen. De Jacinto-softwareontwikkelingskit heeft tools die diepgaande open-sourceframeworks bevatten, zoals TensorFlow Lite, evenals een toolkit voor computervisie en perceptie die een aantal van de eerder genoemde uitdagingen aanpakt, waaronder beeldclassificatie, objectdetectie en semantische segmentatie.
Sensorfusie moet worden geïmplementeerd in een omgeving met een robotbesturingssysteem die het gebruik van sensorapparaten als knooppunten van het systeem mogelijk maakt, waarbij de sensorapparaten dienovereenkomstig worden gefuseerd en getest om de uitdagingen die in het artikel worden besproken op te lossen.
Sensorfusie moet in realtime plaatsvinden, vooral als de AMR samenwerkt met mensen, omdat de robot moet vertrouwen op gegevens van de sensoren om ervoor te zorgen dat hij geen mensen in de buurt schaadt terwijl hij nog taken uitvoert. Het brengen van de datastroom van het sensorknooppunt naar het brein van de robot met een snelle communicatie-interface is een must voor realtime respons, zodat de AMR snel kan reageren op basis van de sensorinvoer.
De gegevens die van de sensoren worden verkregen, kunnen ook helpen bij het bouwen van betere modellen voor machine learning en kunstmatige intelligentie waarop robots vertrouwen om autonoom te worden, realtime beslissingen te nemen en te navigeren in dynamische real-world omgevingen.
Ondanks de vele uitdagingen die gepaard gaan met sensorfusie, vertegenwoordigt deze technologie een belangrijke stap in de robotica om van geleide voertuigen over te gaan naar volledig autonome voertuigen die eindelijk co-existentie tussen mensen en robots mogelijk zullen maken en het werk efficiënter en winstgevender zullen maken.
Over de auteur
Giovanni Campanella is sectoralgemeen manager bij Texas Instruments en richt zich op gebouwautomatisering, winkelautomatisering en betalingen en apparaten. Giovanni leidt een team dat wereldwijde ontwerpuitdagingen van klanten helpt oplossen. Hij heeft brede ervaring in analoge en sensortechnologieën, evenals sterke analytische en interpersoonlijke vaardigheden gecombineerd met een hands-on houding. Giovanni heeft een bachelor in elektronica en telecommunicatie-engineering van de Universiteit van Bologna en een master in elektronische engineering van de Polytechnische Universiteit van Turijn.
over Texas Instruments