CEA-Leti hat den branchenweit ersten autonomen Imager beansprucht, der Smartphones und kleine Geräte durch Gesichtserkennung aktiviert. Dieser Imager kombiniert automatische Belichtung für alle Lichtverhältnisse, Bewegungserkennung, Merkmalsextraktion für ereignisbasierte Funktionen und auf künstlicher Intelligenz basierende Objekterkennung.
Der autonome Imager, µWAI (micro-WAY) genannt, ist so klein wie eine 1-€-Münze und verfügt über eine neuartige Auslese- und Verarbeitungsarchitektur, die zusammen mit einer optimierten algorithmischen Pipeline entwickelt wurde, die ein Aufwachen mit extrem geringem Stromverbrauch ermöglichen soll Modi und kompakte Siliziumimplementierung für Kosteneinsparungen.
Was ist ein autonomer Imager? Es ist eine neue Klasse von Bildern Sensor mit dem engen Co-Design der autonomen Bilderfassung und Bildverarbeitung, sagte Antoine Dupret, Manager für industrielle Partnerschaften bei CEA-Leti. „Eigentlich ist es eher ein Vision-Sensor, da er die Szene analysiert, um die relevanten Informationen zu extrahieren.“
Das Technologieforschungsinstitut sagte, dass es der erste intelligente Bildsensor ist, der automatische Belichtung für alle Lichtverhältnisse (für eine genaue Erkennung bei variablen Bedingungen) und einen Dynamikbereich von 88 dB zusammen mit Bewegungserkennung, Merkmalsextraktion für ereignisbasierte Funktionen und functioning kombiniert KI-basierte Objekterkennung, die eine hochzuverlässige Identifizierung auslöst (mit 95% Genauigkeit).
Das autonome Imager-Gerät µWAI von CEA-Leti (Bild : CEA-Leti)
Die KI-basierte Erkennung bietet zwei entscheidende Vorteile. „KI hat zwei wichtige Funktionen, die im autonomen Imager genutzt werden. Erstens ermöglicht KI eine hohe Erkennungsrate. Es reduziert schließlich den Stromverbrauch weiter, indem es die Anzahl der Fehlalarme aufweckt“, sagte Dupret. „Zweitens ist KI in gewisser Weise vielseitig, dh derselbe Algorithmus und/oder dieselbe Hardware kann für die Erkennung unterschiedlicher Objekte verwendet werden, indem nur die ‚Gewichte‘, die erlernten Merkmale, geändert werden. Mit dem autonomen Imager können somit auch andere Objekte erkannt werden.“
Energieeinsparung
Zusammen ermöglichen die Hauptfunktionen des Imagers – automatische Belichtung für alle Lichtverhältnisse, Bewegungserkennung, Merkmalsextraktion für ereignisbasierte Funktionen und KI-basierte Objekterkennung – eine äußerst zuverlässige Entscheidungsfindung für einige zehn pJ/Pixel/ Rahmen, der laut CEA-Leti bestehende Standardsysteme übertrifft.
„Die Zahlen ergeben sich aus dem Stromverbrauch, der Bildrate und der Auflösung des Bildsensors“, sagt Dupret. „Bei einem VGA-Bildsensor mit 15 fps und einem Stromverbrauch von 100 mW beträgt die Energie pro Pixel und Frame 100e-3/310e3/15=21 nJ/Pixel/Frame, ohne Verarbeitung.“
Der Forscher sagte, eine typische Implementierung mit einer stromsparenden Kamera und einem Prozessor erfordert etwa 10,000-mal mehr Energie als ein µWAI-Imager.
Dupret sagte, dass eine COTS-Implementierung mindestens einen Bildsensor und einen Mikrocontroller erfordert. „Ein typischer Bildsensor mit niedriger Auflösung verbraucht einige zehn Milliwatt. Es erfordert einen Mikrocontroller, um seine Funktionsweise anzupassen, zB um die Belichtungszeit einzustellen. Anschließend muss das Bild analysiert werden. Insgesamt liegt das minimale Leistungsbudget im Bereich von mehreren hundert Milliwatt.“
CEA-Leti propagiert einen Betrieb von 3-6 µW für den Imager, der die Anforderungen für IoT-Anwendungen erfüllt, und er kann mit einer Knopfzelle arbeiten, die fünf Jahre hält.
Allerdings sei der Gewinn hinsichtlich Fläche oder Volumen nicht so dramatisch, sagte Dupret. „Der autonome Imager soll ein komplexeres System aufwecken. Daher werden andere Prozessoren benötigt, um die Bilder weiter zu verwerten.“
Der Imager bietet auch eine datenschutzkonforme KI-basierte Erkennung, da die Bilder innerhalb des Bildsensors selbst verarbeitet werden. „Der µWAI-Bildsensor führt eine On-the-Fly-Datenverarbeitung innerhalb des Bildsensors durch (ohne Bildspeicher). Daher wird der Inhalt der Szene nicht außerhalb des Chips gesendet, sondern nur eine Reihe von Funktionen.“
Zu den Anwendungen des µWAI-Bildsensors gehören die automatische Umschaltung und Gesichtserkennung in mobilen Geräten, das kontaktlose intelligente Schalten von Haushaltsgeräten sowie Sport- und Unterhaltungsgeräte in Smart Homes. Der intelligente Bildsensor kann auch zur Gesichtserkennung, Personenzählung, Alarmauslösung in intelligenten Gebäuden, Fahrzeuginnenraum-Situationserkennung, Fahreridentifizierung, Parksituationserkennung und einem intelligenten Entriegelungssystem in Autos verwendet werden.
Das Team von CEA-Leti arbeitet Hand in Hand mit STMicroelectronics an der Entwicklung spezifischer Smart-Imager-Produkte, um die Reichweite zu erweitern Technologie zu anderen Anwendungsfällen, sagte Dupret. Derzeit nutzt CEA-Leti die hochmoderne CIS-Technologie und das BIS-Pixel von STMicroelectronics.
„Die nächste Anwendung wird davon abhängen, was unsere Industriepartner anstreben“, sagte Dupret. „CEA-Leti arbeitet Hand in Hand mit Industriepartnern, um maßgeschneiderte Innovationen zu entwickeln.“
Die µWAI-Technologie wird auf der digitalen Veranstaltung von CEA-Leti, den Leti Innovation Days, am 22. und 23. Juni 2021 vorgestellt.