CEA-Leti heeft de eerste autonome imager in de branche geclaimd die smartphones en kleine apparaten activeert via gezichtsherkenning. Deze imager combineert automatische belichting voor alle lichtomstandigheden, bewegingsdetectie, functie-extractie voor op gebeurtenissen gebaseerd functioneren en op kunstmatige intelligentie gebaseerde objectdetectie.
De autonome imager, genaamd µWAI (micro-WAY), is zo klein als een muntstuk van € 1 en beschikt over een nieuwe uitlees- en verwerkingsarchitectuur die mede is ontworpen met een geoptimaliseerde algoritmische pijplijn, die naar verluidt ultra-low-power wake-up biedt modi en compacte siliciumimplementatie voor kostenbesparingen.
Wat is een autonome imager? Het is een nieuwe klasse van beeld sensor met het strakke co-design van autonome beeldacquisitie en beeldverwerking, zei Antoine Dupret, CEA-Leti's Industrial Partnership Manager. "Eigenlijk is het eerder een vision-sensor, omdat het de scène analyseert om de relevante informatie te extraheren."
Het technische onderzoeksinstituut zei dat het de eerste slimme beeldsensor is die automatische belichting combineert voor alle lichtomstandigheden (voor nauwkeurige herkenning in variabele omstandigheden) en een dynamisch bereik van 88 dB, samen met bewegingsdetectie, functie-extractie voor op gebeurtenissen gebaseerd functioneren, en Op AI gebaseerde objectherkenning die een zeer betrouwbare identificatie activeert (met een nauwkeurigheid van 95%).
CEA-Leti's autonome beeldapparaat µWAI (Afbeelding: CEA-Leti)
Op AI gebaseerde herkenning biedt twee belangrijke voordelen. “AI heeft twee belangrijke functies die worden uitgebuit in de autonome imager. Ten eerste maakt AI het mogelijk om een hoge herkenningsratio te bereiken. Het vermindert uiteindelijk het stroomverbruik verder door het aantal valse alarmmeldingen te verminderen”, aldus Dupret. “Ten tweede is AI tot op zekere hoogte veelzijdig, dat wil zeggen dat hetzelfde algoritme en/of dezelfde hardware kan worden gebruikt voor de herkenning van verschillende objecten door alleen de 'gewichten', de geleerde functies, te veranderen. De autonome imager kan dus worden gebruikt om andere objecten te herkennen.”
Energiebesparing
Samen maken de belangrijkste kenmerken van de imager - automatische belichting voor alle lichtomstandigheden, bewegingsdetectie, functie-extractie voor op gebeurtenissen gebaseerd functioneren en op AI gebaseerde objectherkenning - een zeer betrouwbare besluitvorming mogelijk voor enkele tientallen pJ/pixel/ frame en presteert beter dan bestaande standaardsystemen, volgens CEA-Leti.
"De cijfers zijn afgeleid van het stroomverbruik, de framerate en de resolutie van de beeldsensor", zegt Dupret. “Gezien een VGA-beeldsensor die werkt met 15 fps en een stroomverbruik van 100 mW, is de energie per pixel en frame 100e-3/310e3/15=21 nJ/pixel/frame, zonder enige verwerking.”
De onderzoeker zei dat een typische implementatie met een energiezuinige camera plus een processor ongeveer 10,000 keer meer energie vereist dan een µWAI-imager.
Dupret zei dat een COTS-implementatie minimaal één beeldsensor en één microcontroller vereist. “Een typische beeldsensor met een lage resolutie verbruikt enkele tientallen milliwatts. Het vereist een microcontroller om zijn werking aan te passen, bijvoorbeeld om de belichtingstijd aan te passen. Vervolgens moet het beeld worden geanalyseerd. Al met al ligt het minimale stroombudget in de orde van honderden milliwatt.”
CEA-Leti prijst een werking van 3-6 µW voor de imager, die voldoet aan de vereisten voor IoT-toepassingen, en hij kan werken met een knoopcel die vijf jaar meegaat.
De winst is echter niet zo dramatisch wat betreft oppervlakte of volume, zei Dupret. “De autonome imager is bedoeld om een complexer systeem wakker te schudden. Er zijn dus andere processors nodig om de beelden verder te exploiteren.”
De imager levert ook privacy-conforme AI-gebaseerde herkenning omdat de beelden in de beeldsensor zelf worden verwerkt. “De µWAI-beeldsensor voert on-the-fly gegevensverwerking uit in de beeldsensor (zonder framegeheugen). Daarom wordt de inhoud van de scène niet buiten de chip gestuurd en alleen een aantal functies.”
Toepassingen voor de µWAI-beeldsensor zijn onder meer automatisch schakelen en gezichtsherkenning in mobiele apparaten, contactloos slim schakelen van huishoudelijke apparaten en sport- en entertainmentapparaten in slimme huizen. De slimme beeldsensor kan ook worden gebruikt voor gezichtsherkenning, mensen tellen, alarmactivering in slimme gebouwen, voertuig-interieur situatiebewustzijn, bestuurderidentificatie, parkeersituatiebewustzijn en een slim ontgrendelingssysteem in auto's.
Het team van CEA-Leti werkt nauw samen met STMicroelectronics om specifieke smart-imager-producten te ontwikkelen, terwijl ze de mogelijkheden willen uitbreiden technologie naar andere gebruiksscenario's, zei Dupret. Momenteel maakt CEA-Leti gebruik van de geavanceerde CIS-technologie en BIS-pixel van STMicroelectronics.
"De volgende toepassing zal afhangen van waar onze industriële partners zich op richten", zegt Dupret. “CEA-Leti werkt hand in hand met industriële partners om op maat gemaakte innovaties te ontwikkelen.”
De µWAI-technologie wordt geïntroduceerd op het digitale evenement van CEA-Leti, Leti Innovation Days, 22 en 23 juni 2021.