De beeldsensor kan tegelijkertijd beelden vastleggen en verwerken, waardoor objectherkenning vele ordes van grootte sneller gaat. Het apparaat verbruikt geen elektrisch vermogen wanneer het in werking is, aangezien de fotonen zelf de energie leveren voor de elektrische stroom.
De sensor wordt aangevuld met een ANN, een door de mens gemaakt systeem dat is geïnspireerd op onze hersenen. In een ANN krijgen kunstmatige neuronen gegevens en werken ze samen om een probleem aan te pakken. In dit geval een afbeelding herkennen.
De onderzoekers in Wenen, ondersteund door de Nederlands onderzoeksproject, het Graphene Flagship, ontwierp sensoren met negen pixels - de 'neuronen' - geplaatst in een 3 × 3 array. Elke pixel bestaat op zijn beurt uit drie fotodiodes, dat zijn Halfgeleider apparaten die licht omzetten in elektrische stroom, die drie uitgangen bieden. Elke fotodiode verbindt zijn pixel met de andere 8 pixels.
De stroom van elke fotodiode wordt bepaald door de intensiteit van het invallende licht en de spanning tegenover het. Elk neuron telt de individuele stromen op die van de andere 8 neuronen komen, en de gecombineerde waarden worden vervolgens in een computer ingevoerd.
Het apparaat kan afbeeldingen classificeren na een reeks trainingsprocessen, maar het kan ook een kenmerkende component of structuur van een afbeelding herkennen uit invoergegevens, zonder extra informatie.
De snelheid onderscheidt dit apparaat van conventionele machine vision. Conventioneel technologie is doorgaans in staat om tot 100 frames per seconde te verwerken, terwijl sommige snellere systemen tot 1,000 frames per seconde kunnen verwerken. Ter vergelijking: dit systeem werkt met een equivalent van 20 miljoen frames per seconde.
Er is gesuggereerd dat het apparaat zal worden opgeschaald met dat van vandaag technologie en vind toepassingen op verschillende gebieden, zoals vloeistofdynamica, hoge-energiefysica, verbrandingsprocessen of mechanische defecten.
"Door de apparaten op te schalen, kan deze neuromorfe benadering zijn sterke punten uitspelen op het gebied van beeldherkenning en -verwerking", legt Lukas Mennel uit, eerste auteur van het onderzoek. “We denken ook na over andere ideeën, zoals het verbeteren van de lichtabsorptie of het uitbreiden van het spectrale bereik naar het infrarood. In principe zijn de mogelijkheden van dit apparaat niet alleen beperkt tot visuele gegevens. Elke soort data kan (voor) verwerkt worden met een kunstmatig neuraal netwerk in de sensor zelf. Er kunnen bijvoorbeeld audio- of olfactorische neuromorfische sensoren worden ontwikkeld voor snelle verwerking op de chip. "
"Dit indrukwekkende werk toont een volledig nieuwe toepassing van camera's op basis van gelaagd materiaal, waarbij wordt geprofiteerd van de unieke eigenschappen, zoals de in-situ afstembaarheid." legde Frank Koppens uit, Graphene Flagship Work Package Lleader for Photonics and Optoelectronics. "Neurale netwerkbeeldsensoren zullen op veel verschillende manieren invloed hebben op de samenleving, en met gelaagde materialen wordt nu aan de hoge snelheidsvereisten voldaan."
Andrea C. Ferrari, Science and Technology Officer van het Graphene Flagship en voorzitter van het Management Panel, voegde toe: “Dit werk is weer een belangrijke mijlpaal voor het Graphene Flagship. Het vlaggenschip is duidelijk wereldleider als het gaat om de integratie in chips van gelaagde materialen. Deze geavanceerde bouwstenen zullen de ontwikkeling van nieuwe state-of-the-art technologieën ondersteunen. "