Der Bildsensor kann gleichzeitig Bilder erfassen und verarbeiten, wodurch die Objekterkennung um viele Größenordnungen beschleunigt wird. Das Gerät verbraucht im Betrieb keine elektrische Energie, da die Photonen selbst die Energie für den elektrischen Strom liefern.
Der Sensor wird durch ein ANN ergänzt, ein künstliches System, das von unserem Gehirn inspiriert ist. In einem ANN werden künstliche Neuronen mit Daten gespeist und arbeiten zusammen, um ein Problem anzugehen. In diesem Fall ein Bild erkennen.
Die Wiener Forscher, unterstützt von der Europäische Das Forschungsprojekt, das Graphen-Flaggschiff, entwickelte Sensoren mit neun Pixeln - den "Neuronen" -, die in einem 3 × 3-Array angeordnet sind. Jedes Pixel besteht wiederum aus drei Fotodioden, die sind Halbleiter Geräte, die Licht in elektrischen Strom umwandeln und drei Ausgänge bieten. Jede Fotodiode verbindet ihr Pixel mit den anderen 8 Pixeln.
Der Strom von jeder Fotodiode wird durch die Intensität des einfallenden Lichts bestimmt Spannung gegenüber von. Jedes Neuron summiert die einzelnen Ströme, die von den anderen 8 Neuronen kommen, und die kombinierten Werte werden dann in einen Computer eingespeist.
Das Gerät kann Bilder nach einer Reihe von Trainingsprozessen klassifizieren, aber es kann auch eine charakteristische Komponente oder Struktur eines Bildes aus Eingabedaten ohne zusätzliche Informationen erkennen.
Die Geschwindigkeit unterscheidet dieses Gerät von der herkömmlichen Bildverarbeitung. Konventionell Technologie ist normalerweise in der Lage, bis zu 100 Bilder pro Sekunde zu verarbeiten, wobei einige schnellere Systeme bis zu 1,000 Bilder pro Sekunde verarbeiten können. Im Vergleich dazu arbeitet dieses System mit umgerechnet 20 Millionen Bildern pro Sekunde.
Es wurde vorgeschlagen, das Gerät mit dem heutigen zu skalieren Technologie und finden Anwendungen in verschiedenen Bereichen wie der Fluiddynamik, der Hochenergiephysik, Verbrennungsprozessen oder dem mechanischen Zerfall.
„Durch die Skalierung der Geräte kann dieser neuromorphe Ansatz seine Stärken im Bereich der Bilderkennung und -verarbeitung ausspielen“, erklärt Lukas Mennel, Erstautor der Studie. „Wir erwägen auch andere Ideen, wie die Verbesserung der Lichtabsorption oder die Erweiterung des Spektralbereichs ins Infrarot. Grundsätzlich sind die Funktionen dieses Geräts nicht nur auf visuelle Daten beschränkt. Jede Art von Daten kann mit einem künstlichen neuronalen Netzwerk im Sensor selbst (vor) verarbeitet werden. Beispielsweise könnten Audio- oder olfaktorische neuromorphe Sensoren für eine schnelle Verarbeitung auf dem Chip entwickelt werden. “
"Diese beeindruckende Arbeit zeigt eine völlig neue Anwendung von Kameras auf Schichtmaterialbasis, die ihre einzigartigen Eigenschaften wie die In-situ-Abstimmbarkeit nutzen." erklärte Frank Koppens, Graphen-Flaggschiff-Arbeitspaket Lleader for Photonics and Optoelectronics. "Bildsensoren für neuronale Netze werden die Gesellschaft auf viele verschiedene Arten beeinflussen, und mit Schichtmaterialien wurden die Hochgeschwindigkeitsanforderungen jetzt erfüllt."
Andrea C. Ferrari, Wissenschafts- und Technologiebeauftragte des Graphen-Flaggschiffs und Vorsitzende des Management-Gremiums, fügte hinzu: „Diese Arbeit ist ein weiterer wichtiger Meilenstein für das Graphen-Flaggschiff. Das Flaggschiff ist eindeutig weltweit führend, wenn es um die Integration in Chips von Schichtmaterialien. Diese fortschrittlichen Bausteine werden die Entwicklung neuer Technologien auf dem neuesten Stand der Technik unterstützen. “