Prophetische Vision für Snapdragon

Aktualisierung: 1. März 2023

Die Sensoren von Prophesee behaupten, die Kameraleistung zu verbessern, insbesondere in sich schnell bewegenden dynamischen Szenen (z. B. Sportszenen) und bei schwachem Licht durch ihren ereignisbasierten kontinuierlichen und asynchronen Pixelerfassungsansatz.

Prophesee behauptet, dass seine Sensoren es Maschinen ermöglichen, hyperschnelle und flüchtige Ereignisse auf einer Zeitskala von weniger als einer Millisekunde zu sehen, wobei nur die Essenz der Szene aufgezeichnet wird, sodass im Vergleich zu Standardansätzen 10- bis 1000-mal weniger Daten verarbeitet werden.

Jedes Pixel meldet nur, wenn es eine Bewegung wahrnimmt. Während in einem Frame-basierten Sensor Alle Pixel zeichnen gleichzeitig auf, bei einem ereignisbasierten Sensor ist jedes Pixel vollkommen unabhängig.

Die Sensoren haben eine Auflösung von 1280 x 720 Pixel mit einem „Time Resolution Equivalent“ von 10 fps, einem Dynamikbereich von 120 dB und einer Schwachlichtunterdrückung bei 0.08 Lux.

Video 1 – Sportszene: Vorläufige Deblurring-Ergebnisse in einer Hochgeschwindigkeitsszene, erhalten durch die Kombination von Prophesee Metavision-Sensor und -Algorithmen mit der Snapdragon-Plattform.

Die Sensoren von Prophesee konzentrieren sich nur auf Änderungen in einer Szene, Pixel für Pixel, kontinuierlich mit extremen Geschwindigkeiten.

Jedes Pixel im Metavision-Sensor bettet einen Logikkern ein, der es ihm ermöglicht, als Neuron zu fungieren.

Sie aktivieren sich jeweils intelligent und asynchron, abhängig von der Menge an Photonen, die sie wahrnehmen.

Ein Pixel, das sich selbst aktiviert, wird als Ereignis bezeichnet. Im Wesentlichen werden Ereignisse von der Dynamik der Szene gesteuert, nicht mehr von einer willkürlichen Uhr, sodass die Erfassungsgeschwindigkeit immer der tatsächlichen Dynamik der Szene entspricht.

Eine leistungsstarke ereignisbasierte Unschärfe wird durch die Synchronisierung eines framebasierten und des ereignisbasierten Sensors von Prophesee erreicht.

Das System füllt dann die Lücken zwischen und innerhalb der Frames mit Mikrosekunden-Ereignissen, um algorithmisch reine Bewegungsinformationen zu extrahieren und Bewegungsunschärfe zu reparieren.

Die Sensoren werden von Sony hergestellt, mit dem Prophesee eine Produktentwicklungskooperation hat.

Im vergangenen September schloss Prophesee eine Serie-C-Runde von 50 Millionen Euro mit der Hinzufügung einer neuen Investition von Prosperity7 Ventures ab. Die ersten Investoren der Serie C waren Sinovation Ventures und Xiaomi, die sich den früheren Investoren Intel Capital, Robert Bosch Venture Capital, 360 Capital, iBionext und der Europäischen Investitionsbank anschließen. Prophesee hat seit seiner Gründung im Jahr 127 2014 Millionen US-Dollar gesammelt.