Les capteurs de Prophesee prétendent améliorer les performances de la caméra, en particulier dans les scènes dynamiques à mouvement rapide (par exemple, les scènes de sport) et dans des conditions de faible luminosité grâce à son approche de détection de pixels continue et asynchrone basée sur les événements.
Prophesee affirme que ses capteurs permettent aux machines de voir des événements ultra-rapides et fugaces à une échelle de temps inférieure à la milliseconde, seule l'essence de la scène étant enregistrée, utilisant ainsi 10 à 1000 fois moins de données traitées par rapport aux approches standard.
Chaque pixel signale uniquement lorsqu'il détecte un mouvement. Alors que dans un cadre capteur tous les pixels enregistrent en même temps, dans un capteur événementiel chaque pixel est parfaitement indépendant.
Les capteurs ont une résolution de 1280x720px avec un 'Time Resolution Equivalent' de 10k fps, une plage dynamique de 120dB et une faible coupure de lumière à 0.08 Lux.
Vidéo 1 – Scène sportive : résultats préliminaires de floutage sur une scène à grande vitesse, obtenus en combinant le capteur et les algorithmes Prophesee Metavision avec la plate-forme Snapdragon.
Les capteurs de Prophesee se concentrent uniquement sur les changements d'une scène, pixel par pixel, en continu à des vitesses extrêmes.
Chaque pixel du capteur Metavision embarque un noyau logique lui permettant d'agir comme un neurone.
Ils s'activent chacun de manière intelligente et asynchrone en fonction de la quantité de photons qu'ils détectent.
Un pixel qui s'active est appelé un événement. Essentiellement, les événements sont pilotés par la dynamique de la scène, et non plus par une horloge arbitraire, de sorte que la vitesse d'acquisition correspond toujours à la dynamique réelle de la scène.
Le défloutage hautes performances basé sur les événements est obtenu en synchronisant un capteur basé sur les images et le capteur basé sur les événements de Prophesee.
Le système remplit ensuite les espaces entre et à l'intérieur des images avec des événements de microseconde pour extraire de manière algorithmique des informations de mouvement pures et réparer le flou de mouvement.
Les capteurs sont fabriqués par Sony avec qui Prophesee a une collaboration de développement de produits.
En septembre dernier, Prophesee a réalisé un tour de table de série C de 50 millions d'euros avec l'ajout d'un nouvel investissement de Prosperity7 ventures. Les premiers investisseurs de série C étaient Sinovation Ventures et Xiaomi, rejoignant les investisseurs précédents Intel Capital, Robert Bosch Venture Capital, 360 Capital, iBionext et la Banque européenne d'investissement. Prophesee a levé 127 millions de dollars depuis sa création en 2014.