Tiên tri tầm nhìn cho Snapdragon

Cập nhật: ngày 1 tháng 2023 năm XNUMX

Các cảm biến của Prophesee tuyên bố sẽ cải thiện hiệu suất của máy ảnh, đặc biệt là trong các cảnh động chuyển động nhanh (ví dụ: cảnh thể thao) và trong điều kiện ánh sáng yếu thông qua phương pháp cảm biến pixel liên tục và không đồng bộ dựa trên sự kiện.

Tiên tri tuyên bố rằng các cảm biến của nó cho phép máy móc nhìn thấy các sự kiện siêu nhanh và thoáng qua ở thang thời gian dưới một phần nghìn giây mà chỉ ghi lại bản chất của cảnh, do đó sử dụng dữ liệu được xử lý ít hơn từ 10 đến 1000 lần so với các phương pháp tiếp cận tiêu chuẩn.

Mỗi pixel chỉ báo cáo khi nó cảm nhận được chuyển động. Trong khi đó trong một khung dựa trên cảm biến tất cả các pixel ghi lại cùng một lúc, trong cảm biến dựa trên sự kiện, mỗi pixel hoàn toàn độc lập.

Các cảm biến có độ phân giải 1280x720px với 'Tương đương độ phân giải thời gian' là 10 nghìn khung hình/giây, dải động 120dB và cắt ánh sáng yếu ở 0.08 Lux.

Video 1 – Cảnh thể thao: Kết quả khử mờ sơ bộ trên cảnh tốc độ cao, thu được khi kết hợp cảm biến Prophesee Metavision và các thuật toán với nền tảng Snapdragon.

Các cảm biến của Tiên tri chỉ tập trung vào những thay đổi trong cảnh, từng pixel một, liên tục ở tốc độ cực cao.

Mỗi pixel trong cảm biến Metavision nhúng một lõi logic, cho phép nó hoạt động như một nơ-ron.

Chúng tự kích hoạt một cách thông minh và không đồng bộ tùy thuộc vào lượng photon mà chúng cảm nhận được.

Một pixel tự kích hoạt được gọi là một sự kiện. Về bản chất, các sự kiện được điều khiển bởi tính năng động của cảnh, không phải là đồng hồ tùy ý nữa, vì vậy tốc độ thu nhận luôn phù hợp với tính năng động của cảnh thực tế.

Tính năng xóa mờ dựa trên sự kiện hiệu suất cao đạt được bằng cách đồng bộ hóa cảm biến dựa trên khung hình và dựa trên sự kiện của Tiên tri.

Sau đó, hệ thống sẽ lấp đầy các khoảng trống giữa và bên trong các khung hình bằng các sự kiện micro giây để trích xuất thông tin chuyển động thuần túy theo thuật toán và sửa chữa hiện tượng mờ do chuyển động.

Các cảm biến được chế tạo bởi Sony mà Prophesee đã hợp tác phát triển sản phẩm.

Tháng 50 năm ngoái, Prophesee đã hoàn thành vòng Series C trị giá 7 triệu euro với việc bổ sung khoản đầu tư mới từ các dự án mạo hiểm Prosperity360. Các nhà đầu tư Series C ban đầu là Sinovation Ventures và Xiaomi, cùng với các nhà đầu tư trước đó là Intel Capital, Robert Bosch Venture Capital, 127 Capital, iBionext và European Investment Bank. Tiên tri đã huy động được 2014 triệu đô la kể từ khi thành lập vào năm XNUMX.