Время разработки системы полета

Введение

Многие приложения машинного зрения теперь требуют трехмерных глубинных изображений с высоким разрешением, чтобы заменить или дополнить стандартные двухмерные изображения. В этих решениях используется 3D-камера, которая обеспечивает надежную информацию о глубине и гарантирует безопасность, особенно когда машины работают в непосредственной близости от людей. Камеры также должны предоставлять надежную информацию о глубине при работе в сложных условиях, например, в больших пространствах с сильно отражающими поверхностями и в присутствии других движущихся объектов. На сегодняшний день во многих продуктах используются дальномеры с низким разрешением для получения информации о глубине для улучшения 2D-изображений. Однако у этого подхода есть много ограничений. Для приложений, которые извлекают выгоду из информации о глубине 3D в более высоком разрешении, камеры CW CMOS ToF предоставляют решения с высочайшей производительностью на рынке. Некоторые функции системы доступны благодаря CW ToF с высоким разрешением. датчик technology более подробно описаны в Таблице 1. Эти функции системы также применимы к потребительским вариантам использования, таким как видео-боке, аутентификация по лицу и приложения для измерения, а также к автомобильным вариантам использования, таким как мониторинг бдительности водителя и автоматическая настройка в салоне.

Таблица 1. Время непрерывной волны характеристик системы полета

Обзор камеры непрерывного действия CMOS Time of Flight

Камера глубины - это камера, каждый пиксель которой отображает расстояние между камерой и сценой. Один из методов измерения глубины - это вычисление времени, за которое свет проходит от источника света на камере до отражающей поверхности и обратно в камеру. Это время в пути обычно называют временем полета (ToF).

Камера ToF состоит из нескольких элементов (см. Рисунок 1), в том числе:

источник света, такой как лазер с вертикальным резонатором с поверхностным излучением (VCSEL) или лазерный диод с торцевым излучением, который излучает свет в ближней инфракрасной области. Наиболее часто используемые длины волн - 850 нм и 940 нм. Источником света обычно является рассеянный источник (прожекторное освещение), который излучает луч света с определенным расхождением (также известный как поле освещения или FOI), чтобы осветить сцену перед камерой.

•  драйвер лазера, который модулирует интенсивность света, излучаемого источником света.
•  датчик с массивом пикселей, который собирает отраженный свет от сцены и выводит значения для каждого пикселя.
•  линза, которая фокусирует возвращающийся свет на матрицу датчиков.
•  полосовой фильтр, расположенный рядом с линзой, отфильтровывает свет за пределами узкой полосы пропускания вокруг длины волны источника света.
•  представляет собой алгоритм обработки, который преобразует выходные необработанные кадры с датчика в изображения глубины или облака точек.

Для модуляции света в ToF-камере можно использовать несколько подходов. Простым подходом является использование непрерывной волновой модуляции, например, прямоугольной модуляции с коэффициентом заполнения 50%. На практике форма волны лазера редко представляет собой идеальную прямоугольную волну и может быть похожа на синусоидальную волну. Форма волны квадратного лазера дает лучшее отношение сигнал / шум для данной оптической мощности, но также вносит ошибки нелинейности по глубине из-за присутствия высокочастотных гармоник.

Камера CW ToF измеряет разницу во времени t_d между излучаемым сигналом и обратным сигналом путем оценки фазового сдвига ϕ = 2πft_d между основами этих двух сигналов. Глубину можно оценить по сдвигу фазы (ϕ) и скорости света (c), используя:

где f_модуль - частота модуляции.

Поколение часов схема в датчике управляет дополнительными часами пикселей, которые соответственно управляют накоплением фотозарядов в двух элементах накопления заряда (Tap A и Tap B), а также сигналом лазерной модуляции для

лазерный драйвер. Фазу возвращающегося модулированного света можно измерить относительно фазы тактовых импульсов пикселей (см. Правую часть рисунка 1). Разница между возвращающимся модулированным светом и фазой возвращающегося модулированного света относительно тактовой частоты пикселей.

Используя принципы гомодинного обнаружения, выполняется измерение с несколькими относительными фазами между пиксельными часами и сигналом лазерной модуляции. Эти измерения объединяются для определения фазы основной гармоники в возвращающемся модулированном световом сигнале. Знание этой фазы позволяет рассчитать время, за которое свет проходит от источника света до наблюдаемого объекта и обратно к пикселю датчика.

Преимущества высоких частот модуляции

На практике существуют неидеальности, такие как дробовой шум фотонов, шум схемы считывания и многолучевые помехи, которые могут вызвать ошибки в измерении фазы. Наличие высокой частоты модуляции снижает влияние этих ошибок на оценку глубины.

Это легко понять, взяв простой пример, когда есть фазовая ошибка ϵ_ϕ- то есть фаза, измеренная датчиком, равна ϕ̂ = ϕ + ϵ_ϕ. Тогда погрешность глубины равна:

Следовательно, ошибка глубины обратно пропорциональна частоте модуляции f_модуль. Это графически проиллюстрировано на рисунке 2.

Эта простая формула в значительной степени объясняет, почему камеры ToF с высокой частотой модуляции имеют более низкий шум глубины и меньшие ошибки глубины, чем камеры ToF с более низкой частотой модуляции.

Одним из недостатков использования высокой частоты модуляции является то, что фаза нарастает быстрее, а это означает, что диапазон, который можно однозначно измерить, короче. Обычный способ обойти это ограничение - использовать несколько частот модуляции, которые меняются с разной скоростью. Самая низкая частота модуляции обеспечивает большой диапазон без неоднозначности, но с большими ошибками глубины (шум, многолучевые помехи и т. Д.), В то время как более высокие частоты модуляции используются в тандеме для уменьшения ошибок глубины. Пример этой схемы с тремя различными частотами модуляции показан на рисунке 3. Окончательная оценка глубины вычисляется путем взвешивания развернутых оценок фазы для различных частот модуляции, причем более высокие веса назначаются более высоким частотам модуляции.

Если веса для каждой частоты выбраны оптимально, глубинный шум обратно пропорционален среднеквадратичному значению (среднеквадратичное значение) частот модуляции, выбранных в системе. Для постоянного бюджета глубины шума увеличение частот модуляции позволяет сократить время интегрирования или мощность освещения.

Другие системные аспекты, критичные для производительности

При разработке высокопроизводительной камеры ToF необходимо учитывать множество системных функций, некоторые из которых кратко описаны здесь.

Датчик изображений

Датчик изображения - ключевой компонент ToF-камеры. Эффекты большинства неидеальности оценки глубины (например, смещения, шума глубины и артефактов многолучевого распространения) уменьшаются, когда средняя частота модуляции системы увеличивается. Поэтому важно, чтобы датчик имел высокий контраст демодуляции (способность разделять фотоэлектроны между Tap A и Tap B) при высоком

частота модуляции (сотни МГц). Датчик также должен иметь высокую квантовую эффективность (QE) в ближнем инфракрасном диапазоне длин волн (например, 850 нм и 940 нм), так что для генерации фотоэлектронов в пикселе требуется меньшая оптическая мощность. Наконец, низкий уровень шума при считывании помогает расширить динамический диапазон камеры, позволяя обнаруживать сигналы с низким уровнем отражения (удаленные объекты или объекты с низкой отражательной способностью).

Освещение

Драйвер лазера модулирует источник света (например, VCSEL) с высокой частотой модуляции. Чтобы максимизировать количество полезного сигнала в пикселе для заданной оптической мощности, форма оптического сигнала должна иметь быстрое время нарастания и спада с чистыми краями. Комбинация лазера, лазерного драйвера и разводки печатной платы в подсистеме освещения имеет решающее значение для достижения этой цели. Также требуется определенная характеристика, чтобы найти оптимальную оптическую мощность и настройки рабочего цикла, чтобы максимизировать амплитуду основной гармоники в преобразовании Фурье формы волны модуляции. Наконец, оптическая мощность также должна подаваться безопасным образом с некоторыми механизмами безопасности, встроенными в драйвер лазера и на уровне системы, чтобы гарантировать постоянное соблюдение пределов безопасности для глаз класса 1.

Оптика

Оптика играет ключевую роль в камерах ToF. Камеры ToF обладают определенными отличительными характеристиками, которые предъявляют особые требования к оптике. Во-первых, поле освещения источника света должно соответствовать полю зрения линзы для оптимальной эффективности. Также важно, чтобы сам объектив имел большую диафрагму (низкое f / #) для лучшей светосилы. Большая диафрагма может привести к другим компромиссам, связанным с виньетированием, малой глубиной резкости и сложностью конструкции объектива. Конструкция линз с низким углом главного луча также может помочь уменьшить полосу пропускания полосового фильтра, что улучшает подавление окружающего света и, следовательно, улучшает характеристики на открытом воздухе. Оптическая подсистема также должна быть оптимизирована для работы с желаемой длиной волны (например, антибликовое покрытие, конструкция полосового фильтра, конструкция линзы), чтобы максимизировать пропускную способность и свести к минимуму паразитный свет. Также существует множество механических требований, чтобы гарантировать, что оптическое выравнивание находится в пределах желаемых допусков для конечного применения.

Управление электропитанием

Управление питанием также имеет решающее значение для высокопроизводительной 3D ToF-камеры. модуль дизайн. Лазерная модуляция и пиксельная модуляция генерируют короткие всплески высоких пиковых токов, что накладывает некоторые ограничения на решение по управлению питанием. На уровне интегральной схемы датчика (ИС) имеются некоторые функции, которые могут помочь снизить пиковое энергопотребление тепловизора. Существуют также методы управления питанием, которые можно применять на уровне системы, чтобы облегчить требования к источнику питания (например, аккумулятору или USB). Для основных аналоговых источников изображения ToF-изображения обычно требуется регулятор с хорошей переходной характеристикой и низким уровнем шума.

Алгоритм обработки глубины

Наконец, еще одна важная часть дизайна системного уровня - это алгоритм обработки глубины. Датчик изображения ToF выводит необработанные пиксельные данные, из которых необходимо извлечь фазовую информацию. Эта операция требует различных шагов, которые включают фильтрацию шума и развертку фазы. Результатом блока развертки фазы является измерение расстояния, пройденного светом от лазера до сцены и обратно до пикселя, часто называемого диапазоном или радиальным расстоянием.

Радиальное расстояние обычно преобразуется в информацию об облаке точек, которая представляет информацию о конкретном пикселе по его реальным координатам (X, Y, Z). Часто конечные приложения используют только карту Z-изображения (карту глубины) вместо полного облака точек. Преобразование радиального расстояния в облако точек требует знания внутренних характеристик линзы и параметров искажения. Эти параметры оцениваются во время геометрической калибровки модуля камеры. Алгоритм обработки глубины может также выводить другую информацию, такую ​​как изображения с активной яркостью (амплитуда отраженного лазерного сигнала), пассивные 2D ИК-изображения и уровни достоверности, которые можно использовать в конечных приложениях. Обработка глубины может выполняться в самом модуле камеры или в главном процессоре где-то еще в системе.

Обзор различных компонентов системного уровня, рассматриваемых в этой статье, показан в таблице 2. Эти темы будут рассмотрены более подробно в следующих статьях.

Таблица 2. Компоненты системного уровня трехмерных времяпролетных камер

Заключение

Непрерывные времяпролетные камеры - это мощное решение, обеспечивающее высокую точность глубины для приложений, требующих высококачественной трехмерной информации. Для достижения наилучшего уровня производительности необходимо учитывать множество факторов. Такие факторы, как частота модуляции, контраст демодуляции, квантовая эффективность и шум считывания, определяют производительность на уровне датчика изображения. Другие факторы - это соображения на уровне системы, которые включают подсистему освещения, оптическую конструкцию, управление питанием и алгоритмы обработки глубины. Все эти компоненты системного уровня критически важны для достижения высочайшей точности. 3D Система камеры ToF. Эти темы системного уровня будут рассмотрены более подробно в следующих статьях.