비행 시간 시스템 설계

개요

많은 머신 비전 애플리케이션은 이제 표준 3D 이미징을 대체하거나 보강하기 위해 고해상도 2D 깊이 이미지를 필요로 합니다. 이러한 솔루션은 3D 카메라에 의존하여 특히 기계가 인간과 근접하여 작동할 때 안전을 보장하기 위해 신뢰할 수 있는 깊이 정보를 제공합니다. 또한 카메라는 반사율이 높은 표면과 다른 움직이는 물체가 있는 넓은 공간과 같은 까다로운 환경에서 작동하면서 신뢰할 수 있는 깊이 정보를 제공해야 합니다. 지금까지 많은 제품이 저해상도 거리 측정기 유형 솔루션을 사용하여 2D 이미징을 보강하는 깊이 정보를 제공했습니다. 그러나 이 접근 방식에는 많은 제한 사항이 있습니다. 고해상도 3D 깊이 정보를 활용하는 애플리케이션을 위해 CW CMOS ToF 카메라는 시장에서 가장 높은 성능의 솔루션을 제공합니다. 고해상도 CW ToF에 의해 활성화된 일부 시스템 기능 감지기 technology 자세한 내용은 표 1에 설명되어 있습니다. 이러한 시스템 기능은 비디오 보케(bokeh), 얼굴 인증, 측정 애플리케이션과 같은 소비자 사용 사례뿐만 아니라 운전자 경보 모니터링, 자동화된 차량 내 구성과 같은 자동차 사용 사례에도 적용됩니다.

표 1. 연속파 비행 시간 시스템 기능

연속파 CMOS 비행 시간 카메라 개요

깊이 카메라는 각 픽셀이 카메라와 장면 사이의 거리를 출력하는 카메라입니다. 깊이를 측정하는 한 가지 기술은 빛이 카메라의 광원에서 반사면으로 이동하고 다시 카메라로 돌아오는 데 걸리는 시간을 계산하는 것입니다. 이 이동 시간을 일반적으로 비행 시간(ToF)이라고 합니다.

ToF 카메라는 다음을 포함한 여러 요소(그림 1 참조)로 구성됩니다.

근적외선 영역에서 빛을 방출하는 VCSEL(수직 공동 표면 방출 레이저) 또는 가장자리 방출 레이저 다이오드와 같은 광원. 가장 일반적으로 사용되는 파장은 850 nm와 940 nm입니다. 광원은 일반적으로 특정 발산(조명 필드 또는 FOI라고도 함)이 있는 광선을 방출하여 카메라 앞의 장면을 비추는 확산 광원(투광 조명)입니다.

•  광원에서 방출되는 빛의 강도를 변조하는 레이저 드라이버.
•  장면에서 반환되는 빛을 수집하고 각 픽셀에 대한 값을 출력하는 픽셀 배열이 있는 센서입니다.
•  반사광을 센서 어레이에 집중시키는 렌즈.
•  광원 파장 주변의 좁은 대역폭 외부의 빛을 걸러내는 렌즈와 같은 위치에 있는 대역 통과 필터.
•  센서의 출력 원시 프레임을 깊이 이미지 또는 포인트 클라우드로 변환하는 처리 알고리즘입니다.

ToF 카메라의 빛을 변조하기 위해 여러 접근 방식을 사용할 수 있습니다. 간단한 접근 방식은 연속파 변조(예: 50% 듀티 사이클의 구형파 변조)를 사용하는 것입니다. 실제로 레이저 파형은 완전한 구형파가 아니며 사인파에 더 가까워 보일 수 있습니다. 사각 레이저 파형은 주어진 광 전력에 대해 더 나은 신호 대 잡음비를 생성하지만 고주파 고조파의 존재로 인해 깊이 비선형성 오류가 발생합니다.

CW ToF 카메라는 시간차 t를 측정합니다._d 위상 오프셋 ϕ = 2πft를 추정하여 방출된 신호와 반환 신호 사이_d 두 신호의 기본 사이. 깊이는 다음을 사용하여 위상 오프셋(ϕ)과 빛의 속도(c)에서 추정할 수 있습니다.

어디서 f_모드 변조 주파수입니다.

시계 세대 회로 센서에서 두 전하 저장 요소(탭 A 및 탭 B)의 광전하 축적을 각각 제어하는 ​​상보적 픽셀 클록과 레이저 변조 신호를 제어합니다.

레이저 드라이버. 반환되는 변조된 빛의 위상은 픽셀 클록의 위상과 관련하여 측정할 수 있습니다(그림 1의 오른쪽 참조). 복귀 변조광과 픽셀 클록을 기준으로 한 복귀 변조광 위상차.

호모다인 검출 원리를 사용하여 픽셀 클록과 레이저 변조 신호 사이의 여러 상대 위상으로 측정이 이루어집니다. 이러한 측정을 결합하여 반환되는 변조된 광 신호의 기본 위상을 결정합니다. 이 단계를 알면 빛이 광원에서 관찰 대상으로 이동하고 다시 센서 픽셀로 이동하는 데 걸리는 시간을 계산할 수 있습니다.

높은 변조 주파수의 장점

실제로, 위상 측정에서 오류를 일으킬 수 있는 광자 샷 노이즈, 판독 회로 노이즈 및 다중 경로 간섭과 같은 비이상이 있습니다. 변조 주파수가 높으면 이러한 오류가 깊이 추정에 미치는 영향을 줄일 수 있습니다.

이것은 위상 오차 ϵ가 있는 간단한 예를 들면 이해하기 쉽습니다._ϕ- 즉, 센서에 의해 측정된 위상은 ϕ̂ = ϕ + ϵ_ϕ. 깊이 오류는 다음과 같습니다.

따라서 깊이 오류는 변조 주파수 f에 반비례합니다._모드. 이것은 그림 2에 그래픽으로 설명되어 있습니다.

이 간단한 공식은 변조 주파수가 높은 ToF 카메라가 변조 주파수가 낮은 ToF 카메라보다 깊이 노이즈가 낮고 깊이 오류가 더 작은 이유를 상당 부분 설명합니다.

높은 변조 주파수를 사용하는 경우의 한 가지 단점은 위상이 더 빠르게 순환한다는 것입니다. 즉, 명확하게 측정할 수 있는 범위가 더 짧습니다. 이 제한을 해결하는 일반적인 방법은 서로 다른 속도로 감싸는 다중 변조 주파수를 사용하는 것입니다. 가장 낮은 변조 주파수는 모호함이 없는 넓은 범위를 제공하지만 더 큰 깊이 오류(잡음, 다중 경로 간섭 등)를 제공하는 반면 더 높은 변조 주파수는 깊이 오류를 줄이기 위해 함께 사용됩니다. 세 가지 다른 변조 주파수가 있는 이 방식의 예가 그림 3에 나와 있습니다. 최종 깊이 추정은 다른 변조 주파수에 대한 래핑되지 않은 위상 추정에 가중치를 부여하여 계산되며 더 높은 가중치는 더 높은 변조 주파수에 할당됩니다.

각 주파수에 대한 가중치가 최적으로 선택되면 깊이 잡음은 시스템에서 선택한 변조 주파수의 rms(제곱 평균 제곱근)에 반비례합니다. 일정한 깊이의 노이즈 예산의 경우 변조 주파수를 높이면 통합 시간이나 조명 전력을 줄일 수 있습니다.

성능에 중요한 기타 시스템 측면

고성능 ToF 카메라를 개발할 때 고려해야 할 수많은 시스템 기능이 있으며 그 중 일부는 여기에서 간략하게 다룹니다.

이미지 센서

이미지 센서는 ToF 카메라의 핵심 부품입니다. 대부분의 깊이 추정 비이상(예: 바이어스, 깊이 노이즈 및 다중 경로 아티팩트)의 영향은 시스템의 평균 변조 주파수가 증가할 때 감소합니다. 따라서 센서가 높은 복조 대비(탭 A와 탭 B 사이의 광전자를 분리하는 능력)를 갖는 것이 중요합니다.

변조 주파수(수백 MHz). 또한 센서는 근적외선 파장(예: 850nm 및 940nm)에서 높은 양자 효율(QE)을 가져야 하므로 픽셀에서 광전자를 생성하는 데 필요한 광 전력이 줄어듭니다. 마지막으로, 낮은 판독 노이즈는 낮은 반사 신호(원거리 또는 낮은 반사율 물체)를 감지할 수 있게 하여 카메라의 동적 범위에 도움이 됩니다.

조명

레이저 드라이버는 높은 변조 주파수에서 광원(예: VCSEL)을 변조합니다. 주어진 광 전력에 대해 픽셀에서 유용한 신호의 양을 최대화하려면 광 파형이 깨끗한 에지와 함께 빠른 상승 및 하강 시간을 가져야 합니다. 조명 하위 시스템에서 레이저, 레이저 드라이버 및 PCB 레이아웃의 조합은 모두 이를 달성하는 데 중요합니다. 변조 파형의 푸리에 변환에서 기본 진폭을 최대화하기 위해 최적의 광 전력 및 듀티 사이클 설정을 찾는 데 필요한 특성화도 있습니다. 마지막으로, 레이저 드라이버 및 시스템 수준에 내장된 일부 안전 메커니즘을 통해 광학 전력도 안전한 방식으로 전달되어야 클래스 1 눈 안전 제한이 항상 준수되도록 보장할 수 있습니다.

광학

광학은 ToF 카메라에서 핵심적인 역할을 합니다. ToF 카메라에는 특별한 광학 요구 사항을 유발하는 특정 고유한 특성이 있습니다. 첫째, 광원의 조명 필드는 최적의 효율성을 위해 렌즈의 시야와 일치해야 합니다. 또한 더 나은 집광 효율을 위해 렌즈 자체가 높은 조리개(낮은 f/#)를 가져야 합니다. 조리개가 크면 비네팅, 얕은 피사계 심도 및 렌즈 설계 복잡성과 관련된 다른 절충안이 발생할 수 있습니다. 낮은 주광선 각도 렌즈 디자인은 대역 통과 필터 대역폭을 줄이는 데 도움이 될 수 있으며, 이는 주변광 제거를 개선하여 실외 성능을 향상시킵니다. 또한 광학 서브시스템은 처리 효율을 최대화하고 미광을 최소화하기 위해 원하는 작동 파장(예: 반사 방지 코팅, 대역 통과 필터 설계, 렌즈 설계)에 맞게 최적화되어야 합니다. 또한 광학 정렬이 최종 애플리케이션에 대해 원하는 허용 오차 내에 있도록 보장하기 위한 많은 기계적 요구 사항이 있습니다.

Power Management

고성능 3D ToF 카메라에서는 전력 관리도 매우 중요합니다. 모듈 설계. 레이저 변조 및 픽셀 변조는 높은 피크 전류의 짧은 버스트를 생성하므로 전력 관리 솔루션에 일부 제약이 가해집니다. 이미저의 최대 전력 소비를 줄이는 데 도움이 될 수 있는 센서 집적 회로(IC) 수준의 몇 가지 기능이 있습니다. 또한 전원(예: 배터리 또는 USB)에 대한 요구 사항을 완화하는 데 도움이 되도록 시스템 수준에서 적용할 수 있는 전원 관리 기술도 있습니다. ToF 이미저의 기본 아날로그 공급 장치에는 일반적으로 다음이 필요합니다. 조정기 좋은 과도 응답과 낮은 소음.

심도 처리 알고리즘

마지막으로 시스템 수준 설계의 또 다른 큰 부분은 깊이 처리 알고리즘입니다. ToF 이미지 센서는 위상 정보를 추출해야 하는 원시 픽셀 데이터를 출력합니다. 이 작업에는 노이즈 필터링 및 위상 언래핑을 포함하는 여러 단계가 필요합니다. 위상 언래핑 블록의 출력은 빛이 레이저에서 장면까지 이동한 거리를 측정한 것이며, 종종 범위 또는 방사형 거리라고도 합니다.

방사형 거리는 일반적으로 실제 좌표(X,Y,Z)로 특정 픽셀에 대한 정보를 나타내는 포인트 클라우드 정보로 변환됩니다. 종종 최종 애플리케이션은 전체 포인트 클라우드 대신 Z 이미지 맵(깊이 맵)만 사용합니다. 방사형 거리를 포인트 클라우드로 변환하려면 렌즈 고유 및 왜곡 매개변수를 알아야 합니다. 이러한 매개변수는 카메라 모듈의 기하학적 보정 중에 추정됩니다. 깊이 처리 알고리즘은 활성 밝기 이미지(복귀 레이저 신호의 진폭), 수동 2D IR 이미지 및 신뢰 수준과 같은 기타 정보도 출력할 수 있으며, 이들은 모두 최종 애플리케이션에서 사용할 수 있습니다. 깊이 처리는 카메라 모듈 자체 또는 시스템의 다른 위치에 있는 호스트 프로세서에서 수행할 수 있습니다.

이 기사에서 다루는 다양한 시스템 수준 구성 요소의 개요는 표 2에 나와 있습니다. 이러한 주제는 향후 기사에서 더 자세히 다룰 것입니다.

표 2. 3D 비행 시간 카메라의 시스템 수준 구성 요소

결론

연속파 비행 시간 카메라는 고품질 3D 정보가 필요한 애플리케이션에 높은 깊이 정밀도를 제공하는 강력한 솔루션입니다. 최상의 성능 수준을 달성하기 위해 고려해야 할 많은 요소가 있습니다. 변조 주파수, 복조 대비, 양자 효율 및 판독 노이즈와 같은 요소는 이미지 센서 수준에서 성능을 결정합니다. 다른 요인으로는 조명 하위 시스템, 광학 설계, 전원 관리 및 깊이 처리 알고리즘을 포함하는 시스템 수준 고려 사항이 있습니다. 이러한 모든 시스템 수준 구성 요소는 최고의 정밀도를 달성하는 데 중요합니다. 3D ToF 카메라 시스템. 이러한 시스템 수준 주제는 다음 기사에서 더 자세히 다룰 것입니다.