Design des Flugzeitsystems

Einleitung

Viele Bildverarbeitungsanwendungen erfordern heute hochauflösende 3D-Tiefenbilder, um die standardmäßige 2D-Bildgebung zu ersetzen oder zu ergänzen. Diese Lösungen verlassen sich darauf, dass die 3D-Kamera zuverlässige Tiefeninformationen liefert, um die Sicherheit zu gewährleisten, insbesondere wenn Maschinen in unmittelbarer Nähe von Menschen arbeiten. Die Kameras müssen auch in schwierigen Umgebungen, wie in großen Räumen mit stark reflektierenden Oberflächen und in Gegenwart anderer sich bewegender Objekte, zuverlässige Tiefeninformationen liefern. Bei vielen Produkten wurden bisher Entfernungsmesser-Lösungen mit niedriger Auflösung verwendet, um Tiefeninformationen zur Verbesserung der 2D-Bildgebung bereitzustellen. Dieser Ansatz hat jedoch viele Einschränkungen. Für Anwendungen, die von 3D-Tiefeninformationen mit höherer Auflösung profitieren, bieten CW CMOS ToF-Kameras die leistungsstärksten Lösungen auf dem Markt. Einige der Systemfunktionen, die durch hochauflösendes CW ToF . ermöglicht werden Sensor Technologie werden in Tabelle 1 ausführlicher beschrieben. Diese Systemfunktionen lassen sich auch auf Verbraucheranwendungsfälle wie Video-Bokeh, Gesichtsauthentifizierung und Messanwendungen sowie auf Automobilanwendungsfälle wie die Überwachung der Fahreraufmerksamkeit und die automatisierte Konfiguration in der Kabine übertragen.

Tabelle 1. Merkmale des Dauerwellen-Flugzeitsystems

Übersicht über die Dauerstrich-CMOS-Laufzeitkamera

Eine Tiefenkamera ist eine Kamera, bei der jedes Pixel die Entfernung zwischen der Kamera und der Szene ausgibt. Eine Technik zum Messen der Tiefe besteht darin, die Zeit zu berechnen, die das Licht benötigt, um von einer Lichtquelle an der Kamera zu einer reflektierenden Oberfläche und zurück zur Kamera zu wandern. Diese Reisezeit wird allgemein als Flugzeit (ToF) bezeichnet.

Eine ToF-Kamera besteht aus mehreren Elementen (siehe Abbildung 1), darunter:

eine Lichtquelle – wie ein oberflächenemittierender Laser mit vertikaler Kavität (VCSEL) oder eine kantenemittierende Laserdiode – die Licht im Nahinfrarotbereich emittiert. Die am häufigsten verwendeten Wellenlängen sind 850 nm und 940 nm. Die Lichtquelle ist normalerweise eine diffuse Lichtquelle (Flutbeleuchtung), die einen Lichtstrahl mit einer bestimmten Divergenz (auch bekannt als Beleuchtungsfeld oder FOI) aussendet, um die Szene vor der Kamera zu beleuchten.

•  ein Lasertreiber, der die Intensität des von der Lichtquelle emittierten Lichts moduliert.
•  ein Sensor mit einem Pixel-Array, der das zurückkehrende Licht von der Szene sammelt und Werte für jedes Pixel ausgibt.
•  eine Linse, die das zurückkehrende Licht auf das Sensorarray fokussiert.
•  ein Bandpassfilter, das zusammen mit der Linse angeordnet ist und Licht außerhalb einer schmalen Bandbreite um die Wellenlänge der Lichtquelle herausfiltert.
•  ist ein Verarbeitungsalgorithmus, der vom Sensor ausgegebene Rohbilder in Tiefenbilder oder Punktwolken umwandelt.

Man kann mehrere Ansätze verwenden, um das Licht in einer ToF-Kamera zu modulieren. Ein einfacher Ansatz besteht darin, eine kontinuierliche Wellenmodulation zu verwenden, beispielsweise eine Rechteckwellenmodulation mit 50 % Tastverhältnis. In der Praxis ist die Laserwellenform selten eine perfekte Rechteckwelle und kann einer Sinuswelle näher kommen. Eine rechteckige Laserwellenform liefert ein besseres Signal-Rausch-Verhältnis für eine gegebene optische Leistung, führt aber auch Tiefen-Nichtlinearitätsfehler aufgrund des Vorhandenseins hochfrequenter Harmonischer ein.

Eine CW-ToF-Kamera misst die Zeitdifferenz t_d zwischen dem ausgesendeten Signal und dem Rücksignal durch Abschätzen des Phasenversatzes ϕ = 2πftπ_d zwischen den Grundlagen dieser beiden Signale. Die Tiefe kann aus dem Phasenversatz (ϕ) und der Lichtgeschwindigkeit (c) abgeschätzt werden mit:

wo f_mod ist die Modulationsfrequenz.

Eine Uhrengeneration Schaltung im Sensor steuert die komplementären Pixeltakte, die jeweils die Akkumulation von Photoladungen in den beiden Ladungsspeicherelementen (Tap A und Tap B) sowie das Lasermodulationssignal an den to

Laser-Treiber. Die Phase des zurückkehrenden modulierten Lichts kann relativ zur Phase der Pixeltakte gemessen werden (siehe rechte Seite von Abbildung 1). Die Differenz des zurückkehrenden modulierten Lichts und der Phase des zurückkehrenden modulierten Lichts relativ zum Pixeltakt.

Unter Verwendung der Prinzipien der Homodyn-Erkennung wird eine Messung mit mehreren relativen Phasen zwischen Pixeltakt und Lasermodulationssignal durchgeführt. Diese Messungen werden kombiniert, um die Phase der Grundwelle im zurückkehrenden modulierten Lichtsignal zu bestimmen. Die Kenntnis dieser Phase ermöglicht die Berechnung der Zeit, die das Licht benötigt, um von der Lichtquelle zum beobachteten Objekt und zurück zum Sensorpixel zu wandern.

Vorteile hoher Modulationsfrequenzen

In der Praxis gibt es Nichtidealitäten wie Photonenschussrauschen, Auslesekreisrauschen und Mehrwegestörungen, die Fehler bei der Phasenmessung verursachen können. Eine hohe Modulationsfrequenz reduziert die Auswirkung dieser Fehler auf die Tiefenschätzung.

Dies ist leicht zu verstehen, wenn man ein einfaches Beispiel nimmt, bei dem ein Phasenfehler ϵ_ϕ—d.h. die vom Sensor gemessene Phase ist ϕ̂ = ϕ + ϵ_ϕ. Der Tiefenfehler ist dann:

Daher ist der Tiefenfehler umgekehrt proportional zur Modulationsfrequenz f_mod. Dies ist in Abbildung 2 grafisch dargestellt.

Diese einfache Formel erklärt zum großen Teil, warum ToF-Kameras mit hoher Modulationsfrequenz ein geringeres Tiefenrauschen und kleinere Tiefenfehler aufweisen als ToF-Kameras mit niedrigerer Modulationsfrequenz.

Ein Nachteil der Verwendung einer hohen Modulationsfrequenz besteht darin, dass die Phase schneller umläuft, was bedeutet, dass der Bereich, der eindeutig gemessen werden kann, kürzer ist. Der übliche Weg, diese Einschränkung zu umgehen, besteht darin, mehrere Modulationsfrequenzen zu verwenden, die mit unterschiedlichen Raten umlaufen. Die niedrigste Modulationsfrequenz bietet einen großen Bereich ohne Mehrdeutigkeit, aber größere Tiefenfehler (Rauschen, Mehrwegeinterferenz usw.), während höhere Modulationsfrequenzen gleichzeitig verwendet werden, um Tiefenfehler zu reduzieren. Ein Beispiel für dieses Schema mit drei verschiedenen Modulationsfrequenzen ist in 3 gezeigt. Die endgültige Tiefenschätzung wird durch Gewichten der unverpackten Phasenschätzungen für die verschiedenen Modulationsfrequenzen berechnet, wobei den höheren Modulationsfrequenzen höhere Gewichtungen zugewiesen werden.

Wenn die Gewichte für jede Frequenz optimal gewählt werden, ist das Tiefenrauschen umgekehrt proportional zum quadratischen Mittelwert (rms) der im System gewählten Modulationsfrequenzen. Für ein konstantes Tiefenrauschbudget ermöglicht eine Erhöhung der Modulationsfrequenzen eine Reduzierung der Integrationszeit oder der Beleuchtungsleistung.

Andere leistungskritische Systemaspekte

Bei der Entwicklung einer Hochleistungs-ToF-Kamera sind zahlreiche Systemfeatures zu berücksichtigen, von denen einige hier kurz vorgestellt werden.

Bildsensor

Der Bildsensor ist eine Schlüsselkomponente in einer ToF-Kamera. Die Auswirkungen der meisten Nichtidealitäten der Tiefenschätzung (zum Beispiel Bias, Tiefenrauschen und Mehrwegeartefakte) werden reduziert, wenn die durchschnittliche Modulationsfrequenz des Systems ansteigt. Daher ist es wichtig, dass der Sensor einen hohen Demodulationskontrast (Fähigkeit, Photoelektronen zwischen Tap A und Tap B zu trennen) bei hoher

Modulationsfrequenz (Hunderte von MHz). Der Sensor muss auch eine hohe Quanteneffizienz (QE) in den nahen Infrarotwellenlängen (zum Beispiel 850 nm und 940 nm) aufweisen, damit weniger optische Leistung benötigt wird, um Photoelektronen im Pixel zu erzeugen. Schließlich hilft ein niedriges Ausleserauschen beim dynamischen Bereich der Kamera, indem es die Erkennung von schwachen Rücksignalen (ferne Objekte oder Objekte mit geringem Reflexionsvermögen) ermöglicht.

Beleuchtung

Der Lasertreiber moduliert die Lichtquelle (zB VCSEL) mit hoher Modulationsfrequenz. Um die Menge des Nutzsignals am Pixel für eine gegebene optische Leistung zu maximieren, muss die optische Wellenform schnelle Anstiegs- und Abfallzeiten mit sauberen Flanken aufweisen. Die Kombination aus Laser, Lasertreiber und PCB-Layout im Beleuchtungs-Subsystem ist dafür entscheidend. Es ist auch eine gewisse Charakterisierung erforderlich, um die optimalen Einstellungen der optischen Leistung und des Tastverhältnisses zu finden, um die Amplitude der Grundwelle in der Fourier-Transformation der Modulationswellenform zu maximieren. Schließlich muss die optische Leistung auch auf sichere Weise mit einigen integrierten Sicherheitsmechanismen auf Lasertreiber- und Systemebene geliefert werden, um sicherzustellen, dass die Augensicherheitsgrenzen der Klasse 1 jederzeit eingehalten werden.

Optik

Die Optik spielt bei ToF-Kameras eine Schlüsselrolle. ToF-Kameras haben bestimmte charakteristische Eigenschaften, die besondere optische Anforderungen erfüllen. Erstens sollte das Beleuchtungsfeld der Lichtquelle für eine optimale Effizienz mit dem Sichtfeld der Linse übereinstimmen. Es ist auch wichtig, dass das Objektiv selbst eine hohe Blende (niedrige f/#) für eine bessere Lichtsammeleffizienz hat. Große Blendenöffnungen können zu anderen Kompromissen in Bezug auf Vignettierung, geringe Schärfentiefe und Komplexität des Objektivdesigns führen. Ein Linsendesign mit niedrigem Hauptstrahlwinkel kann auch dazu beitragen, die Bandbreite des Bandpassfilters zu reduzieren, was die Umgebungslichtunterdrückung und damit die Außenleistung verbessert. Das optische Subsystem sollte auch für die gewünschte Betriebswellenlänge optimiert werden (z. B. Antireflexbeschichtungen, Bandpassfilterdesign, Linsendesign), um die Durchsatzeffizienz zu maximieren und Streulicht zu minimieren. Es gibt auch viele mechanische Anforderungen, um sicherzustellen, dass die optische Ausrichtung innerhalb der gewünschten Toleranzen für die Endanwendung liegt.

Power Management

Auch die Energieverwaltung ist bei einer leistungsstarken 3D-ToF-Kamera von entscheidender Bedeutung Modulen Design. Die Lasermodulation und die Pixelmodulation erzeugen kurze Ausbrüche hoher Spitzenströme, was der Energieverwaltungslösung einige Einschränkungen auferlegt. Auf der Ebene der integrierten Schaltkreise (IC) des Sensors gibt es einige Funktionen, die dazu beitragen können, den Spitzenstromverbrauch des Bildgebers zu reduzieren. Es gibt auch Energieverwaltungstechniken, die auf Systemebene angewendet werden können, um die Anforderungen an die Stromquelle (z. B. Batterie oder USB) zu verringern. Die wichtigsten analogen Netzteile für einen ToF-Imager erfordern normalerweise eine Regler mit gutem Einschwingverhalten und geringem Rauschen.

Tiefenverarbeitungsalgorithmus

Schließlich ist ein weiterer großer Teil des Designs auf Systemebene der Tiefenverarbeitungsalgorithmus. Der ToF-Bildsensor gibt rohe Pixeldaten aus, aus denen die Phaseninformationen extrahiert werden müssen. Dieser Vorgang erfordert unterschiedliche Schritte, die Rauschfilterung und Phasenentfaltung umfassen. Die Ausgabe des Phasenunwrapping-Blocks ist eine Messung der Entfernung, die das Licht vom Laser zur Szene und zurück zum Pixel zurücklegt, oft als Entfernung oder radiale Entfernung bezeichnet.

Der radiale Abstand wird im Allgemeinen in Punktwolkeninformationen umgewandelt, die die Informationen für ein bestimmtes Pixel durch seine realen Koordinaten (X, Y, Z) darstellen. Endanwendungen verwenden oft nur die Z-Imagemap (Tiefenkarte) anstelle der vollständigen Punktwolke. Um den radialen Abstand in eine Punktwolke umzuwandeln, müssen die Linseneigenschaften und die Verzerrungsparameter bekannt sein. Diese Parameter werden während der geometrischen Kalibrierung des Kameramoduls geschätzt. Der Tiefenverarbeitungsalgorithmus kann auch andere Informationen wie aktive Helligkeitsbilder (Amplitude des zurückkommenden Lasersignals), passive 2D-IR-Bilder und Konfidenzniveaus ausgeben, die alle in Endanwendungen verwendet werden können. Die Tiefenverarbeitung kann auf dem Kameramodul selbst oder in einem Host-Prozessor an anderer Stelle im System erfolgen.

Tabelle 2 enthält eine Übersicht über die verschiedenen Komponenten auf Systemebene, die in diesem Artikel behandelt werden. Diese Themen werden in zukünftigen Artikeln ausführlicher behandelt.

Tabelle 2. Komponenten auf Systemebene von 3D-Flugzeitkameras

Zusammenfassung

Continuous-Wave-Flugzeitkameras sind eine leistungsstarke Lösung mit hoher Tiefenpräzision für Anwendungen, die hochwertige 3D-Informationen erfordern. Es gibt viele Faktoren, die berücksichtigt werden müssen, um sicherzustellen, dass das beste Leistungsniveau erreicht wird. Faktoren wie Modulationsfrequenz, Demodulationskontrast, Quanteneffizienz und Ausleserauschen bestimmen die Leistung auf Bildsensorebene. Andere Faktoren sind Überlegungen auf Systemebene, zu denen das Beleuchtungssubsystem, das optische Design, die Leistungsverwaltung und die Tiefenverarbeitungsalgorithmen gehören. Alle diese Komponenten auf Systemebene sind entscheidend, um höchste Präzision zu erreichen 3D ToF-Kamerasystem. Diese Themen auf Systemebene werden in nachfolgenden Artikeln ausführlicher behandelt.