Time of Flight-systeemontwerp

Introductie

Veel machine vision-toepassingen vereisen nu 3D-dieptebeelden met een hoge resolutie om standaard 2D-beeldvorming te vervangen of uit te breiden. Deze oplossingen vertrouwen op de 3D-camera om betrouwbare diepte-informatie te leveren om de veiligheid te garanderen, vooral wanneer machines in de nabijheid van mensen werken. De camera's moeten ook betrouwbare diepte-informatie bieden tijdens het werken in uitdagende omgevingen, zoals in grote ruimtes met sterk reflecterende oppervlakken en in de aanwezigheid van andere bewegende objecten. Veel producten hebben tot nu toe gebruik gemaakt van meetzoekeroplossingen met een lage resolutie om diepte-informatie te verschaffen om 2D-beeldvorming te verbeteren. Deze benadering heeft echter veel beperkingen. Voor toepassingen die profiteren van 3D-diepte-informatie met een hogere resolutie, bieden CW CMOS ToF-camera's de best presterende oplossingen op de markt. Enkele van de systeemfuncties mogelijk gemaakt door CW ToF . met hoge resolutie sensor technologie worden in meer detail beschreven in Tabel 1. Deze systeemfuncties vertalen zich ook in gebruiksscenario's voor consumenten, zoals video-bokeh, gezichtsauthenticatie en meettoepassingen, maar ook in gebruiksscenario's in de automobielsector, zoals monitoring van de alertheid van de bestuurder en geautomatiseerde configuratie in de cabine.

Tabel 1. Functies van continue golftijd van vluchtsysteem

Continuous Wave CMOS Time of Flight Camera-overzicht

Een dieptecamera is een camera waarbij elke pixel de afstand tussen de camera en de scène weergeeft. Een techniek om diepte te meten is het berekenen van de tijd die het licht nodig heeft om van een lichtbron op de camera naar een reflecterend oppervlak en terug naar de camera te reizen. Deze reistijd wordt gewoonlijk de vluchttijd (ToF) genoemd.

Een ToF-camera bestaat uit verschillende elementen (zie afbeelding 1), waaronder:

een lichtbron, zoals een oppervlakte-emitterende laser (VCSEL) of edge-emitting laserdiode, die licht uitzendt in het nabij-infrarode domein. De meest gebruikte golflengten zijn 850 nm en 940 nm. De lichtbron is meestal een diffuse bron (vloedverlichting) die een lichtstraal uitstraalt met een bepaalde divergentie (ook wel lichtveld of FOI genoemd) om de scène voor de camera te verlichten.

•  een laserdriver die de intensiteit van het door de lichtbron uitgestraalde licht moduleert.
•  een sensor met een pixelarray die het terugkerende licht van de scène verzamelt en waarden voor elke pixel uitvoert.
•  een lens die het terugkerende licht op de sensorarray focust.
•  een banddoorlaatfilter dat zich naast de lens bevindt en dat licht buiten een smalle bandbreedte rond de golflengte van de lichtbron filtert.
•  is een verwerkingsalgoritme dat onbewerkte uitvoerframes van de sensor omzet in dieptebeelden of puntenwolken.

Men kan meerdere benaderingen gebruiken om het licht in een ToF-camera te moduleren. Een eenvoudige benadering is om een ​​continue golfmodulatie te gebruiken, bijvoorbeeld een blokgolfmodulatie met een inschakelduur van 50%. In de praktijk is de lasergolfvorm zelden een perfecte blokgolf en lijkt hij misschien meer op een sinusgolf. Een vierkante lasergolfvorm levert een betere signaal-ruisverhouding op voor een bepaald optisch vermogen, maar introduceert ook niet-lineariteitsfouten in de diepte vanwege de aanwezigheid van hoogfrequente harmonischen.

Een CW ToF-camera meet het tijdsverschil t_d tussen het uitgezonden signaal en het retoursignaal door de faseverschuiving ϕ = 2πft . te schatten_d tussen de fundamenten van die twee signalen. De diepte kan worden geschat uit de faseverschuiving ( phase) en de lichtsnelheid (c) met behulp van:

waar f_mod is de modulatiefrequentie.

Een klok generatie circuit in de sensor regelt de complementaire pixelklokken die respectievelijk de accumulatie van fotoladingen in de twee ladingsopslagelementen (Tap A en Tap B) regelen, evenals het lasermodulatiesignaal naar de

laser driver. De fase van het terugkerende gemoduleerde licht kan worden gemeten ten opzichte van de fase van de pixelklokken (zie rechterkant van figuur 1). Het verschil tussen het terugkerende gemoduleerde licht en de fase van het terugkerende gemoduleerde licht ten opzichte van de pixelklok.

Met behulp van principes van homodyne-detectie wordt een meting gedaan met meerdere relatieve fasen tussen pixelklok en lasermodulatiesignaal. Deze metingen worden gecombineerd om de fase van de grondtoon in het terugkerende gemoduleerde lichtsignaal te bepalen. Door deze fase te kennen, kan de tijd worden berekend die het licht nodig heeft om van de lichtbron naar het object dat wordt waargenomen en terug naar de sensorpixel te reizen.

Voordelen van hoge modulatiefrequenties

In de praktijk zijn er niet-idealiteiten zoals fotonenschotruis, uitleescircuitruis en multipath-interferentie die fouten in de fasemeting kunnen veroorzaken. Het hebben van een hoge modulatiefrequentie vermindert de impact van die fouten op de diepteschatting.

Dit is gemakkelijk te begrijpen door een eenvoudig voorbeeld te nemen waar er een fasefout is ϵ_ϕ—dat wil zeggen, de fase gemeten door de sensor is ϕ̂ = ϕ + ϵ_ϕ. De dieptefout is dan:

Daarom is de dieptefout omgekeerd evenredig met de modulatiefrequentie, f_mod. Dit is grafisch weergegeven in figuur 2.

Deze eenvoudige formule verklaart grotendeels waarom ToF-camera's met een hoge modulatiefrequentie minder diepteruis en kleinere dieptefouten hebben dan ToF-camera's met een lagere modulatiefrequentie.

Een nadeel van het gebruik van een hoge modulatiefrequentie is dat de fase zich sneller omwikkelt, waardoor het bereik dat ondubbelzinnig kan worden gemeten korter is. De gebruikelijke manier om deze beperking te omzeilen, is door meerdere modulatiefrequenties te gebruiken die met verschillende snelheden rondlopen. De laagste modulatiefrequentie biedt een groot bereik zonder dubbelzinnigheid maar grotere dieptefouten (ruis, multipath-interferentie, enz.), terwijl hogere modulatiefrequenties samen worden gebruikt om dieptefouten te verminderen. Een voorbeeld van dit schema met drie verschillende modulatiefrequenties wordt getoond in figuur 3. De uiteindelijke diepteschatting wordt berekend door de onverpakte faseschattingen voor de verschillende modulatiefrequenties te wegen, waarbij hogere gewichten worden toegekend aan de hogere modulatiefrequenties.

Als de gewichten voor elke frequentie optimaal worden gekozen, is de diepteruis omgekeerd evenredig met het kwadraat (rms) van de modulatiefrequenties die in het systeem zijn gekozen. Voor een constant dieptegeluidsbudget maakt het verhogen van de modulatiefrequenties het mogelijk de integratietijd of het verlichtingsvermogen te verminderen.

Andere systeemaspecten die van cruciaal belang zijn voor de prestaties

Er zijn tal van systeemfuncties waarmee u rekening moet houden bij het ontwikkelen van een hoogwaardige ToF-camera, waarvan sommige hier kort worden besproken.

Image Sensor

De beeldsensor is een belangrijk onderdeel van een ToF-camera. De effecten van de meeste niet-idealiteiten van diepteschatting (bijvoorbeeld vertekening, diepteruis en multipath-artefacten) worden verminderd wanneer de gemiddelde modulatiefrequentie van het systeem toeneemt. Het is daarom belangrijk dat de sensor een hoog demodulatiecontrast heeft (vermogen om foto-elektronen te scheiden tussen Tap A en Tap B) bij hoge

modulatiefrequentie (honderden MHz). De sensor moet ook een hoge kwantumefficiëntie (QE) hebben in de nabij-infrarode golflengten (bijvoorbeeld 850 nm en 940 nm), zodat er minder optisch vermogen nodig is om foto-elektronen in de pixel te genereren. Ten slotte helpt een lage uitleesruis bij het dynamische bereik van de camera door detectie van lage retoursignalen (verre of lage reflectiviteitsobjecten) mogelijk te maken.

Verlichting

De laserdriver moduleert de lichtbron (bijvoorbeeld VCSEL) met een hoge modulatiefrequentie. Om de hoeveelheid bruikbaar signaal bij de pixel voor een bepaald optisch vermogen te maximaliseren, moet de optische golfvorm snelle stijg- en daaltijden hebben met schone randen. De combinatie van laser, laserdriver en PCB-lay-out in het verlichtingssubsysteem zijn allemaal van cruciaal belang om dit te bereiken. Er is ook enige karakterisering vereist om de optimale instellingen voor optisch vermogen en werkcyclus te vinden om de amplitude van de grondtoon in de Fourier-transformatie van de modulatiegolfvorm te maximaliseren. Ten slotte moet het optische vermogen ook op een veilige manier worden geleverd met enkele ingebouwde veiligheidsmechanismen op het niveau van de laserdriver en het systeem om ervoor te zorgen dat de veiligheidslimieten van klasse 1 te allen tijde worden gerespecteerd.

Optiek

Optica speelt een sleutelrol in ToF-camera's. ToF-camera's hebben bepaalde specifieke kenmerken die aan speciale optische vereisten voldoen. Ten eerste moet het belichtingsveld van de lichtbron overeenkomen met het gezichtsveld van de lens voor een optimale efficiëntie. Het is ook belangrijk dat de lens zelf een hoog diafragma (lage f/#) heeft voor een betere lichtverzamelingsefficiëntie. Grote diafragmaopeningen kunnen leiden tot andere compromissen rond vignettering, geringe scherptediepte en complexiteit van het lensontwerp. Een lensontwerp met een lage hoofdstraalhoek kan ook helpen de bandbreedte van het banddoorlaatfilter te verminderen, wat de afwijzing van omgevingslicht verbetert en daardoor de prestaties buitenshuis verbetert. Het optische subsysteem moet ook worden geoptimaliseerd voor de gewenste werkingsgolflengte (bijvoorbeeld antireflectiecoatings, banddoorlaatfilterontwerp, lensontwerp) om de doorvoerefficiëntie te maximaliseren en strooilicht te minimaliseren. Er zijn ook veel mechanische vereisten om ervoor te zorgen dat de optische uitlijning binnen de gewenste toleranties voor de eindtoepassing valt.

Power management

Energiebeheer is ook van cruciaal belang bij een krachtige 3D ToF-camera module ontwerp. De lasermodulatie en pixelmodulatie genereren korte uitbarstingen van hoge piekstromen, wat enige beperkingen oplegt aan de energiebeheeroplossing. Er zijn enkele functies op sensorgeïntegreerd circuit (IC)-niveau die kunnen helpen het piekstroomverbruik van de imager te verminderen. Er zijn ook energiebeheertechnieken die op systeemniveau kunnen worden toegepast om de eisen aan de stroombron (bijvoorbeeld batterij of USB) te verlichten. De belangrijkste analoge benodigdheden voor een ToF-imager vereisen doorgaans een regelaar met goede voorbijgaande respons en lage ruis.

Algoritme voor diepteverwerking

Ten slotte is een ander groot deel van het ontwerp op systeemniveau het algoritme voor diepteverwerking. De ToF-beeldsensor voert onbewerkte pixelgegevens uit waaruit de fase-informatie moet worden geëxtraheerd. Deze bewerking vereist verschillende stappen, waaronder ruisfiltering en fase-uitpakken. De uitvoer van het fase-uitpakblok is een meting van de afstand die het licht aflegt van de laser, naar de scène en terug naar de pixel, vaak bereik of radiale afstand genoemd.

De radiale afstand wordt over het algemeen omgezet in puntenwolkinformatie, die de informatie voor een bepaalde pixel vertegenwoordigt door zijn werkelijke coördinaten (X,Y,Z). Vaak gebruiken eindapplicaties alleen de Z-beeldkaart (dieptekaart) in plaats van de volledige puntenwolk. Het omzetten van radiale afstand in puntenwolk vereist kennis van de lens-intrinsieken en vervormingsparameters. Die parameters worden geschat tijdens geometrische kalibratie van de cameramodule. Het diepteverwerkingsalgoritme kan ook andere informatie uitvoeren, zoals actieve helderheidsbeelden (amplitude van het retourlasersignaal), passieve 2D IR-beelden en betrouwbaarheidsniveaus, die allemaal kunnen worden gebruikt in eindtoepassingen. De diepteverwerking kan worden gedaan op de cameramodule zelf of in een hostprocessor ergens anders in het systeem.

Een overzicht van de verschillende componenten op systeemniveau die in dit artikel worden behandeld, wordt weergegeven in tabel 2. Deze onderwerpen zullen in toekomstige artikelen in meer detail worden behandeld.

Tabel 2. Componenten op systeemniveau van 3D Time of Flight-camera's

Conclusie

Continu-golftijd van vluchtcamera's is een krachtige oplossing die een hoge diepteprecisie biedt voor toepassingen die hoogwaardige 3D-informatie vereisen. Er zijn veel factoren waarmee u rekening moet houden om ervoor te zorgen dat het beste prestatieniveau wordt bereikt. Factoren zoals modulatiefrequentie, demodulatiecontrast, kwantumefficiëntie en uitleesruis bepalen de prestaties op het niveau van de beeldsensor. Andere factoren zijn overwegingen op systeemniveau, waaronder het verlichtingssubsysteem, optisch ontwerp, energiebeheer en algoritmen voor diepteverwerking. Al deze componenten op systeemniveau zijn essentieel om de hoogste precisie te bereiken 3D ToF camerasysteem. Deze onderwerpen op systeemniveau zullen in volgende artikelen in meer detail worden behandeld.