Uçuş Sistemi Tasarımı Zamanı

Giriş

Birçok yapay görme uygulaması artık standart 3D görüntülemenin yerine geçmek veya onu geliştirmek için yüksek çözünürlüklü 2D derinlikli görüntülere ihtiyaç duyuyor. Bu çözümler, özellikle makineler insanlara yakın çalışırken güvenliği garanti altına almak için güvenilir derinlik bilgisi sağlayan 3D kameraya güveniyor. Kameraların ayrıca, son derece yansıtıcı yüzeylere sahip geniş alanlar ve diğer hareketli nesnelerin bulunduğu zorlu ortamlarda çalışırken güvenilir derinlik bilgisi sağlaması gerekir. Bugüne kadar pek çok ürün, 2D görüntülemeyi artırmak amacıyla derinlik bilgisi sağlamak için düşük çözünürlüklü telemetre tipi çözümler kullanmıştır. Ancak bu yaklaşımın birçok sınırlaması vardır. Daha yüksek çözünürlüklü 3D derinlik bilgisinden yararlanan uygulamalar için CW CMOS ToF kameralar piyasadaki en yüksek performanslı çözümleri sunar. Yüksek çözünürlüklü CW ToF tarafından etkinleştirilen sistem özelliklerinden bazıları algılayıcı teknoloji Tablo 1'de daha ayrıntılı olarak açıklanmaktadır. Bu sistem özellikleri aynı zamanda video bokeh, yüz kimlik doğrulaması ve ölçüm uygulamaları gibi tüketici kullanım durumlarının yanı sıra sürücü uyanıklığı izleme ve otomatik kabin içi konfigürasyon gibi otomotiv kullanım durumlarına da yansır.

Tablo 1. Uçuş Sisteminin Sürekli Dalga Süresi Özellikleri

Sürekli Dalga CMOS Uçuş Süresi Kamerasına Genel Bakış

Derinlik kamerası, her pikselin kamera ile sahne arasındaki mesafeyi çıkardığı bir kameradır. Derinliği ölçmeye yönelik tekniklerden biri, ışığın kameradaki bir ışık kaynağından yansıtıcı bir yüzeye ve tekrar kameraya gitmesi için geçen süreyi hesaplamaktır. Bu seyahat süresine genellikle uçuş süresi (ToF) adı verilir.

Bir ToF kamerası aşağıdakileri içeren çeşitli öğelerden oluşur (bkz. Şekil 1):

yakın kızılötesi alanda ışık yayan dikey boşluklu yüzey yayan lazer (VCSEL) veya kenar yayan lazer diyot gibi bir ışık kaynağı. En yaygın kullanılan dalga boyları 850 nm ve 940 nm'dir. Işık kaynağı genellikle kameranın önündeki sahneyi aydınlatmak için belirli bir sapmayla (diğer adıyla aydınlatma alanı veya FOI) bir ışık demeti yayan dağınık bir kaynaktır (sel aydınlatma).

•  ışık kaynağı tarafından yayılan ışığın yoğunluğunu modüle eden bir lazer sürücüsü.
•  sahneden dönen ışığı toplayan ve her piksel için değerler veren piksel dizisine sahip bir sensör.
•  geri dönen ışığı sensör dizisine odaklayan bir mercek.
•  ışık kaynağı dalga boyu etrafındaki dar bir bant genişliğinin dışındaki ışığı filtreleyen mercekle birlikte bulunan bir bant geçiren filtre.
•  sensörden gelen ham kareleri derinlik görüntülerine veya nokta bulutlarına dönüştüren bir işleme algoritmasıdır.

Bir ToF kameradaki ışığı modüle etmek için birden fazla yaklaşım kullanılabilir. Basit bir yaklaşım, sürekli bir dalga modülasyonu kullanmaktır (örneğin, %50 görev döngüsüne sahip bir kare dalga modülasyonu). Uygulamada, lazer dalga biçimi nadiren mükemmel bir kare dalgadır ve sinüs dalgasına daha yakın görünebilir. Kare bir lazer dalga biçimi, belirli bir optik güç için daha iyi sinyal-gürültü oranı sağlar, ancak aynı zamanda yüksek frekanslı harmoniklerin varlığından dolayı derinlikte doğrusal olmayan hatalara da neden olur.

Bir CW ToF kamera zaman farkını ölçer_d yayılan sinyal ile geri dönüş sinyali arasındaki faz kaymasını tahmin ederek ϕ = 2πft_d bu iki sinyalin temelleri arasında. Derinlik, faz kaymasından (ϕ) ve ışık hızından (c) aşağıdakiler kullanılarak tahmin edilebilir:

nerede f_şık modülasyon frekansıdır.

Bir saat nesli devre Sensördeki tamamlayıcı piksel saatleri, sırasıyla iki şarj depolama elemanındaki (Tap A ve Tap B) fotoğraf yüklerinin birikimini ve aynı zamanda şarj cihazına giden lazer modülasyon sinyalini kontrol eder.

lazer sürücüsü. Geri dönen modüle edilmiş ışığın fazı, piksel saatlerinin fazına göre ölçülebilir (Şekil 1'in sağ tarafına bakın). Geri dönen modüle edilmiş ışığın ve geri dönen modüle edilmiş ışığın fazının piksel saatine göre farkı.

Homodin algılama ilkelerini kullanarak, piksel saati ile lazer modülasyon sinyali arasındaki birden fazla göreceli fazla bir ölçüm yapılır. Bu ölçümler, geri dönen modüle edilmiş ışık sinyalindeki temel fazın fazını belirlemek için birleştirilir. Bu aşamanın bilinmesi, ışığın ışık kaynağından gözlemlenen nesneye ve sensör pikseline geri gitmesi için geçen sürenin hesaplanmasına olanak tanır.

Yüksek Modülasyon Frekanslarının Avantajları

Pratikte faz ölçümünde hatalara neden olabilecek foton atış gürültüsü, okuma devresi gürültüsü ve çok yollu girişim gibi ideal olmayan durumlar vardır. Yüksek modülasyon frekansına sahip olmak, bu hataların derinlik tahmini üzerindeki etkisini azaltır.

ϵ faz hatasının olduğu basit bir örnek alarak bunu anlamak kolaydır._ϕ—yani sensör tarafından ölçülen faz ϕ̂ = ϕ + ϵ'dir_ϕ. Bu durumda derinlik hatası şu şekilde olur:

Bu nedenle derinlik hatası modülasyon frekansı f ile ters orantılıdır._şık. Bu durum Şekil 2'de grafiksel olarak gösterilmektedir.

Bu basit formül, yüksek modülasyon frekansına sahip ToF kameraların neden daha düşük modülasyon frekansına sahip ToF kameralara göre daha düşük derinlik gürültüsüne ve daha küçük derinlik hatalarına sahip olduğunu büyük ölçüde açıklamaktadır.

Yüksek modülasyon frekansı kullanmanın bir dezavantajı, fazın daha hızlı sarılmasıdır, bu da kesin olarak ölçülebilen aralığın daha kısa olduğu anlamına gelir. Bu sınırlamayı aşmanın yaygın yolu, farklı hızlarda sarmalanan çoklu modülasyon frekanslarını kullanmaktır. En düşük modülasyon frekansı, belirsizlik içermeyen ancak daha büyük derinlik hataları (gürültü, çok yollu girişim vb.) içeren geniş bir aralık sağlarken, daha yüksek modülasyon frekansları, derinlik hatalarını azaltmak için birlikte kullanılır. Üç farklı modülasyon frekansına sahip bu şemanın bir örneği Şekil 3'te gösterilmektedir. Nihai derinlik tahmini, farklı modülasyon frekansları için sarılmamış faz tahminlerinin ağırlıklandırılmasıyla hesaplanır; daha yüksek modülasyon frekanslarına daha yüksek ağırlıklar atanır.

Her frekans için ağırlıklar en iyi şekilde seçilirse, derinlik gürültüsü, sistemde seçilen modülasyon frekanslarının ortalama karekökü (rms) ile ters orantılıdır. Sabit derinlikli bir gürültü bütçesi için modülasyon frekanslarının arttırılması, entegrasyon süresinin veya aydınlatma gücünün azaltılmasına olanak sağlar.

Performans Açısından Kritik Diğer Sistem Unsurları

Yüksek performanslı bir ToF kamera geliştirirken göz önünde bulundurulması gereken çok sayıda sistem özelliği vardır; bunlardan bazıları burada kısaca ele alınmaktadır.

Görüntü sensörü

Görüntü sensörü bir ToF kameranın önemli bir bileşenidir. Çoğu derinlik tahminindeki ideal olmayan durumların (örneğin, yanlılık, derinlik gürültüsü ve çok yollu yapılar) etkileri, sistemin ortalama modülasyon frekansı arttığında azalır. Bu nedenle sensörün yüksek demodülasyon kontrastına (Tap A ve Tap B arasında fotoelektronları ayırma yeteneği) sahip olması önemlidir.

modülasyon frekansı (yüzlerce MHz). Sensörün ayrıca yakın kızılötesi dalga boylarında (örneğin 850 nm ve 940 nm) yüksek bir kuantum verimliliğine (QE) sahip olması gerekir, böylece pikselde fotoelektron üretmek için daha az optik güce ihtiyaç duyulur. Son olarak, düşük okuma gürültüsü, düşük geri dönüş sinyallerinin (uzak veya düşük yansıtıcı nesneler) algılanmasına izin vererek kameranın dinamik aralığına yardımcı olur.

Aydınlatma

Lazer sürücü, ışık kaynağını (örneğin VCSEL) yüksek modülasyon frekansında modüle eder. Belirli bir optik güç için pikseldeki yararlı sinyal miktarını en üst düzeye çıkarmak amacıyla, optik dalga formunun temiz kenarlarla hızlı yükselme ve düşme sürelerine sahip olması gerekir. Aydınlatma alt sistemindeki lazer, lazer sürücü ve PCB düzeninin kombinasyonu, bunu başarmak için kritik öneme sahiptir. Ayrıca, modülasyon dalga formunun Fourier dönüşümündeki temelin genliğini en üst düzeye çıkarmak için en uygun optik güç ve görev döngüsü ayarlarını bulmak için bazı karakterizasyonlar gereklidir. Son olarak, Sınıf 1 göz güvenliği sınırlarına her zaman uyulmasını sağlamak için lazer sürücüsünde ve sistem düzeyinde yerleşik bazı güvenlik mekanizmalarıyla optik gücün de güvenli bir şekilde iletilmesi gerekir.

Optik

Optik, ToF kameralarda önemli bir rol oynar. ToF kameralar, özel optik gereksinimleri yönlendiren belirli farklı özelliklere sahiptir. Optimum verim için öncelikle ışık kaynağının aydınlatma alanı merceğin görüş alanıyla eşleşmelidir. Daha iyi ışık toplama verimliliği için merceğin kendisinin yüksek diyafram açıklığına (düşük f/#) sahip olması da önemlidir. Büyük diyafram açıklıkları kenar ayrıntısı kaybı, sığ alan derinliği ve lens tasarımı karmaşıklığı gibi başka ödünleşimlere yol açabilir. Düşük ana ışın açılı lens tasarımı aynı zamanda bant geçiren filtre bant genişliğinin azaltılmasına da yardımcı olabilir, bu da ortam ışığının reddedilmesini iyileştirir ve dolayısıyla dış mekan performansını artırır. Optik alt sistem aynı zamanda çıktı verimliliğini en üst düzeye çıkarmak ve başıboş ışığı en aza indirmek için istenen çalışma dalga boyuna (örneğin, yansıma önleyici kaplamalar, bant geçiren filtre tasarımı, mercek tasarımı) göre optimize edilmelidir. Son uygulama için optik hizalamanın istenen toleranslar dahilinde olmasını sağlamak için birçok mekanik gereksinim de vardır.

Güç yönetimi

Yüksek performanslı bir 3D ToF kamerada güç yönetimi de kritik öneme sahiptir modül tasarım. Lazer modülasyonu ve piksel modülasyonu, kısa süreli yüksek tepe akımları üretir ve bu da güç yönetimi çözümüne bazı kısıtlamalar getirir. Sensör entegre devre (IC) seviyesinde, görüntüleyicinin en yüksek güç tüketimini azaltmaya yardımcı olabilecek bazı özellikler bulunmaktadır. Güç kaynağına (örneğin pil veya USB) ilişkin gereksinimleri hafifletmeye yardımcı olmak için sistem düzeyinde uygulanabilecek güç yönetimi teknikleri de vardır. ToF görüntüleyicinin ana analog kaynakları genellikle bir regülatör Iyi geçici tepki ve düşük gürültü ile.

Derinlik İşleme Algoritması

Son olarak, sistem düzeyindeki tasarımın bir diğer büyük kısmı da derinlik işleme algoritmasıdır. ToF görüntü sensörü, faz bilgilerinin çıkarılması gereken ham piksel verilerinin çıktısını verir. Bu işlem, gürültü filtreleme ve faz açmayı içeren farklı adımlar gerektirir. Faz açma bloğunun çıktısı, ışığın lazerden sahneye ve tekrar piksele kadar kat ettiği mesafenin bir ölçümüdür; genellikle aralık veya radyal mesafe olarak adlandırılır.

Radyal mesafe genellikle, belirli bir pikselin bilgilerini gerçek dünya koordinatlarına (X,Y,Z) göre temsil eden nokta bulutu bilgisine dönüştürülür. Çoğu zaman, son uygulamalar tam nokta bulutu yerine yalnızca Z görüntü haritasını (derinlik haritası) kullanır. Radyal mesafeyi nokta bulutuna dönüştürmek, merceğin temel özelliklerinin ve distorsiyon parametrelerinin bilinmesini gerektirir. Bu parametreler kamera modülünün geometrik kalibrasyonu sırasında tahmin edilir. Derinlik işleme algoritması aynı zamanda aktif parlaklık görüntüleri (geri dönen lazer sinyalinin genliği), pasif 2D IR görüntüleri ve güven düzeyleri gibi diğer bilgilerin çıktısını da verebilir ve bunların tümü son uygulamalarda kullanılabilir. Derinlik işleme, kamera modülünün kendisinde veya sistemin başka bir yerindeki bir ana işlemcide yapılabilir.

Bu makalede ele alınan farklı sistem düzeyindeki bileşenlere genel bir bakış Tablo 2'de gösterilmektedir. Bu konular gelecek makalelerde daha ayrıntılı olarak ele alınacaktır.

Tablo 2. 3B Uçuş Süresi Kameralarının Sistem Düzeyindeki Bileşenleri

Sonuç

Uçuş kameralarının sürekli dalga süresi, yüksek kaliteli 3D bilgi gerektiren uygulamalar için yüksek derinlik hassasiyeti sunan güçlü bir çözümdür. En iyi performans seviyesine ulaşılmasını sağlamak için dikkate alınması gereken birçok faktör vardır. Modülasyon frekansı, demodülasyon kontrastı, kuantum verimliliği ve okuma gürültüsü gibi faktörler, görüntü sensörü düzeyinde performansı belirler. Diğer faktörler, aydınlatma alt sistemi, optik tasarım, güç yönetimi ve derinlik işleme algoritmalarını içeren sistem düzeyindeki hususlardır. Sistem düzeyindeki bu bileşenlerin tümü, en yüksek hassasiyete ulaşmak için kritik öneme sahiptir 3D ToF kamera sistemi. Sistem düzeyindeki bu konular sonraki makalelerde daha ayrıntılı olarak ele alınacaktır.