Reka Bentuk Sistem Penerbangan Masa

Pengenalan

Banyak aplikasi penglihatan mesin sekarang memerlukan gambar kedalaman 3D resolusi tinggi untuk menggantikan atau menambah pengimejan 2D standard. Penyelesaian ini bergantung pada kamera 3D untuk memberikan maklumat kedalaman yang boleh dipercayai untuk menjamin keselamatan, terutama ketika mesin beroperasi berdekatan dengan manusia. Kamera juga perlu memberikan maklumat kedalaman yang boleh dipercayai semasa beroperasi di persekitaran yang mencabar, seperti di ruang besar dengan permukaan yang sangat reflektif dan di hadapan objek bergerak yang lain. Banyak produk setakat ini telah menggunakan penyelesaian jenis pencari pelbagai resolusi rendah untuk memberikan maklumat mendalam untuk menambahkan pengimejan 2D. Walau bagaimanapun, pendekatan ini mempunyai banyak batasan. Untuk aplikasi yang mendapat maklumat kedalaman 3D beresolusi tinggi, kamera CW CMOS ToF memberikan penyelesaian prestasi tertinggi di pasaran. Beberapa ciri sistem diaktifkan oleh CW ToF resolusi tinggi sensor teknologi diterangkan dengan lebih terperinci dalam Jadual 1. Ciri sistem ini juga diterjemahkan kepada kes penggunaan pengguna seperti bokeh video, pengesahan muka dan aplikasi ukuran, serta kes penggunaan automotif seperti pemantauan kewaspadaan pemandu dan konfigurasi dalam kabin automatik.

Jadual 1. Ciri Sistem Penerbangan Masa Gelombang Berterusan

Gambaran Keseluruhan Masa Kamera Penerbangan CMOS Gelombang Berterusan

Kamera mendalam adalah kamera di mana setiap piksel mengeluarkan jarak antara kamera dan pemandangan. Salah satu teknik untuk mengukur kedalaman adalah dengan mengira masa yang diperlukan untuk cahaya bergerak dari sumber cahaya pada kamera ke permukaan pantulan dan kembali ke kamera. Waktu perjalanan ini biasanya disebut sebagai waktu penerbangan (ToF).

Kamera ToF terdiri daripada beberapa elemen (lihat Gambar 1) termasuk:

sumber cahaya - seperti laser pemancar permukaan rongga menegak (VCSEL) atau diod laser pemancar tepi - yang memancarkan cahaya di domain inframerah dekat. Panjang gelombang yang paling biasa digunakan ialah 850 nm dan 940 nm. Sumber cahaya biasanya merupakan sumber yang meresap (pencahayaan banjir) yang memancarkan pancaran cahaya dengan perbezaan tertentu (aka, medan pencahayaan atau FOI) untuk menerangi pemandangan di depan kamera.

•  pemacu laser yang memodulasi intensiti cahaya yang dipancarkan oleh sumber cahaya.
•  sensor dengan susunan piksel yang mengumpulkan cahaya kembali dari tempat kejadian dan mengeluarkan nilai untuk setiap piksel.
•  lensa yang memfokuskan cahaya kembali pada array sensor.
•  penapis jalur pas yang terletak bersama lensa yang menyaring cahaya di luar lebar jalur yang sempit di sekitar panjang gelombang sumber cahaya.
•  adalah algoritma pemprosesan yang mengubah bingkai mentah keluaran dari sensor menjadi gambar kedalaman atau awan titik.

Seseorang boleh menggunakan beberapa pendekatan untuk memodulasi cahaya dalam kamera ToF. Pendekatan sederhana adalah dengan menggunakan modulasi gelombang berterusan - misalnya, modulasi gelombang persegi dengan kitaran tugas 50%. Dalam praktiknya, bentuk gelombang laser jarang merupakan gelombang persegi yang sempurna dan mungkin kelihatan lebih dekat dengan gelombang sinus. Bentuk gelombang laser persegi menghasilkan nisbah isyarat-ke-bising yang lebih baik untuk daya optik yang diberikan, tetapi juga memperkenalkan ralat nonlinieritas kedalaman kerana adanya harmonik frekuensi tinggi.

Kamera CW ToF mengukur perbezaan masa t_d antara isyarat yang dipancarkan dan isyarat balik dengan menganggarkan fasa mengimbangi ϕ = 2πft_d antara asas kedua-dua isyarat tersebut. Kedalaman dapat diperkirakan dari fasa mengimbangi (ϕ) dan kelajuan cahaya (c) menggunakan:

di mana f_mod ialah frekuensi modulasi.

Penjanaan jam litar pada sensor mengawal jam piksel pelengkap yang masing-masing mengawal pengumpulan cas foto dalam dua elemen penyimpanan cas (Ketuk A dan Ketuk B), serta isyarat modulasi laser ke

pemacu laser. Fasa cahaya modulasi kembali dapat diukur relatif dengan fasa jam piksel (lihat sebelah kanan Gambar 1). Pembezaan cahaya modulasi kembali dan fasa cahaya modulasi kembali relatif terhadap jam piksel.

Dengan menggunakan prinsip pengesanan homodyne, pengukuran dibuat dengan beberapa fasa relatif antara jam piksel dan isyarat modulasi laser. Pengukuran ini digabungkan untuk menentukan fasa asas dalam isyarat cahaya termodulasi kembali. Mengetahui fasa ini memungkinkan pengiraan masa yang diperlukan cahaya untuk bergerak dari sumber cahaya ke objek yang diperhatikan dan kembali ke piksel sensor.

Kelebihan Frekuensi Modulasi Tinggi

Dalam praktiknya, ada nonidealities seperti bunyi tembakan foton, kebisingan litar pembacaan, dan gangguan multipath yang dapat menyebabkan kesalahan dalam pengukuran fasa. Mempunyai frekuensi modulasi yang tinggi dapat mengurangkan kesan kesalahan tersebut pada anggaran mendalam.

Ini mudah difahami dengan mengambil contoh mudah di mana terdapat ralat fasa ϵ_ϕ—Iaitu, fasa yang diukur oleh sensor adalah ϕ̂ = ϕ + ϵ_ϕ. Kesalahan kedalaman adalah:

Oleh itu, ralat kedalaman berbanding terbalik dengan frekuensi modulasi, f_mod. Ini digambarkan secara grafik dalam Rajah 2.

Rumus sederhana ini menjelaskan sebahagian besar mengapa kamera ToF dengan frekuensi modulasi tinggi mempunyai bunyi kedalaman yang lebih rendah dan ralat kedalaman yang lebih kecil daripada kamera ToF dengan frekuensi modulasi yang lebih rendah.

Satu kelemahan menggunakan frekuensi modulasi yang tinggi ialah fasa membungkus lebih cepat, yang bermaksud julat yang dapat diukur secara jelas adalah lebih pendek. Cara umum untuk mengatasi batasan ini adalah dengan menggunakan pelbagai frekuensi modulasi yang membungkus pada kadar yang berbeza. Frekuensi modulasi terendah memberikan rentang yang besar tanpa kekaburan tetapi ralat kedalaman yang lebih besar (kebisingan, gangguan multipath, dll.), Sedangkan frekuensi modulasi yang lebih tinggi digunakan bersamaan untuk mengurangkan kesalahan kedalaman. Contoh skema ini dengan tiga frekuensi modulasi yang berbeza ditunjukkan dalam Rajah 3. Anggaran kedalaman akhir dikira dengan menimbang anggaran fasa yang belum dibungkus untuk frekuensi modulasi yang berbeza, dengan bobot yang lebih tinggi diberikan pada frekuensi modulasi yang lebih tinggi.

Sekiranya bobot untuk setiap frekuensi dipilih secara optimum, kebisingan kedalaman sebanding dengan kuadrat akar (rms) dari frekuensi modulasi yang dipilih dalam sistem. Untuk anggaran kebisingan kedalaman yang berterusan, meningkatkan frekuensi modulasi membolehkan mengurangkan masa penyatuan atau daya pencahayaan.

Aspek Sistem Lain Yang Penting untuk Prestasi

Terdapat banyak ciri sistem yang perlu dipertimbangkan ketika mengembangkan kamera ToF berprestasi tinggi, beberapa di antaranya diliputi sebentar di sini.

Sensor imej

Sensor gambar adalah komponen utama dalam kamera ToF. Kesan daripada kebanyakan ketidakpastian estimasi kedalaman (misalnya, bias, kebisingan kedalaman, dan artifak multipath) dikurangkan apabila frekuensi modulasi purata sistem meningkat. Oleh itu, penting bahawa sensor mempunyai kontras demodulasi yang tinggi (keupayaan untuk memisahkan elektron foto antara Ketuk A dan Ketik B) pada

frekuensi modulasi (beratus-ratus MHz). Sensor juga perlu mempunyai kecekapan kuantum yang tinggi (QE) pada panjang gelombang inframerah dekat (misalnya, 850 nm dan 940 nm), sehingga daya optik yang lebih sedikit diperlukan untuk menghasilkan fotoelektron dalam piksel. Akhirnya, bunyi rendah membaca membantu dengan jarak dinamik kamera dengan memungkinkan untuk mengesan isyarat pulangan rendah (objek pantulan jauh atau rendah).

Pencahayaan

Pemacu laser memodulasi sumber cahaya (contohnya, VCSEL) pada frekuensi modulasi yang tinggi. Untuk memaksimumkan jumlah isyarat berguna pada piksel untuk daya optik yang diberikan, bentuk gelombang optik perlu mempunyai waktu naik dan turun yang cepat dengan tepi bersih. Kombinasi laser, pemacu laser, dan susun atur PCB dalam subsistem pencahayaan sangat penting untuk mencapai ini. Terdapat juga beberapa ciri yang diperlukan untuk mencari tetapan daya optik dan kitaran tugas optimum untuk memaksimumkan amplitud asas dalam transformasi Fourier dari bentuk gelombang modulasi. Akhirnya, daya optik juga perlu dihantar dengan cara yang selamat dengan beberapa mekanisme keselamatan yang terpasang pada tahap pemandu dan sistem laser untuk memastikan had keselamatan mata Kelas 1 dipatuhi setiap masa.

Optik

Optik memainkan peranan penting dalam kamera ToF. Kamera ToF mempunyai ciri khas tertentu yang mendorong keperluan optik khas. Pertama, medan pencahayaan sumber cahaya harus sesuai dengan bidang pandangan lensa untuk kecekapan optimum. Juga penting bahawa lensa itu sendiri harus mempunyai bukaan tinggi (rendah f / #) untuk kecekapan pengumpulan cahaya yang lebih baik. Aperture besar boleh menyebabkan pertukaran lain di sekitar vignetting, kedalaman padang yang cetek, dan kerumitan reka bentuk lensa. Reka bentuk lensa sudut sinar kepala rendah juga dapat membantu mengurangkan lebar jalur penapis lulus jalur, yang meningkatkan penolakan cahaya ambien dan dengan itu meningkatkan prestasi luar. Subsistem optik juga harus dioptimumkan untuk panjang gelombang operasi yang diinginkan (contohnya, lapisan anti-reflektif, reka bentuk penapis lulus jalur, reka bentuk lensa) untuk memaksimumkan kecekapan throughput dan meminimumkan cahaya sesat. Terdapat juga banyak keperluan mekanikal untuk memastikan penjajaran optik berada dalam toleransi yang diinginkan untuk aplikasi akhir.

Pengurusan kuasa

Pengurusan kuasa juga amat penting dalam kamera ToF 3D berprestasi tinggi modul reka bentuk. Modulasi laser dan modulasi piksel menjana letupan pendek arus puncak tinggi, yang meletakkan beberapa kekangan pada penyelesaian pengurusan kuasa. Terdapat beberapa ciri pada tahap litar bersepadu (IC) sensor yang boleh membantu mengurangkan penggunaan kuasa puncak pengimejan. Terdapat juga teknik pengurusan kuasa yang boleh digunakan pada peringkat sistem untuk membantu memudahkan keperluan pada sumber kuasa (contohnya, bateri atau USB). Bekalan analog utama untuk pengimejan ToF biasanya memerlukan a pengatur dengan tindak balas sementara yang baik dan bunyi yang rendah.

Algoritma Pemprosesan Kedalaman

Akhirnya, bahagian besar reka bentuk tahap sistem adalah algoritma pemprosesan mendalam. Sensor gambar ToF mengeluarkan data piksel mentah dari mana maklumat fasa perlu diekstrak. Operasi ini memerlukan langkah-langkah yang berbeza termasuk penyaringan bunyi dan pembukaan fasa. Keluaran blok pembukaan fasa adalah pengukuran jarak yang dilalui cahaya dari laser, ke tempat kejadian, dan kembali ke piksel, yang sering disebut jarak atau jarak radial.

Jarak radial umumnya ditukar menjadi maklumat titik awan, yang mewakili maklumat untuk piksel tertentu dengan koordinat dunia nyata (X, Y, Z). Selalunya, aplikasi akhir hanya menggunakan peta gambar Z (peta kedalaman) dan bukannya awan titik penuh. Menukar jarak radial menjadi cloud point memerlukan mengetahui parameter intrinsik dan distorsi lensa. Parameter tersebut dianggarkan semasa penentukuran geometri modul kamera. Algoritma pemprosesan mendalam juga dapat mengeluarkan maklumat lain seperti gambar kecerahan aktif (amplitud isyarat laser balik), gambar IR 2D pasif, dan tahap keyakinan, yang semuanya dapat digunakan dalam aplikasi akhir. Pemprosesan mendalam dapat dilakukan pada modul kamera itu sendiri atau dalam pemproses host di tempat lain dalam sistem.

Gambaran keseluruhan komponen tahap sistem yang diliputi dalam artikel ini ditunjukkan dalam Jadual 2. Topik-topik ini akan dibahas dengan lebih terperinci dalam artikel yang akan datang.

Jadual 2. Komponen Tahap Sistem Waktu Kamera Penerbangan 3D

Kesimpulan

Waktu gelombang berterusan kamera penerbangan adalah penyelesaian hebat yang menawarkan ketepatan mendalam untuk aplikasi yang memerlukan maklumat 3D berkualiti tinggi. Terdapat banyak faktor yang perlu dipertimbangkan untuk memastikan tahap prestasi terbaik dicapai. Faktor seperti frekuensi modulasi, kontras demodulasi, kecekapan kuantum, dan kebisingan bacaan menentukan prestasi pada tahap sensor gambar. Faktor lain adalah pertimbangan tahap sistem, yang merangkumi subsistem pencahayaan, reka bentuk optik, pengurusan kuasa, dan algoritma pemprosesan kedalaman. Semua komponen tahap sistem ini sangat penting untuk mencapai ketepatan tertinggi 3D Sistem kamera ToF. Topik peringkat sistem ini akan dibahas dengan lebih terperinci dalam artikel berikutnya.