Waktu Desain Sistem Penerbangan

Pengantar

Banyak aplikasi visi mesin sekarang memerlukan gambar kedalaman 3D resolusi tinggi untuk menggantikan atau menambah pencitraan 2D standar. Solusi ini mengandalkan kamera 3D untuk memberikan informasi kedalaman yang andal guna menjamin keamanan, terutama saat alat berat beroperasi dalam jarak dekat dengan manusia. Kamera juga perlu memberikan informasi kedalaman yang andal saat beroperasi di lingkungan yang menantang, seperti di ruang besar dengan permukaan yang sangat reflektif dan di hadapan objek bergerak lainnya. Banyak produk hingga saat ini telah menggunakan solusi tipe pencari jarak resolusi rendah untuk memberikan informasi mendalam guna meningkatkan pencitraan 2D. Namun, pendekatan ini memiliki banyak keterbatasan. Untuk aplikasi yang memanfaatkan informasi kedalaman 3D resolusi lebih tinggi, kamera CW CMOS ToF memberikan solusi kinerja tertinggi di pasar. Beberapa fitur sistem yang diaktifkan oleh CW ToF resolusi tinggi Sensor teknologi dijelaskan secara lebih rinci pada Tabel 1. Fitur-fitur sistem ini juga diterapkan pada kasus penggunaan konsumen seperti video bokeh, autentikasi wajah, dan aplikasi pengukuran, serta kasus penggunaan otomotif seperti pemantauan kewaspadaan pengemudi dan konfigurasi otomatis di dalam kabin.

Tabel 1. Fitur Sistem Penerbangan Waktu Gelombang Kontinu

Gambaran Kamera Waktu Penerbangan CMOS Gelombang Berkelanjutan

Kamera kedalaman adalah kamera di mana setiap piksel menampilkan jarak antara kamera dan pemandangan. Salah satu teknik untuk mengukur kedalaman adalah dengan menghitung waktu yang dibutuhkan cahaya untuk bergerak dari sumber cahaya pada kamera ke permukaan reflektif dan kembali ke kamera. Waktu tempuh ini biasa disebut dengan time of flight (ToF).

Kamera ToF terdiri dari beberapa elemen (lihat Gambar 1) termasuk:

sumber cahaya—seperti laser pemancar permukaan rongga vertikal (VCSEL) atau dioda laser pemancar tepi—yang memancarkan cahaya dalam domain inframerah-dekat. Panjang gelombang yang paling umum digunakan adalah 850 nm dan 940 nm. Sumber cahaya biasanya merupakan sumber difus (flood iluminasi) yang memancarkan seberkas cahaya dengan divergensi tertentu (alias, bidang iluminasi atau FOI) untuk menerangi pemandangan di depan kamera.

•  driver laser yang memodulasi intensitas cahaya yang dipancarkan oleh sumber cahaya.
•  sensor dengan susunan piksel yang mengumpulkan cahaya yang kembali dari pemandangan dan mengeluarkan nilai untuk setiap piksel.
•  lensa yang memfokuskan cahaya yang kembali pada larik sensor.
•  filter band-pass yang ditempatkan bersama dengan lensa yang menyaring cahaya di luar bandwidth sempit di sekitar panjang gelombang sumber cahaya.
•  adalah algoritma pemrosesan yang mengubah bingkai mentah keluaran dari sensor menjadi gambar kedalaman atau awan titik.

Seseorang dapat menggunakan beberapa pendekatan untuk memodulasi cahaya dalam kamera ToF. Pendekatan sederhana adalah dengan menggunakan modulasi gelombang kontinu—misalnya, modulasi gelombang persegi dengan siklus kerja 50%. Dalam praktiknya, bentuk gelombang laser jarang merupakan gelombang persegi yang sempurna dan mungkin terlihat lebih dekat ke gelombang sinus. Bentuk gelombang laser persegi menghasilkan rasio signal-to-noise yang lebih baik untuk daya optik yang diberikan, tetapi juga memperkenalkan kesalahan nonlinier kedalaman karena adanya harmonik frekuensi tinggi.

Kamera CW ToF mengukur perbedaan waktu t_d antara sinyal yang dipancarkan dan sinyal kembali dengan memperkirakan offset fasa = 2πft_d antara dasar-dasar kedua sinyal tersebut. Kedalaman dapat diperkirakan dari offset fasa (ϕ) dan kecepatan cahaya (c) menggunakan:

dimana f_mod adalah frekuensi modulasi.

Generasi jam sirkit di sensor mengontrol jam piksel komplementer yang masing-masing mengontrol akumulasi muatan foto di dua elemen penyimpanan muatan (Ketuk A dan Ketuk B), serta sinyal modulasi laser ke

pengemudi laser. Fase cahaya termodulasi yang kembali dapat diukur relatif terhadap fase jam piksel (lihat sisi kanan Gambar 1). Diferensial cahaya termodulasi kembali dan ke fase cahaya termodulasi kembali relatif terhadap jam piksel.

Menggunakan prinsip deteksi homodyne, pengukuran dilakukan dengan beberapa fase relatif antara jam piksel dan sinyal modulasi laser. Pengukuran ini digabungkan untuk menentukan fase fundamental dalam sinyal cahaya termodulasi kembali. Mengetahui fase ini memungkinkan perhitungan waktu yang dibutuhkan cahaya untuk melakukan perjalanan dari sumber cahaya ke objek yang diamati dan kembali ke piksel sensor.

Keuntungan dari Frekuensi Modulasi Tinggi

Dalam praktiknya, terdapat ketidakidealan seperti noise tembakan foton, noise sirkuit pembacaan, dan interferensi multipath yang dapat menyebabkan kesalahan dalam pengukuran fase. Memiliki frekuensi modulasi yang tinggi mengurangi dampak kesalahan tersebut pada estimasi kedalaman.

Ini mudah dipahami dengan mengambil contoh sederhana di mana ada kesalahan fase_ϕ—yaitu, fase yang diukur oleh sensor adalah = +_ϕ. Maka kesalahan kedalaman adalah:

Oleh karena itu, kesalahan kedalaman berbanding terbalik dengan frekuensi modulasi, f_mod. Hal ini diilustrasikan secara grafis pada Gambar 2.

Rumus sederhana ini menjelaskan sebagian besar mengapa kamera ToF dengan frekuensi modulasi tinggi memiliki noise kedalaman yang lebih rendah dan kesalahan kedalaman yang lebih kecil daripada kamera ToF dengan frekuensi modulasi yang lebih rendah.

Salah satu kelemahan menggunakan frekuensi modulasi tinggi adalah bahwa fase membungkus lebih cepat, yang berarti rentang yang dapat diukur secara jelas lebih pendek. Cara umum untuk mengatasi keterbatasan ini adalah dengan menggunakan beberapa frekuensi modulasi yang membungkus pada tingkat yang berbeda. Frekuensi modulasi terendah memberikan rentang yang besar tanpa ambiguitas tetapi kesalahan kedalaman yang lebih besar (noise, interferensi multipath, dll.), sedangkan frekuensi modulasi yang lebih tinggi digunakan bersama-sama untuk mengurangi kesalahan kedalaman. Contoh skema ini dengan tiga frekuensi modulasi yang berbeda ditunjukkan pada Gambar 3. Perkiraan kedalaman akhir dihitung dengan pembobotan perkiraan fase unwrapped untuk frekuensi modulasi yang berbeda, dengan bobot yang lebih tinggi ditugaskan ke frekuensi modulasi yang lebih tinggi.

Jika bobot untuk setiap frekuensi dipilih secara optimal, kebisingan kedalaman berbanding terbalik dengan kuadrat rata-rata akar (rms) dari frekuensi modulasi yang dipilih dalam sistem. Untuk anggaran kebisingan kedalaman yang konstan, peningkatan frekuensi modulasi memungkinkan pengurangan waktu integrasi atau daya iluminasi.

Aspek Sistem Lainnya Penting untuk Kinerja

Ada banyak fitur sistem yang perlu dipertimbangkan saat mengembangkan kamera ToF berperforma tinggi, beberapa di antaranya dibahas secara singkat di sini.

Sensor gambar

Sensor gambar adalah komponen utama dalam kamera ToF. Efek dari sebagian besar ketidakidealan estimasi kedalaman (misalnya, bias, noise kedalaman, dan artefak multipath) berkurang ketika frekuensi modulasi rata-rata sistem meningkat. Oleh karena itu penting bahwa sensor memiliki kontras demodulasi yang tinggi (kemampuan untuk memisahkan fotoelektron antara Tap A dan Tap B) pada tinggi

frekuensi modulasi (ratusan MHz). Sensor juga perlu memiliki efisiensi kuantum tinggi (QE) dalam panjang gelombang inframerah-dekat (misalnya, 850 nm dan 940 nm), sehingga daya optik yang diperlukan untuk menghasilkan fotoelektron dalam piksel lebih sedikit. Terakhir, noise pembacaan rendah membantu jangkauan dinamis kamera dengan memungkinkan pendeteksian sinyal balik rendah (objek reflektifitas jauh atau rendah).

Penerangan

Driver laser memodulasi sumber cahaya (misalnya, VCSEL) pada frekuensi modulasi tinggi. Untuk memaksimalkan jumlah sinyal yang berguna pada piksel untuk daya optik tertentu, bentuk gelombang optik harus memiliki waktu naik dan turun yang cepat dengan tepi yang bersih. Kombinasi laser, driver laser, dan tata letak PCB dalam subsistem iluminasi sangat penting untuk mencapai hal ini. Ada juga beberapa karakterisasi yang diperlukan untuk menemukan daya optik optimal dan pengaturan siklus kerja untuk memaksimalkan amplitudo fundamental dalam transformasi Fourier dari bentuk gelombang modulasi. Terakhir, daya optik juga perlu disalurkan dengan cara yang aman dengan beberapa mekanisme keamanan yang terpasang di driver laser dan tingkat sistem untuk memastikan batas keamanan mata Kelas 1 selalu dipatuhi.

Optik

Optik memainkan peran kunci dalam kamera ToF. Kamera ToF memiliki karakteristik berbeda tertentu yang mendorong kebutuhan optik khusus. Pertama, bidang iluminasi sumber cahaya harus sesuai dengan bidang pandang lensa untuk efisiensi optimal. Penting juga bahwa lensa itu sendiri harus memiliki aperture tinggi (f/# rendah) untuk efisiensi pengumpulan cahaya yang lebih baik. Aperture besar dapat menyebabkan trade-off lain di sekitar vignetting, depth of field yang dangkal, dan kompleksitas desain lensa. Desain lensa sudut sinar kepala rendah juga dapat membantu mengurangi bandwidth filter band-pass, yang meningkatkan penolakan cahaya sekitar dan karenanya meningkatkan kinerja luar ruangan. Subsistem optik juga harus dioptimalkan untuk panjang gelombang operasi yang diinginkan (misalnya, pelapis anti-reflektif, desain filter band-pass, desain lensa) untuk memaksimalkan efisiensi keluaran dan meminimalkan cahaya yang menyimpang. Ada juga banyak persyaratan mekanis untuk memastikan keselarasan optik berada dalam toleransi yang diinginkan untuk aplikasi akhir.

Power Management

Manajemen daya juga sangat penting dalam kamera ToF 3D berperforma tinggi modul desain. Modulasi laser dan modulasi piksel menghasilkan semburan arus puncak tinggi dalam waktu singkat, sehingga menimbulkan beberapa kendala pada solusi manajemen daya. Terdapat beberapa fitur pada level sirkuit terintegrasi sensor (IC) yang dapat membantu mengurangi konsumsi daya puncak imager. Terdapat juga teknik manajemen daya yang dapat diterapkan pada tingkat sistem untuk membantu meringankan persyaratan pada sumber daya (misalnya baterai atau USB). Persediaan analog utama untuk imager ToF biasanya memerlukan a pengatur dengan respons transien yang baik dan kebisingan yang rendah.

Algoritma Pemrosesan Kedalaman

Akhirnya, bagian besar lainnya dari desain tingkat sistem adalah algoritma pemrosesan kedalaman. Sensor gambar ToF mengeluarkan data piksel mentah dari mana informasi fase perlu diekstraksi. Operasi ini memerlukan langkah-langkah berbeda yang mencakup penyaringan kebisingan dan pembukaan fase. Output dari blok fase unwrapping adalah pengukuran jarak yang ditempuh oleh cahaya dari laser, ke adegan, dan kembali ke piksel, sering disebut jarak atau jarak radial.

Jarak radial umumnya diubah menjadi informasi titik awan, yang mewakili informasi untuk piksel tertentu dengan koordinat dunia nyata (X,Y,Z). Seringkali, aplikasi akhir hanya menggunakan peta gambar Z (peta kedalaman) alih-alih cloud titik penuh. Mengubah jarak radial menjadi titik awan membutuhkan pengetahuan intrinsik lensa dan parameter distorsi. Parameter tersebut diperkirakan selama kalibrasi geometrik modul kamera. Algoritme pemrosesan kedalaman juga dapat mengeluarkan informasi lain seperti gambar kecerahan aktif (amplitudo sinyal laser kembali), gambar IR 2D pasif, dan tingkat kepercayaan, yang semuanya dapat digunakan dalam aplikasi akhir. Pemrosesan kedalaman dapat dilakukan pada modul kamera itu sendiri atau pada prosesor host di tempat lain dalam sistem.

Ikhtisar komponen tingkat sistem yang berbeda yang tercakup dalam artikel ini ditunjukkan pada Tabel 2. Topik ini akan dibahas secara lebih rinci di artikel mendatang.

Tabel 2. Komponen Tingkat Sistem Kamera Penerbangan Waktu 3D

Kesimpulan

Kamera penerbangan waktu gelombang kontinu adalah solusi kuat yang menawarkan presisi kedalaman tinggi untuk aplikasi yang membutuhkan informasi 3D berkualitas tinggi. Ada banyak faktor yang perlu dipertimbangkan untuk memastikan bahwa tingkat kinerja terbaik tercapai. Faktor-faktor seperti frekuensi modulasi, kontras demodulasi, efisiensi kuantum, dan kebisingan pembacaan menentukan kinerja pada tingkat sensor gambar. Faktor lainnya adalah pertimbangan tingkat sistem, yang meliputi subsistem iluminasi, desain optik, manajemen daya, dan algoritma pemrosesan kedalaman. Semua komponen tingkat sistem ini sangat penting untuk mencapai presisi tertinggi 3D Sistem kamera ToF. Topik tingkat sistem ini akan dibahas secara lebih rinci dalam artikel berikutnya.