Thời gian thiết kế hệ thống bay

Giới thiệu

Nhiều ứng dụng thị giác máy hiện nay yêu cầu hình ảnh độ sâu 3D có độ phân giải cao để thay thế hoặc tăng cường hình ảnh 2D tiêu chuẩn. Các giải pháp này dựa vào camera 3D để cung cấp thông tin độ sâu đáng tin cậy nhằm đảm bảo an toàn, đặc biệt khi máy móc hoạt động gần con người. Máy ảnh cũng cần cung cấp thông tin độ sâu đáng tin cậy khi hoạt động trong môi trường đầy thách thức, chẳng hạn như trong không gian rộng lớn với bề mặt phản chiếu cao và sự hiện diện của các đối tượng chuyển động khác. Nhiều sản phẩm cho đến nay đã sử dụng các giải pháp loại công cụ tìm dải có độ phân giải thấp để cung cấp thông tin về độ sâu nhằm tăng cường hình ảnh 2D. Tuy nhiên, cách làm này có nhiều hạn chế. Đối với các ứng dụng được hưởng lợi từ thông tin độ sâu 3D có độ phân giải cao hơn, camera CW CMOS ToF cung cấp các giải pháp hiệu suất cao nhất trên thị trường. Một số tính năng của hệ thống được kích hoạt bởi CW ToF độ phân giải cao cảm biến công nghệ được mô tả chi tiết hơn trong Bảng 1. Các tính năng hệ thống này cũng áp dụng cho các trường hợp sử dụng của người tiêu dùng như hiệu ứng Bo mạch video, xác thực khuôn mặt và ứng dụng đo lường, cũng như các trường hợp sử dụng ô tô như giám sát cảnh báo của người lái xe và cấu hình tự động trong cabin.

Bảng 1. Thời gian sóng liên tục của các tính năng của hệ thống bay

CMOS sóng liên tục Thời gian của Máy ảnh Máy bay Tổng quan

Máy ảnh chiều sâu là một máy ảnh mà mỗi pixel xuất ra khoảng cách giữa máy ảnh và cảnh. Một kỹ thuật để đo độ sâu là tính toán thời gian ánh sáng đi từ nguồn sáng trên máy ảnh đến bề mặt phản chiếu và quay trở lại máy ảnh. Thời gian di chuyển này thường được gọi là thời gian của chuyến bay (ToF).

Một máy ảnh ToF bao gồm một số yếu tố (xem Hình 1) bao gồm:

nguồn sáng — chẳng hạn như la-de phát xạ bề mặt khoang thẳng đứng (VCSEL) hoặc đi-ốt la-de phát quang cạnh — phát ra ánh sáng trong miền cận hồng ngoại. Các bước sóng được sử dụng phổ biến nhất là 850 nm và 940 nm. Nguồn sáng thường là nguồn khuếch tán (chiếu sáng lũ) phát ra chùm ánh sáng có độ phân kỳ nhất định (hay còn gọi là trường chiếu sáng hoặc FOI) để chiếu sáng cảnh trước máy ảnh.

•  một trình điều khiển laser điều chỉnh cường độ ánh sáng do nguồn sáng phát ra.
•  một cảm biến với một mảng pixel thu thập ánh sáng trở lại từ cảnh và xuất ra các giá trị cho mỗi pixel.
•  một thấu kính tập trung ánh sáng trở lại vào mảng cảm biến.
•  một bộ lọc băng thông nằm cùng với thấu kính có chức năng lọc ánh sáng bên ngoài băng thông hẹp xung quanh bước sóng nguồn sáng.
•  là một thuật toán xử lý chuyển đổi các khung hình thô đầu ra từ cảm biến thành các hình ảnh có chiều sâu hoặc các đám mây điểm.

Người ta có thể sử dụng nhiều cách tiếp cận để điều chỉnh ánh sáng trong máy ảnh ToF. Một cách tiếp cận đơn giản là sử dụng điều chế sóng liên tục — ví dụ, điều chế sóng vuông với chu kỳ nhiệm vụ 50%. Trong thực tế, dạng sóng laser hiếm khi là một sóng vuông hoàn hảo và có thể trông gần với sóng hình sin hơn. Dạng sóng laser vuông mang lại tỷ lệ tín hiệu trên nhiễu tốt hơn cho một công suất quang học nhất định, nhưng cũng gây ra lỗi phi tuyến tính theo độ sâu do sự hiện diện của sóng hài tần số cao.

Máy ảnh CW ToF đo chênh lệch thời gian t_d giữa tín hiệu phát ra và tín hiệu trả về bằng cách ước tính độ lệch pha ϕ = 2πft_d giữa các nguyên tắc cơ bản của hai tín hiệu đó. Độ sâu có thể được ước tính từ độ lệch pha (ϕ) và tốc độ ánh sáng (c) bằng cách sử dụng:

f ở đâu_mod là tần số điều chế.

Một thế hệ đồng hồ mạch trong cảm biến điều khiển các đồng hồ pixel bổ sung tương ứng điều khiển sự tích tụ điện tích trong hai phần tử lưu trữ điện tích (Chạm A và Chạm B), cũng như tín hiệu điều chế laser tới

trình điều khiển laser. Pha của ánh sáng điều chế trở lại có thể được đo so với pha của đồng hồ pixel (xem bên phải của Hình 1). Sự khác biệt giữa ánh sáng điều chế quay trở lại và pha của ánh sáng điều chế quay trở lại so với đồng hồ pixel.

Sử dụng các nguyên tắc phát hiện homodyne, một phép đo được thực hiện với nhiều pha tương đối giữa đồng hồ pixel và tín hiệu điều chế laser. Các phép đo này được kết hợp để xác định pha của nền trong tín hiệu ánh sáng điều chế trở lại. Biết pha này cho phép tính thời gian ánh sáng đi từ nguồn sáng đến vật thể được quan sát và quay trở lại điểm ảnh của cảm biến.

Ưu điểm của tần số điều chế cao

Trong thực tế, có những bất thường như nhiễu bắn photon, nhiễu mạch đọc và nhiễu đa đường có thể gây ra sai số trong phép đo pha. Việc có tần số điều chế cao sẽ làm giảm tác động của những sai số đó đến việc ước lượng độ sâu.

Điều này rất dễ hiểu bằng cách lấy một ví dụ đơn giản trong đó có lỗi pha ϵ_ϕ— Nghĩa là, pha được đo bởi cảm biến là ϕ̂ = ϕ + ϵ_ϕ. Sau đó, lỗi độ sâu là:

Do đó, sai số độ sâu tỷ lệ nghịch với tần số điều chế, f_mod. Điều này được minh họa bằng đồ thị trong Hình 2.

Công thức đơn giản này giải thích phần lớn lý do tại sao máy ảnh ToF với tần số điều chế cao có nhiễu độ sâu thấp hơn và sai số độ sâu nhỏ hơn máy ảnh ToF có tần số điều chế thấp hơn.

Một nhược điểm của việc sử dụng tần số điều chế cao là pha quấn quanh nhanh hơn, có nghĩa là phạm vi có thể được đo rõ ràng sẽ ngắn hơn. Cách phổ biến để khắc phục hạn chế này là sử dụng nhiều tần số điều chế quấn quanh ở các tốc độ khác nhau. Tần số điều chế thấp nhất cung cấp một phạm vi lớn mà không có sự mơ hồ nhưng lỗi độ sâu lớn hơn (nhiễu, nhiễu đa đường, v.v.), trong khi tần số điều chế cao hơn được sử dụng song song để giảm lỗi độ sâu. Ví dụ về sơ đồ này với ba tần số điều chế khác nhau được thể hiện trong Hình 3. Ước tính độ sâu cuối cùng được tính bằng cách tính trọng số các ước lượng pha chưa bao bọc cho các tần số điều chế khác nhau, với trọng số cao hơn được gán cho các tần số điều chế cao hơn.

Nếu trọng số cho mỗi tần số được chọn một cách tối ưu, thì nhiễu độ sâu tỷ lệ nghịch với bình phương trung bình căn (rms) của các tần số điều chế được chọn trong hệ thống. Để có ngân sách tiếng ồn ở độ sâu không đổi, việc tăng tần số điều chế cho phép giảm thời gian tích hợp hoặc công suất chiếu sáng.

Các khía cạnh hệ thống khác quan trọng đối với hiệu suất

Có rất nhiều tính năng hệ thống cần xem xét khi phát triển một camera ToF hiệu suất cao, một số trong số đó được đề cập ngắn gọn ở đây.

Cảm biến hình ảnh

Cảm biến hình ảnh là thành phần quan trọng trong máy ảnh ToF. Ảnh hưởng của hầu hết các giá trị không ước lượng độ sâu (ví dụ, độ chệch, nhiễu độ sâu và tạo tác đa đường) được giảm khi tần số điều chế trung bình của hệ thống tăng lên. Do đó, điều quan trọng là cảm biến phải có độ tương phản giải điều chế cao (khả năng tách các quang điện tử giữa Tap A và Tap B) ở mức cao

tần số điều chế (hàng trăm MHz). Cảm biến cũng cần có hiệu suất lượng tử (QE) cao ở các bước sóng cận hồng ngoại (ví dụ: 850 nm và 940 nm), do đó cần ít công suất quang hơn để tạo ra quang điện tử trong pixel. Cuối cùng, tiếng ồn đọc thấp giúp ích cho phạm vi động của máy ảnh bằng cách cho phép phát hiện tín hiệu trả về thấp (các đối tượng phản xạ xa hoặc thấp).

chiếu sáng

Trình điều khiển laser điều chỉnh nguồn sáng (ví dụ, VCSEL) ở tần số điều chế cao. Để tối đa hóa lượng tín hiệu hữu ích tại pixel cho một công suất quang học nhất định, dạng sóng quang học cần có thời gian tăng và giảm nhanh với các cạnh sạch. Sự kết hợp của laser, trình điều khiển laser và bố trí PCB trong hệ thống phụ chiếu sáng đều rất quan trọng để đạt được điều này. Cũng cần có một số đặc tính để tìm ra công suất quang tối ưu và cài đặt chu kỳ nhiệm vụ để tối đa hóa biên độ của cơ bản trong biến đổi Fourier của dạng sóng điều chế. Cuối cùng, công suất quang học cũng cần được phân phối một cách an toàn với một số cơ chế an toàn được tích hợp sẵn ở cấp độ hệ thống và trình điều khiển laser để đảm bảo giới hạn an toàn mắt Cấp 1 luôn được tôn trọng.

Quang học

Quang học đóng một vai trò quan trọng trong máy ảnh ToF. Máy ảnh ToF có một số đặc điểm riêng biệt dẫn đến các yêu cầu quang học đặc biệt. Thứ nhất, trường chiếu của nguồn sáng phải phù hợp với trường nhìn của thấu kính để đạt hiệu quả tối ưu. Điều quan trọng nữa là bản thân ống kính phải có khẩu độ cao (f / # thấp) để có hiệu quả thu sáng tốt hơn. Khẩu độ lớn có thể dẫn đến những đánh đổi khác xung quanh việc làm mờ nét ảnh, độ sâu trường ảnh nông và sự phức tạp trong thiết kế ống kính. Thiết kế thấu kính góc tia chính thấp cũng có thể giúp giảm băng thông bộ lọc thông dải, giúp cải thiện khả năng loại bỏ ánh sáng xung quanh và do đó cải thiện hiệu suất ngoài trời. Hệ thống con quang học cũng phải được tối ưu hóa cho bước sóng hoạt động mong muốn (ví dụ, lớp phủ chống phản xạ, thiết kế bộ lọc băng thông, thiết kế thấu kính) để tối đa hóa hiệu quả thông lượng và giảm thiểu ánh sáng đi lạc. Cũng có nhiều yêu cầu cơ học để đảm bảo sự liên kết quang học nằm trong dung sai mong muốn cho ứng dụng cuối cùng.

Quản lý năng lượng

Quản lý năng lượng cũng cực kỳ quan trọng trong máy ảnh 3D ToF hiệu suất cao mô-đun thiết kế. Việc điều chế tia laser và điều chế pixel tạo ra các xung ngắn có dòng điện cực đại cao, điều này đặt ra một số hạn chế đối với giải pháp quản lý năng lượng. Có một số tính năng ở cấp độ mạch tích hợp cảm biến (IC) có thể giúp giảm mức tiêu thụ điện năng cao nhất của thiết bị chụp ảnh. Ngoài ra còn có các kỹ thuật quản lý nguồn có thể được áp dụng ở cấp hệ thống để giúp giảm bớt các yêu cầu về nguồn điện (ví dụ: pin hoặc USB). Nguồn cung cấp analog chính cho thiết bị tạo ảnh ToF thường yêu cầu điều chỉnh với phản ứng thoáng qua tốt và tiếng ồn thấp.

Thuật toán xử lý độ sâu

Cuối cùng, một phần lớn khác của thiết kế cấp hệ thống là thuật toán xử lý chiều sâu. Cảm biến hình ảnh ToF xuất dữ liệu pixel thô mà từ đó thông tin pha cần được trích xuất. Thao tác này yêu cầu các bước khác nhau bao gồm lọc nhiễu và tách pha. Đầu ra của khối tách pha là phép đo khoảng cách mà ánh sáng truyền đi từ tia laser, đến cảnh và trở lại pixel, thường được gọi là phạm vi hoặc khoảng cách xuyên tâm.

Khoảng cách xuyên tâm thường được chuyển đổi thành thông tin đám mây điểm, biểu thị thông tin cho một pixel cụ thể theo tọa độ trong thế giới thực của nó (X, Y, Z). Thông thường, các ứng dụng cuối chỉ sử dụng bản đồ hình ảnh Z (bản đồ độ sâu) thay vì đám mây điểm đầy đủ. Việc chuyển đổi khoảng cách xuyên tâm thành đám mây điểm yêu cầu phải biết bản chất của thấu kính và các thông số biến dạng. Các thông số đó được ước tính trong quá trình hiệu chỉnh hình học của mô-đun máy ảnh. Thuật toán xử lý độ sâu cũng có thể xuất ra các thông tin khác như hình ảnh độ sáng chủ động (biên độ của tín hiệu laser trả về), hình ảnh hồng ngoại 2D thụ động và mức độ tin cậy, tất cả đều có thể được sử dụng trong các ứng dụng cuối. Quá trình xử lý độ sâu có thể được thực hiện trên chính mô-đun máy ảnh hoặc trong một bộ xử lý chủ ở một nơi khác trong hệ thống.

Tổng quan về các thành phần cấp hệ thống khác nhau được đề cập trong bài viết này được trình bày trong Bảng 2. Các chủ đề này sẽ được đề cập chi tiết hơn trong các bài viết sau.

Bảng 2. Các thành phần cấp hệ thống của máy ảnh thời gian bay 3D

Kết luận

Thời gian sóng liên tục của máy ảnh chuyến bay là một giải pháp mạnh mẽ cung cấp độ chính xác độ sâu cao cho các ứng dụng yêu cầu thông tin 3D chất lượng cao. Có nhiều yếu tố cần xem xét để đảm bảo rằng đạt được mức hiệu suất tốt nhất. Các yếu tố như tần số điều chế, độ tương phản giải điều chế, hiệu suất lượng tử và tiếng ồn đọc ra quyết định hiệu suất ở cấp cảm biến hình ảnh. Các yếu tố khác là cân nhắc ở cấp hệ thống, bao gồm hệ thống phụ chiếu sáng, thiết kế quang học, quản lý điện năng và các thuật toán xử lý độ sâu. Tất cả các thành phần cấp hệ thống này đều rất quan trọng để đạt được độ chính xác cao nhất 3D Hệ thống camera ToF. Các chủ đề cấp hệ thống này sẽ được đề cập chi tiết hơn trong các bài viết tiếp theo.