เวลาของการออกแบบระบบการบิน

บทนำ

แอพพลิเคชั่นวิชันซิสเต็มจำนวนมากในปัจจุบันต้องการภาพความลึก 3 มิติที่มีความละเอียดสูงเพื่อแทนที่หรือเสริมการสร้างภาพ 2 มิติมาตรฐาน โซลูชันเหล่านี้อาศัยกล้อง 3D ในการให้ข้อมูลความลึกที่เชื่อถือได้เพื่อรับประกันความปลอดภัย โดยเฉพาะอย่างยิ่งเมื่อเครื่องจักรทำงานใกล้กับมนุษย์ กล้องยังต้องให้ข้อมูลความลึกที่เชื่อถือได้ในขณะที่ทำงานในสภาพแวดล้อมที่ท้าทาย เช่น ในพื้นที่ขนาดใหญ่ที่มีพื้นผิวสะท้อนแสงสูง และในที่ที่มีวัตถุเคลื่อนไหวอื่นๆ ผลิตภัณฑ์จำนวนมากในปัจจุบันได้ใช้โซลูชันประเภทตัวค้นหาช่วงความละเอียดต่ำเพื่อให้ข้อมูลเชิงลึกเพื่อเสริมการสร้างภาพ 2 มิติ อย่างไรก็ตาม วิธีการนี้มีข้อจำกัดมากมาย สำหรับแอปพลิเคชันที่ได้รับประโยชน์จากข้อมูลความลึก 3D ที่มีความละเอียดสูงขึ้น กล้อง CW CMOS ToF มอบโซลูชันที่มีประสิทธิภาพสูงสุดในตลาด คุณลักษณะบางอย่างของระบบเปิดใช้งานโดย CW ToF . ความละเอียดสูง เซ็นเซอร์ เทคโนโลยี มีการอธิบายรายละเอียดเพิ่มเติมในตารางที่ 1 คุณลักษณะของระบบเหล่านี้ยังแปลไปยังกรณีการใช้งานของผู้บริโภค เช่น โบเก้วิดีโอ การตรวจสอบใบหน้า และแอปพลิเคชันการวัด เช่นเดียวกับกรณีการใช้งานในยานยนต์ เช่น การตรวจสอบความตื่นตัวของผู้ขับขี่ และการกำหนดค่าอัตโนมัติในห้องโดยสาร

ตารางที่ 1. คุณลักษณะของระบบเที่ยวบินต่อเนื่องของคลื่นต่อเนื่อง

เวลาคลื่น CMOS ต่อเนื่องของภาพรวมกล้องบนเครื่องบิน Flight

กล้องความลึกคือกล้องที่แต่ละพิกเซลแสดงระยะห่างระหว่างกล้องกับฉาก เทคนิคหนึ่งในการวัดความลึกคือการคำนวณเวลาที่แสงใช้ในการเดินทางจากแหล่งกำเนิดแสงบนกล้องไปยังพื้นผิวสะท้อนแสงและกลับไปที่กล้อง เวลาเดินทางนี้มักเรียกว่าเวลาของเที่ยวบิน (ToF)

กล้อง ToF ประกอบด้วยองค์ประกอบหลายอย่าง (ดูรูปที่ 1) ได้แก่ :

แหล่งกำเนิดแสง เช่น เลเซอร์เปล่งแสงพื้นผิวโพรงในแนวตั้ง (VCSEL) หรือเลเซอร์ไดโอดเปล่งแสงที่ขอบ ซึ่งเปล่งแสงในโดเมนอินฟราเรดใกล้ ความยาวคลื่นที่ใช้กันมากที่สุดคือ 850 nm และ 940 nm แหล่งกำเนิดแสงมักจะเป็นแหล่งกำเนิดแสงแบบกระจาย (การส่องสว่างจากน้ำท่วม) ที่ปล่อยลำแสงที่มีความเบี่ยงเบนบางอย่าง (หรือที่รู้จักกันในนามเขตการส่องสว่างหรือ FOI) เพื่อให้แสงสว่างแก่ฉากหน้ากล้อง

•  ตัวขับเลเซอร์ที่ปรับความเข้มของแสงที่ปล่อยออกมาจากแหล่งกำเนิดแสง
•  เซ็นเซอร์ที่มีอาร์เรย์พิกเซลที่รวบรวมแสงที่ย้อนมาจากฉากและส่งออกค่าสำหรับแต่ละพิกเซล
•  เลนส์ที่เน้นแสงที่ย้อนกลับบนอาร์เรย์เซ็นเซอร์
•  ตัวกรองแบนด์พาสที่อยู่ร่วมกับเลนส์ที่กรองแสงออกนอกแบนด์วิดท์แคบๆ รอบความยาวคลื่นของแหล่งกำเนิดแสง
•  เป็นอัลกอริธึมการประมวลผลที่แปลงเฟรมดิบเอาต์พุตจากเซ็นเซอร์เป็นภาพเชิงลึกหรือเมฆจุด

คุณสามารถใช้หลายวิธีในการปรับแสงในกล้อง ToF วิธีง่ายๆ คือการใช้มอดูเลตคลื่นแบบต่อเนื่อง—ตัวอย่างเช่น การมอดูเลตคลื่นสี่เหลี่ยมที่มีรอบการทำงาน 50% ในทางปฏิบัติ รูปคลื่นเลเซอร์นั้นแทบจะเป็นคลื่นสี่เหลี่ยมที่สมบูรณ์แบบและอาจดูใกล้กับคลื่นไซน์มากขึ้น รูปคลื่นเลเซอร์สี่เหลี่ยมให้อัตราส่วนสัญญาณต่อสัญญาณรบกวนที่ดีกว่าสำหรับพลังงานแสงที่กำหนด แต่ยังทำให้เกิดข้อผิดพลาดที่ไม่เป็นเชิงเส้นเชิงลึกเนื่องจากการมีอยู่ของฮาร์โมนิกความถี่สูง

กล้อง CW ToF วัดความแตกต่างของเวลา t_d ระหว่างสัญญาณที่ปล่อยออกมาและสัญญาณย้อนกลับโดยประมาณการชดเชยเฟส ϕ = 2πft_d ระหว่างพื้นฐานของสัญญาณทั้งสองนั้น ความลึกสามารถประมาณได้จากระยะออฟเซ็ต (ϕ) และความเร็วของแสง (c) โดยใช้:

ที่ไหน f_mod คือ ความถี่มอดูเลต

ยุคนาฬิกา วงจรไฟฟ้า ในเซ็นเซอร์จะควบคุมนาฬิกาพิกเซลเสริมที่ควบคุมการสะสมของประจุภาพถ่ายในองค์ประกอบการจัดเก็บประจุทั้งสอง (แตะ A และแตะ B) ตามลำดับ รวมถึงสัญญาณมอดูเลตเลเซอร์ไปยัง

ไดรเวอร์เลเซอร์ เฟสของแสงมอดูเลตที่ย้อนกลับสามารถวัดได้สัมพันธ์กับเฟสของนาฬิกาพิกเซล (ดูด้านขวาของรูปที่ 1) ความแตกต่างของแสงมอดูเลตที่ส่งคืนและเฟสของแสงมอดูเลตที่ส่งคืนที่สัมพันธ์กับนาฬิกาพิกเซล

โดยใช้หลักการของการตรวจจับโฮโมไดน์ การวัดจะทำด้วยเฟสสัมพัทธ์หลายเฟสระหว่างนาฬิกาพิกเซลและสัญญาณมอดูเลตเลเซอร์ การวัดเหล่านี้รวมกันเพื่อกำหนดเฟสของปัจจัยพื้นฐานในสัญญาณไฟมอดูเลตที่ย้อนกลับ การรู้ขั้นตอนนี้จะช่วยให้สามารถคำนวณเวลาที่แสงใช้ในการเดินทางจากแหล่งกำเนิดแสงไปยังวัตถุที่กำลังสังเกตและกลับไปยังพิกเซลของเซ็นเซอร์ได้

ข้อดีของความถี่มอดูเลตสูง

ในทางปฏิบัติ มีสิ่งที่ไม่เป็นไปตามอุดมคติ เช่น โฟตอนเสียงช็อต เสียงวงจรการอ่าน และการรบกวนหลายเส้นทางที่อาจทำให้เกิดข้อผิดพลาดในการวัดเฟส การมีความถี่มอดูเลตสูงช่วยลดผลกระทบของข้อผิดพลาดเหล่านั้นต่อการประมาณความลึก

เข้าใจง่ายโดยยกตัวอย่างง่ายๆ ที่มีข้อผิดพลาดของเฟส ϵ_ϕ—นั่นคือเฟสที่วัดโดยเซ็นเซอร์คือ ϕ̂ = ϕ + ϵ_ϕ. ข้อผิดพลาดเชิงลึกคือ:

ดังนั้น ความคลาดเคลื่อนเชิงลึกจึงแปรผกผันกับความถี่มอดูเลต f_mod. นี่คือภาพประกอบในรูปที่ 2

สูตรง่ายๆ นี้อธิบายเป็นส่วนใหญ่ว่าทำไมกล้อง ToF ที่มีความถี่การมอดูเลตสูงจึงมีสัญญาณรบกวนที่ความลึกต่ำกว่าและข้อผิดพลาดเชิงลึกน้อยกว่ากล้อง ToF ที่มีความถี่การปรับต่ำ

ข้อเสียประการหนึ่งของการใช้ความถี่มอดูเลตสูงคือเฟสล้อมรอบเร็วขึ้น ซึ่งหมายความว่าช่วงที่สามารถวัดได้อย่างชัดเจนจะสั้นกว่า วิธีทั่วไปในการหลีกเลี่ยงข้อจำกัดนี้คือการใช้ความถี่มอดูเลตหลายความถี่ที่ล้อมรอบในอัตราที่ต่างกัน ความถี่มอดูเลตที่ต่ำที่สุดให้ช่วงกว้างโดยไม่มีความคลุมเครือ แต่มีข้อผิดพลาดในเชิงลึกที่มากขึ้น (สัญญาณรบกวน การรบกวนแบบหลายเส้นทาง ฯลฯ) ในขณะที่ความถี่มอดูเลตที่สูงขึ้นจะใช้ควบคู่กันเพื่อลดข้อผิดพลาดในเชิงลึก ตัวอย่างของโครงร่างนี้ที่มีความถี่การมอดูเลตที่แตกต่างกันสามแบบแสดงไว้ในรูปที่ 3 การประมาณความลึกขั้นสุดท้ายคำนวณโดยการให้น้ำหนักการประมาณการเฟสที่ไม่ได้ห่อสำหรับความถี่มอดูเลตที่แตกต่างกัน โดยกำหนดน้ำหนักที่สูงขึ้นให้กับความถี่การปรับที่สูงขึ้น

หากเลือกน้ำหนักสำหรับแต่ละความถี่อย่างเหมาะสม เสียงในเชิงลึกจะแปรผกผันกับค่าเฉลี่ยรากที่สอง (rms) ของความถี่การมอดูเลตที่เลือกไว้ในระบบ สำหรับงบประมาณเสียงรบกวนในเชิงลึกคงที่ การเพิ่มความถี่ในการปรับช่วยลดเวลาในการรวมหรือกำลังการส่องสว่าง

ด้านอื่นๆ ของระบบที่มีความสำคัญต่อประสิทธิภาพ

มีคุณสมบัติของระบบมากมายที่ต้องพิจารณาเมื่อพัฒนากล้อง ToF ประสิทธิภาพสูง ซึ่งบางส่วนได้กล่าวถึงในที่นี้โดยย่อ

เซ็นเซอร์รับภาพ

เซ็นเซอร์ภาพเป็นส่วนประกอบสำคัญในกล้อง ToF ผลกระทบของความไม่สมบูรณ์แบบในการประเมินความลึกส่วนใหญ่ (เช่น ความลำเอียง เสียงในเชิงลึก และสิ่งประดิษฐ์แบบหลายเส้นทาง) จะลดลงเมื่อความถี่การปรับเฉลี่ยของระบบเพิ่มขึ้น ดังนั้นจึงเป็นสิ่งสำคัญที่เซ็นเซอร์จะต้องมีคอนทราสต์ demodulation สูง (ความสามารถในการแยกโฟโตอิเล็กตรอนระหว่าง Tap A และ Tap B) ที่ระดับสูง

ความถี่มอดูเลต (หลายร้อย MHz) เซ็นเซอร์ยังต้องมีประสิทธิภาพควอนตัมสูง (QE) ในช่วงความยาวคลื่นอินฟราเรดใกล้ (เช่น 850 นาโนเมตรและ 940 นาโนเมตร) เพื่อที่จะใช้พลังงานแสงน้อยลงเพื่อสร้างโฟโตอิเล็กตรอนในพิกเซล สุดท้าย สัญญาณรบกวนที่อ่านได้ต่ำจะช่วยในไดนามิกเรนจ์ของกล้องโดยช่วยให้สามารถตรวจจับสัญญาณย้อนกลับต่ำ (วัตถุที่มีการสะท้อนแสงไกลหรือสะท้อนแสงต่ำ)

สว่าง

ตัวขับเลเซอร์ปรับแหล่งกำเนิดแสง (เช่น VCSEL) ที่ความถี่มอดูเลตสูง เพื่อให้ได้สัญญาณที่มีประโยชน์สูงสุดที่พิกเซลสำหรับกำลังแสงที่กำหนด รูปคลื่นออปติคัลจำเป็นต้องมีเวลาเพิ่มขึ้นและลดลงอย่างรวดเร็วด้วยขอบที่สะอาด การผสมผสานระหว่างเลเซอร์ ไดรเวอร์เลเซอร์ และโครงร่าง PCB ในระบบย่อยการส่องสว่าง ล้วนมีความสำคัญต่อการบรรลุเป้าหมายนี้ นอกจากนี้ยังมีคุณลักษณะบางอย่างที่จำเป็นในการค้นหาการตั้งค่ากำลังแสงและรอบการทำงานที่เหมาะสมที่สุดเพื่อเพิ่มแอมพลิจูดของปัจจัยพื้นฐานในการแปลงฟูริเยร์ของรูปคลื่นมอดูเลต สุดท้าย พลังงานแสงยังต้องส่งในลักษณะที่ปลอดภัยด้วยกลไกความปลอดภัยบางอย่างในตัวที่ไดรเวอร์เลเซอร์และระดับระบบเพื่อให้แน่ใจว่ามีการเคารพขีดจำกัดความปลอดภัยของดวงตาระดับ 1 ตลอดเวลา

เลนส์

เลนส์มีบทบาทสำคัญในกล้อง ToF กล้อง ToF มีลักษณะเฉพาะบางประการที่ขับเคลื่อนความต้องการด้านออปติกพิเศษ ประการแรก ขอบเขตการส่องสว่างของแหล่งกำเนิดแสงควรตรงกับระยะการมองเห็นของเลนส์เพื่อประสิทธิภาพสูงสุด สิ่งสำคัญคือตัวเลนส์ควรมีรูรับแสงสูง (f/# ต่ำ) เพื่อประสิทธิภาพการรวบรวมแสงที่ดีขึ้น รูรับแสงขนาดใหญ่สามารถนำไปสู่ข้อเสียอื่นๆ เกี่ยวกับขอบมืด ความชัดตื้น และความซับซ้อนในการออกแบบเลนส์ การออกแบบเลนส์มุมรังสีเอกซ์ต่ำยังช่วยลดแบนด์วิดท์ของตัวกรองแบนด์พาส ซึ่งปรับปรุงการปฏิเสธแสงโดยรอบ ดังนั้นจึงช่วยปรับปรุงประสิทธิภาพกลางแจ้ง ระบบย่อยออปติคัลควรได้รับการปรับให้เหมาะสมสำหรับความยาวคลื่นของการทำงานที่ต้องการ (เช่น การเคลือบป้องกันแสงสะท้อน การออกแบบตัวกรองแถบความถี่ การออกแบบเลนส์) เพื่อเพิ่มประสิทธิภาพการรับส่งข้อมูลสูงสุดและลดแสงที่ส่องเข้ามา นอกจากนี้ยังมีข้อกำหนดทางกลหลายอย่างเพื่อให้แน่ใจว่าการจัดตำแหน่งออปติคัลอยู่ในพิกัดความเผื่อที่ต้องการสำหรับการใช้งานขั้นสุดท้าย

การจัดการพลังงาน

การจัดการพลังงานยังมีความสำคัญอย่างยิ่งในกล้อง 3D ToF ประสิทธิภาพสูง โมดูล ออกแบบ. การปรับด้วยเลเซอร์และการปรับพิกเซลจะสร้างกระแสสูงสุดระดับสูงในระยะสั้น ซึ่งทำให้มีข้อจำกัดบางประการในโซลูชันการจัดการพลังงาน มีคุณสมบัติบางอย่างที่ระดับวงจรรวมเซ็นเซอร์ (IC) ที่สามารถช่วยลดการใช้พลังงานสูงสุดของตัวสร้างภาพได้ นอกจากนี้ยังมีเทคนิคการจัดการพลังงานที่สามารถนำไปใช้ในระดับระบบเพื่อช่วยลดข้อกำหนดเกี่ยวกับแหล่งพลังงาน (เช่น แบตเตอรี่หรือ USB) แหล่งจ่ายแอนะล็อกหลักสำหรับตัวสร้างภาพ ToF โดยทั่วไปจะต้องมี เครื่องควบคุม มีการตอบสนองชั่วคราวที่ดีและสัญญาณรบกวนต่ำ

อัลกอริธึมการประมวลผลความลึก

สุดท้าย อีกส่วนหนึ่งที่สำคัญของการออกแบบระดับระบบคืออัลกอริธึมการประมวลผลเชิงลึก เซ็นเซอร์ภาพ ToF จะส่งข้อมูลพิกเซลดิบซึ่งจำเป็นต้องดึงข้อมูลเฟส การดำเนินการนี้ต้องใช้ขั้นตอนที่แตกต่างกันซึ่งรวมถึงการกรองสัญญาณรบกวนและการเปิดปิดเฟส เอาต์พุตของ Phase Unwrapping Block คือการวัดระยะทางที่แสงเดินทางจากเลเซอร์ไปยังฉาก และกลับไปที่พิกเซล ซึ่งมักเรียกว่าระยะหรือระยะทางในแนวรัศมี

โดยทั่วไป ระยะทางในแนวรัศมีจะถูกแปลงเป็นข้อมูล point cloud ซึ่งแสดงข้อมูลสำหรับพิกเซลหนึ่งๆ โดยพิกัดในโลกแห่งความเป็นจริง (X,Y,Z) บ่อยครั้ง แอปพลิเคชันปลายทางใช้เฉพาะแผนที่ภาพ Z (แผนที่เชิงลึก) แทนระบบคลาวด์แบบเต็มจุด การแปลงระยะทางในแนวรัศมีเป็น point cloud จำเป็นต้องทราบถึงพารามิเตอร์ที่แท้จริงของเลนส์และการบิดเบือน พารามิเตอร์เหล่านี้ถูกประเมินระหว่างการปรับเทียบทางเรขาคณิตของโมดูลกล้อง อัลกอริธึมการประมวลผลเชิงลึกยังสามารถแสดงข้อมูลอื่นๆ เช่น ภาพความสว่างแอ็คทีฟ (แอมพลิจูดของสัญญาณเลเซอร์ที่ส่งกลับ) ภาพ 2D IR แบบพาสซีฟ และระดับความเชื่อมั่น ซึ่งทั้งหมดนี้สามารถนำมาใช้ในแอปพลิเคชันปลายทางได้ การประมวลผลเชิงลึกสามารถทำได้บนโมดูลกล้องเองหรือในโปรเซสเซอร์โฮสต์ที่อื่นในระบบ

ภาพรวมของส่วนประกอบระดับระบบต่างๆ ที่กล่าวถึงในบทความนี้จะแสดงในตารางที่ 2 หัวข้อเหล่านี้จะกล่าวถึงในรายละเอียดเพิ่มเติมในบทความต่อๆ ไป

ตารางที่ 2. ส่วนประกอบระดับระบบของเวลา 3 มิติของกล้องบนเครื่องบิน

สรุป

เวลาคลื่นต่อเนื่องของกล้องบนเครื่องบินเป็นโซลูชันอันทรงพลังที่ให้ความแม่นยำเชิงลึกสูงสำหรับการใช้งานที่ต้องการข้อมูล 3D คุณภาพสูง มีหลายปัจจัยที่ต้องพิจารณาเพื่อให้แน่ใจว่าบรรลุผลการปฏิบัติงานในระดับที่ดีที่สุด ปัจจัยต่างๆ เช่น ความถี่มอดูเลต คอนทราสต์ของดีมอดูเลชัน ประสิทธิภาพควอนตัม และประสิทธิภาพในการอ่านค่าสัญญาณรบกวนที่ระดับเซ็นเซอร์ภาพ ปัจจัยอื่นๆ ได้แก่ การพิจารณาระดับระบบ ซึ่งรวมถึงระบบย่อยการส่องสว่าง การออกแบบออปติคัล การจัดการพลังงาน และอัลกอริธึมการประมวลผลเชิงลึก ส่วนประกอบระดับระบบทั้งหมดเหล่านี้มีความสำคัญอย่างยิ่งในการบรรลุความแม่นยำสูงสุด 3D ระบบกล้อง ToF หัวข้อระดับระบบเหล่านี้จะกล่าวถึงในรายละเอียดเพิ่มเติมในบทความต่อๆ ไป