ปัญญาประดิษฐ์เชิงสร้างสรรค์ (AI) ต้องการการเคลื่อนย้ายข้อมูลจำนวนมากอย่างรวดเร็วและต่อเนื่อง ในกรณีจำนวนมากขึ้น การเชื่อมต่ออินพุต/เอาต์พุต (I/O) ทางไฟฟ้าระหว่างไอซีในชิปเล็ตกำลังกลายเป็นปัญหาคอขวดในการทำงานที่สูงขึ้น อุปสรรคด้านประสิทธิภาพ I/O ทางไฟฟ้าที่สำคัญ ได้แก่ ประสิทธิภาพการใช้พลังงาน แบนด์วิธ และเวลาแฝง
คำถามที่พบบ่อยนี้จะพิจารณาถึงประโยชน์ที่คาดว่าจะได้รับจากการใช้ Optical I/O (IOI) ในแพ็คเกจ แทนที่ I/O ทางไฟฟ้าในชิปเล็ตในปัจจุบัน และปิดท้ายด้วยการดูโซลูชันและเทคโนโลยี IOI ที่เกิดขึ้นใหม่
โซลูชัน IOI แสดงถึงความก้าวหน้าล่าสุดในการเชื่อมต่อระหว่างกันแบบออปติก โดยเริ่มจากตัวรับส่งสัญญาณแบบออปติกแบบเสียบได้ซึ่งมาแทนที่หรือเสริม I/O ไฟฟ้าในศูนย์ข้อมูล (รูป 1- ตัวอย่างเช่น Serializer/Deserializer แบบไฟฟ้า (SerDes) เป็นรูปแบบทั่วไปของการเชื่อมต่อความเร็วสูง ประกอบด้วยบล็อกคู่ที่แปลงข้อมูลระหว่างข้อมูลอนุกรมและอินเทอร์เฟซแบบขนานในแต่ละทิศทาง อย่างไรก็ตาม การมีความเร็วเกิน 112 กิกะบิตต่อวินาที (Gbps) ถือเป็นความท้าทายอย่างมาก เนื่องจากการสูญเสียสัญญาณจำนวนมากในการเชื่อมต่อด้วยทองแดง ทำให้การส่งข้อมูลไกลเกินกว่าสองสามเซนติเมตรทำได้ยาก การแทนที่ SerDes ด้วย OIO ในชิปเล็ตนั้นคาดว่าจะช่วยขจัดปัญหาคอขวดของ I/O ทางไฟฟ้า และเพิ่มความเร็วในการส่งข้อมูลได้อย่างมาก อุปสรรคสำคัญในการเพิ่มประสิทธิภาพ I/O ได้แก่ ประสิทธิภาพการใช้พลังงาน เวลาแฝง และความหนาแน่นและการเข้าถึงแบนด์วิธ
อุปสรรคด้านประสิทธิภาพ I/O
ประสิทธิภาพการใช้พลังงานเป็นสิ่งสำคัญสำหรับแอปพลิเคชันการประมวลผลประสิทธิภาพสูง เช่น geneative AI ประสิทธิภาพการใช้พลังงานของ I/O ไฟฟ้าที่มีอยู่ที่ 112 Gbps อยู่ที่ประมาณ 6 ถึง 10 พิโกจูลต่อบิต (pJ/b) การเข้าถึงจากบรรจุภัณฑ์ไปยังขอบของแผงวงจรพิมพ์ด้วยอัตราข้อมูลนั้นเป็นไปได้ แต่ต้องใช้พลังงานมาก สร้างความร้อน และลดประสิทธิภาพของระบบ ดังที่ระบุไว้ในรูปที่ 1 การเข้าถึงเกินขอบของ PCB ต้องใช้ตัวรับส่งสัญญาณออปติคอลแบบเสียบปลั๊กไฟฟ้า I/O และสายเคเบิลออปติคอลแบบแอคทีฟผสมกัน IOI จำเป็นต้องปรับปรุงในระดับประสิทธิภาพเหล่านั้น
ความหน่วงแฝงเป็นอีกหนึ่งนักฆ่าประสิทธิภาพ I/O ไฟฟ้าทั้งในและนอกบอร์ดที่อัตราสูงกว่า 50 Gbps จำเป็นต้องใช้การเข้ารหัสการแก้ไขข้อผิดพลาดแบบส่งต่อที่สามารถเพิ่มเวลาแฝงได้สูงสุดถึง 100 ns นั่นมากเกินไปสำหรับระบบคอมพิวเตอร์แบบกระจาย เช่นเดียวกับที่ใช้สำหรับ generative AI ในแอปพลิเคชันเหล่านั้น จำเป็นต้องมีเวลาแฝงต่ำกว่า 10 ns
ความหนาแน่นของแบนด์วิธเป็นปัจจัยสำคัญ ชิปเล็ตที่ต่างกันจะถูกใช้เมื่อต้องการความหนาแน่นของระบบสูงและรวมถึงความหนาแน่นของแบนด์วิธด้วย I/O ทางไฟฟ้าสามารถรองรับความหนาแน่นของแบนด์วิธประมาณ 100 Gbps/มม. ขีดจำกัดสำหรับ SerDes คือประมาณ 200 ถึง 500 Gbps/mm; การเข้าถึงที่นานขึ้นจะต้องเสียค่าปรับด้านพลังงานและความร้อน จึงเป็นโซลูชันที่ใช้งานไม่ได้ในการใช้งานส่วนใหญ่ ในทางกลับกัน IOI สามารถส่งมอบความเร็วประมาณ 200 Gbps/mm โดยมีแผนงานคาดว่าจะบรรลุ 1 Tbps/mm ในอนาคต
การเข้าถึงคือระยะทางจากต้นถึงปลายของ I/O ในชิปเล็ต โดยปกติระยะยื่นที่ต้องการจะต่ำกว่า 10 มม. บน PCB ระยะการเข้าถึงสูงสุด 50 มม. และในศูนย์ข้อมูล ระยะการเข้าถึงสูงสุด 1,000 มม. แม้ว่า I/O ทางไฟฟ้าจะสามารถรองรับระยะการเข้าถึงระยะสั้นได้ แต่ระยะทางที่ไกลกว่านั้นจำเป็นต้องใช้การสื่อสารแบบออปติก การสลับระหว่างการสื่อสารทางไฟฟ้าภายในบรรจุภัณฑ์หรือบน PCB เป็นแบบออปติคัลเพื่อให้เข้าถึงได้ไกลขึ้นนั้นไม่มีประสิทธิภาพและมีค่าใช้จ่ายสูง โซลูชันที่ต้องการคือการใช้ IOI สำหรับทั้งการสื่อสารด้วยชิปเล็ตภายในและการเชื่อมต่อทั่วทั้งศูนย์ข้อมูล
ผู้จำหน่ายหลายรายได้ประกาศโซลูชั่น IOI ในกรณีหนึ่ง ผ้าเชื่อมต่อโฟโตนิกที่ตั้งโปรแกรมได้ขนาดเวเฟอร์ได้รับการพัฒนาเพื่อใช้ในชิปเล็ตที่ต่างกัน การออกแบบนี้รองรับโฟโตนิกเลนแบบสลับได้ 40 เลนในพื้นที่เดียวกับใยแก้วนำแสงทั่วไป การใช้งานเบื้องต้นคาดว่าจะรองรับความเร็ว 1 Tbps ทั่วทั้งอาร์เรย์บน IC ต่างกันสูงสุด 48 ตัวบนพื้นผิวสี่เหลี่ยมจัตุรัสขนาดสูงสุด 8 นิ้ว โดยมีเวลาแฝงสูงสุด 5 ns และสิ้นเปลืองพลังงานน้อยกว่าเมื่อเทียบกับ I/O ไฟฟ้าทางเลือก (รูป 2- สถาปัตยกรรมนี้คาดว่าจะขยายแบนด์วิธได้ถึง 100 Tbps
แนวทางที่สองใช้แหล่งกำเนิดแสงแบบหลายความยาวคลื่นที่รวมซิลิคอนโฟโตนิกส์เข้ากับการประมวลผล CMOS มาตรฐาน เพื่อมอบความหนาแน่นของแบนด์วิดท์ที่สูงขึ้นถึง 1000 เท่า ที่ 10% ของการใช้พลังงานของ I/O ทางไฟฟ้า (1 ตาราง- โซลูชันดังกล่าวใช้กระบวนการ GlobalFoundries 45 นาโนเมตรในปริมาณมากเพื่อรวมทรานซิสเตอร์หลายล้านตัวเข้ากับอุปกรณ์โฟโตนิกหลายร้อยตัว
สรุป
ข้อกำหนด I/O ของ Generative AI ขั้นสูงและแอปพลิเคชันการประมวลผลประสิทธิภาพสูง (HPC) อื่นๆ เกินความสามารถของโซลูชันระบบไฟฟ้า ด้วยเหตุนี้ เทคโนโลยี IOI จึงได้รับการพัฒนาซึ่งสามารถรองรับประสิทธิภาพการใช้พลังงาน เวลาแฝง ประสิทธิภาพแบนด์วิธ และเข้าถึงความต้องการของแอปพลิเคชัน HPC
อ้างอิง
แผนงานบูรณาการที่แตกต่างกันฉบับปี 2023 บทที่ 9: โฟโตนิกส์แบบรวม IEEE
Lightmatter Passage นำ Co-Packaged Optics และ Silicon Photonics มาสู่ยุค Chiplet, ServeTheHome
การเชื่อมต่อระหว่างกันด้วยแสงสำหรับศูนย์ข้อมูลไฮเปอร์สเกลพร้อมแอปพลิเคชัน AI / ML, Amphenol
การเชื่อมต่อระหว่างกันด้วยแสงในที่สุดก็เห็นแสงสว่างในซิลิคอนโฟโตนิกส์: ผ่านวัสดุนาโน Hype, MDPI
คำปราศรัยโฟโตนิกส์: การเปลี่ยนจากไฟฟ้าเป็น I/O แบบออปติคอล จังหวะ
ช่อง PhC โพลีคริสตัลไลน์ซิลิคอนสำหรับการรวมบนชิป CMOS รายงานทางวิทยาศาสตร์
ทบทวนสถาปัตยกรรม Generative AI ด้วย Optical I/O, Ayer Labs