Kecerdasan buatan (AI) generatif memerlukan pergerakan pantas dan berterusan bagi sejumlah besar data. Dalam bilangan keadaan yang semakin meningkat, sambungan input/output (I/O) elektrik antara IC dalam chiplet menjadi penghalang kepada prestasi yang lebih tinggi. Halangan prestasi I/O elektrik utama termasuk kecekapan kuasa, lebar jalur dan kependaman.
Soalan Lazim ini melihat faedah yang dijangkakan menggunakan I/O optikal dalam pakej (IOI) sebagai ganti I/O elektrik hari ini dalam serpihan dan ditutup dengan melihat penyelesaian dan teknologi IOI yang muncul.
Penyelesaian IOI mewakili yang terkini dalam barisan kemajuan yang panjang dalam sambung optik, bermula dengan transceiver optik boleh pasang menggantikan atau menambah I/O elektrik di pusat data (Rajah 1). Sebagai contoh, Serializer/Deserializer elektrik (SerDes) ialah bentuk biasa sambungan berkelajuan tinggi. Ia terdiri daripada sepasang blok yang menukar data antara data bersiri dan antara muka selari dalam setiap arah. Walau bagaimanapun, melebihi 112 gigabit sesaat (Gbps) adalah amat mencabar kerana kehilangan isyarat yang besar dalam sambung tembaga menjadikannya sukar untuk menghantar data lebih jauh daripada beberapa sentimeter. Penggantian SerDes dengan OIO dalam serpihan dijangka dapat menghapuskan kesesakan I/O elektrik dan secara mendadak meningkatkan kelajuan penghantaran data. Halangan kritikal untuk meningkatkan prestasi I/O termasuk kecekapan kuasa, kependaman dan ketumpatan dan jangkauan lebar jalur.
Halangan prestasi I/O
Kecekapan kuasa adalah penting untuk aplikasi pengkomputeran berprestasi tinggi seperti AI generatif. Kecekapan kuasa I/O elektrik sedia ada pada 112 Gbps adalah kira-kira 6 hingga 10 pico Joule per bit (pJ/b). Mencapai dari pakej ke tepi papan litar bercetak pada kadar data itu adalah mungkin tetapi memerlukan banyak kuasa, menjana haba dan mengurangkan kecekapan sistem. Seperti yang dinyatakan dalam Rajah 1, menjangkau di luar tepi PCB memerlukan gabungan transceiver optik boleh pasang I/O elektrik dan kabel optik aktif. IOI perlu menambah baik pada tahap prestasi tersebut.
Latensi ialah satu lagi pembunuh prestasi. I/O elektrik dalam dan luar papan pada kadar melebihi 50 Gbps memerlukan penggunaan pengekodan pembetulan ralat ke hadapan yang boleh meningkatkan kependaman sehingga 100 ns. Itu terlalu banyak untuk sistem pengkomputeran teragih seperti yang digunakan untuk AI generatif. Dalam aplikasi tersebut, latensi di bawah 10 ns diperlukan.
Ketumpatan jalur lebar adalah faktor penting. Chiplet heterogen digunakan di mana ketumpatan sistem yang tinggi dituntut, dan itu termasuk ketumpatan lebar jalur. I/O elektrik boleh menyokong ketumpatan lebar jalur kira-kira 100 Gbps/mm. Had untuk SerDes ialah kira-kira 200 hingga 500 Gbps/mm; capaian yang lebih panjang menimbulkan kuasa dan penalti haba, menjadikannya penyelesaian yang tidak praktikal dalam kebanyakan aplikasi. IOI, sebaliknya, pada masa ini boleh menyampaikan kira-kira 200 Gbps/mm, dengan peta jalan dijangka mencapai 1 Tbps/mm pada masa hadapan.
Jangkauan ialah jarak hujung ke hujung I/O. Dalam chiplet, jangkauan yang diperlukan biasanya di bawah 10 mm. Pada PCB, jangkauan boleh sehingga 50 mm, dan dalam pusat data, jangkauan boleh melebihi 1,000 mm. Walaupun I/O elektrik boleh menyokong jarak dekat, jarak yang lebih jauh memerlukan penggunaan komunikasi optik. Beralih antara komunikasi elektrik di dalam bungkusan atau pada PCB kepada optik untuk jangkauan yang lebih lama adalah tidak cekap dan mahal. Penyelesaian pilihan ialah menggunakan IOI untuk komunikasi chiplet dalaman dan ketersambungan seluruh pusat data.
Beberapa vendor telah mengumumkan penyelesaian IOI. Dalam satu kes, fabrik sambung fotonik boleh atur cara berskala wafer telah dibangunkan untuk digunakan dalam serpihan heterogen. Reka bentuk ini menyokong 40 lorong fotonik boleh tukar dalam ruang yang sama yang diduduki oleh gentian optik konvensional. Pelaksanaan awal dijangka menyokong kelajuan 1 Tbps merentas tatasusunan pada sehingga 48 IC heterogen pada substrat sehingga 8 inci persegi dengan kependaman maksimum 5 ns dan penggunaan kuasa yang lebih rendah berbanding dengan I/O elektrik alternatif (Rajah 2). Seni bina dijangka berskala kepada lebar jalur sehingga 100 Tbps.
Pendekatan kedua menggunakan sumber optik berbilang panjang gelombang yang menggabungkan fotonik silikon dengan pemprosesan CMOS standard untuk menyampaikan kepadatan lebar jalur 1000x lebih tinggi pada 10% daripada penggunaan kuasa I/O elektrik (Jadual 1). Penyelesaian ini menggunakan proses GlobalFoundries 45-nanometer volum tinggi untuk menyepadukan berjuta-juta transistor dengan ratusan peranti fotonik.
Ringkasan
Keperluan I/O bagi AI generatif lanjutan dan aplikasi pengkomputeran berprestasi tinggi (HPC) lain melebihi keupayaan penyelesaian berasaskan elektrik. Hasilnya, teknologi IOI sedang dibangunkan yang boleh menyokong kecekapan kuasa, kependaman, kecekapan jalur lebar dan mencapai permintaan aplikasi HPC.
Rujukan
Pelan Hala Tuju Integrasi Heterogen, edisi 2023, Bab 9: Fotonik Bersepadu, IEEE
Lightmatter Passage membawakan Optik Pakej Bersama dan Fotonik Silikon ke Era Chiplet, ServeTheHome
Sambungan Optik untuk Pusat Data Hiperskala dengan Aplikasi AI / ML, Amphenol
Sambungan Optik Akhirnya Melihat Cahaya dalam Silicon Photonics: Melewati Hype, bahan nano MDPI
Ucaptama Fotonik: Peralihan daripada I/O Elektrik kepada Optik, Irama
Rongga PhC silikon polihablur untuk penyepaduan pada cip CMOS, Laporan Saintifik
Memikirkan Semula Seni Bina AI Generatif dengan I/O Optik, Ayer Labs