Kecerdasan buatan generatif (AI) memerlukan pergerakan data dalam jumlah besar secara cepat dan berkelanjutan. Dalam banyak kasus, koneksi input/output listrik (I/O) antara IC dalam chiplet menjadi hambatan dalam mencapai kinerja yang lebih tinggi. Hambatan utama kinerja I/O listrik mencakup efisiensi daya, bandwidth, dan latensi.
FAQ ini membahas manfaat yang diharapkan dari penggunaan I/O optik (IOI) dalam paket sebagai pengganti I/O listrik saat ini dalam chiplet dan ditutup dengan tinjauan terhadap solusi dan teknologi IOI yang sedang berkembang.
Solusi IOI mewakili kemajuan terbaru dalam interkoneksi optik, dimulai dengan transceiver optik pluggable yang menggantikan atau melengkapi I/O listrik di pusat data (Gambar 1). Misalnya, Serializer/Deserializer listrik (SerDes) adalah bentuk umum konektivitas berkecepatan tinggi. Ini terdiri dari sepasang blok yang mengubah data antara data serial dan antarmuka paralel di setiap arah. Namun, melebihi 112 gigabit per detik (Gbps) sangatlah menantang karena kehilangan sinyal yang besar pada interkoneksi tembaga menyulitkan transmisi data lebih dari beberapa sentimeter. Penggantian SerDes dengan OIO dalam chiplet diharapkan dapat menghilangkan hambatan I/O listrik dan secara signifikan meningkatkan kecepatan transmisi data. Hambatan penting untuk meningkatkan kinerja I/O mencakup efisiensi daya, latensi, serta kepadatan dan jangkauan bandwidth.
hambatan kinerja I/O
Efisiensi daya sangat penting untuk aplikasi komputasi berkinerja tinggi seperti AI generatif. Efisiensi daya I/O listrik yang ada pada 112 Gbps adalah sekitar 6 hingga 10 pico Joule per bit (pJ/b). Menjangkau dari paket ke tepi papan sirkuit tercetak pada kecepatan data tersebut dimungkinkan namun memerlukan banyak daya, menghasilkan panas, dan mengurangi efisiensi sistem. Seperti disebutkan dalam Gambar 1, menjangkau melampaui tepi PCB memerlukan campuran transceiver optik yang dapat dicolokkan I/O listrik dan kabel optik aktif. IOI perlu meningkatkan tingkat kinerja tersebut.
Latensi adalah pembunuh kinerja lainnya. I/O elektrik on-board dan off-board dengan kecepatan di atas 50 Gbps memerlukan penggunaan kode koreksi kesalahan maju yang dapat meningkatkan latensi hingga 100 ns. Jumlah tersebut terlalu banyak untuk sistem komputasi terdistribusi seperti yang digunakan untuk AI generatif. Dalam aplikasi tersebut, diperlukan latensi di bawah 10 ns.
Kepadatan bandwidth merupakan faktor penting. Chiplet heterogen digunakan jika diperlukan kepadatan sistem yang tinggi, dan itu termasuk kepadatan bandwidth. I/O listrik dapat mendukung kepadatan bandwidth sekitar 100 Gbps/mm. Batasan untuk SerDes adalah sekitar 200 hingga 500 Gbps/mm; jangkauan yang lebih panjang menimbulkan dampak listrik dan termal, menjadikannya solusi yang tidak praktis di sebagian besar aplikasi. Sebaliknya, IOI saat ini dapat menyalurkan sekitar 200 Gbps/mm, dengan peta jalan yang diharapkan dapat mencapai 1 Tbps/mm di masa depan.
Jangkauan adalah jarak ujung ke ujung I/O. Dalam sebuah chiplet, jangkauan yang dibutuhkan biasanya di bawah 10 mm. Pada PCB, jangkauannya bisa mencapai 50 mm, dan di pusat data, jangkauannya bisa melebihi 1,000 mm. Meskipun I/O listrik dapat mendukung jangkauan pendek, jarak yang lebih jauh memerlukan penggunaan komunikasi optik. Beralih antara komunikasi listrik di dalam paket atau pada PCB ke komunikasi optik untuk jangkauan yang lebih jauh tidak efisien dan mahal. Solusi yang lebih disukai adalah menggunakan IOI untuk komunikasi chiplet internal dan konektivitas seluruh pusat data.
Beberapa vendor telah mengumumkan solusi IOI. Dalam satu kasus, kain interkoneksi fotonik yang dapat diprogram skala wafer telah dikembangkan untuk digunakan dalam chiplet heterogen. Desainnya mendukung 40 jalur fotonik yang dapat dialihkan dalam ruang yang sama yang ditempati oleh serat optik konvensional. Implementasi awal diharapkan dapat mendukung kecepatan 1 Tbps di seluruh array pada hingga 48 IC heterogen pada substrat hingga 8 inci persegi dengan latensi maksimum 5 ns dan konsumsi daya yang lebih rendah dibandingkan dengan I/O listrik alternatif (Gambar 2). Arsitektur ini diharapkan dapat meningkatkan bandwidth hingga 100 Tbps.
Pendekatan kedua menggunakan sumber optik multi-panjang gelombang yang menggabungkan fotonik silikon dengan pemrosesan CMOS standar untuk menghasilkan kepadatan bandwidth hingga 1000x lebih tinggi pada 10% konsumsi daya I/O listrik (Tabel 1). Solusi ini menggunakan proses GlobalFoundries 45 nanometer bervolume tinggi untuk mengintegrasikan jutaan transistor dengan ratusan perangkat fotonik.
Kesimpulan
Persyaratan I/O dari AI generatif tingkat lanjut dan aplikasi komputasi kinerja tinggi (HPC) lainnya melebihi kemampuan solusi berbasis listrik. Hasilnya, sedang dikembangkan teknologi IOI yang dapat mendukung efisiensi daya, latensi, efisiensi bandwidth, dan memenuhi tuntutan aplikasi HPC.
Referensi
Peta Jalan Integrasi Heterogen, edisi 2023, Bab 9: Fotonik Terintegrasi, IEEE
Lightmatter Passage menghadirkan Optik yang Dikemas Bersama dan Fotonik Silikon ke Era Chiplet, ServeTheHome
Interkoneksi Optik untuk Pusat Data Hyperscale dengan Aplikasi AI/ML, Amphenol
Interkoneksi Optik Akhirnya Melihat Cahaya dalam Fotonik Silikon: Melewati Hype, bahan nano MDPI
Catatan Utama Fotonik: Transisi dari I/O Listrik ke Optik, Irama
Rongga PhC silikon polikristalin untuk integrasi CMOS pada chip, Laporan Ilmiah
Memikirkan Kembali Arsitektur AI Generatif dengan I/O Optik, Ayer Labs