La inteligencia artificial (IA) generativa requiere un movimiento rápido y continuo de grandes cantidades de datos. En un número cada vez mayor de casos, las conexiones eléctricas de entrada/salida (E/S) entre los circuitos integrados de los chiplets se están convirtiendo en un cuello de botella para lograr un mayor rendimiento. Las principales barreras de rendimiento de E/S eléctricas incluyen la eficiencia energética, el ancho de banda y la latencia.
Estas preguntas frecuentes analizan los beneficios previstos del uso de E/S ópticas (IOI) integradas en el paquete en lugar de las E/S eléctricas actuales en chiplets y finalizan con una mirada a las soluciones y tecnologías de IOI emergentes.
Las soluciones IOI representan lo último de una larga línea de avances en interconexiones ópticas, comenzando con transceptores ópticos enchufables que reemplazan o complementan las E/S eléctricas en los centros de datos (Figura 1 y XNUMX). Por ejemplo, el serializador/deserializador eléctrico (SerDes) es una forma común de conectividad de alta velocidad. Consta de un par de bloques que convierten datos entre datos en serie e interfaces paralelas en cada dirección. Sin embargo, superar los 112 gigabits por segundo (Gbps) es un gran desafío porque las grandes pérdidas de señal en las interconexiones de cobre dificultan la transmisión de datos más allá de unos pocos centímetros. Se espera que la sustitución de SerDes por OIO en chiplets elimine los cuellos de botella de E/S eléctricos y aumente drásticamente las velocidades de transmisión de datos. Las barreras críticas para aumentar el rendimiento de E/S incluyen la eficiencia energética, la latencia y la densidad y el alcance del ancho de banda.
Barreras de rendimiento de E/S
La eficiencia energética es fundamental para las aplicaciones informáticas de alto rendimiento como la IA generativa. La eficiencia energética de las E/S eléctricas existentes a 112 Gbps es de aproximadamente 6 a 10 picojulios por bit (pJ/b). Es posible llegar desde el paquete hasta el borde de una placa de circuito impreso a esa velocidad de datos, pero requiere mucha energía, genera calor y reduce la eficiencia del sistema. Como se observa en la Figura 1, llegar más allá del borde de la PCB requiere una combinación de transceptores ópticos conectables de E/S eléctricas y cables ópticos activos. IOI necesita mejorar esos niveles de desempeño.
La latencia es otro factor determinante del rendimiento. Las E/S eléctricas internas y externas a velocidades superiores a 50 Gbps requieren el uso de codificación de corrección de errores directa que puede aumentar la latencia hasta en 100 ns. Eso es demasiado para los sistemas informáticos distribuidos como los que se utilizan para la IA generativa. En esas aplicaciones, se requieren latencias inferiores a 10 ns.
La densidad del ancho de banda es un factor importante. Los chiplets heterogéneos se utilizan cuando se exige una alta densidad del sistema, y eso incluye la densidad del ancho de banda. Las E/S eléctricas pueden admitir una densidad de ancho de banda de aproximadamente 100 Gbps/mm. El límite para SerDes es de aproximadamente 200 a 500 Gbps/mm; Un alcance más largo genera penalizaciones térmicas y de energía, lo que la convierte en una solución poco práctica en la mayoría de las aplicaciones. IOI, por otro lado, actualmente puede entregar alrededor de 200 Gbps/mm, y se espera que las hojas de ruta alcancen 1 Tbps/mm en el futuro.
El alcance es la distancia de un extremo a otro de las E/S. En un chiplet, el alcance necesario suele ser inferior a 10 mm. En una PCB, el alcance puede ser de hasta 50 mm y en un centro de datos, el alcance puede superar los 1,000 mm. Si bien las E/S eléctricas pueden admitir alcances cortos, distancias más largas requieren el uso de comunicaciones ópticas. Cambiar entre comunicaciones eléctricas dentro del paquete o en la PCB a ópticas para alcances más largos es ineficiente y costoso. Una solución preferida sería utilizar IOI tanto para las comunicaciones internas de chiplets como para la conectividad de todo el centro de datos.
Varios proveedores han anunciado soluciones IOI. En un caso, se desarrolló un tejido de interconexión fotónica programable a escala de oblea para su uso en chips heterogéneos. El diseño admite 40 carriles fotónicos conmutables en el mismo espacio que ocupa una fibra óptica convencional. Se espera que las implementaciones iniciales admitan velocidades de 1 Tbps en matrices en hasta 48 circuitos integrados heterogéneos en sustratos de hasta 8 pulgadas cuadradas con una latencia máxima de 5 ns y un menor consumo de energía en comparación con E/S eléctricas alternativas (Figura 2 y XNUMX). Se espera que la arquitectura escale a anchos de banda de hasta 100 Tbps.
Un segundo enfoque utiliza una fuente óptica de múltiples longitudes de onda que combina fotónica de silicio con procesamiento CMOS estándar para ofrecer una densidad de ancho de banda hasta 1000 veces mayor con un 10% del consumo de energía de las E/S eléctricas (Tabla 1). La solución utiliza un proceso de 45 nanómetros de GlobalFoundries de gran volumen para integrar millones de transistores con cientos de dispositivos fotónicos.
Resumen
Los requisitos de E/S de la IA generativa avanzada y otras aplicaciones de computación de alto rendimiento (HPC) superan las capacidades de las soluciones eléctricas. Como resultado, se están desarrollando tecnologías IOI que pueden soportar la eficiencia energética, la latencia, la eficiencia del ancho de banda y alcanzar las demandas de las aplicaciones HPC.
Referencias
Hoja de ruta de integración heterogénea, edición 2023, Capítulo 9: Fotónica integrada, IEEE
Lightmatter Passage lleva la óptica empaquetada y la fotónica de silicio a la era de los chiplets, ServeTheHome
Interconexión óptica para centro de datos de hiperescala con aplicaciones de IA/ML, Amfenol
Las interconexiones ópticas finalmente ven la luz en la fotónica de silicio: más allá del revuelo, los nanomateriales MDPI
Conferencia magistral sobre fotónica: transición de E/S eléctricas a ópticas, cadencia
Cavidades PhC de silicio policristalino para integración CMOS en chip, informes científicos
Repensar las arquitecturas de IA generativa con E/S ópticas, Ayer Labs