A inteligência artificial generativa (IA) requer movimento rápido e contínuo de grandes quantidades de dados. Em um número crescente de casos, as conexões elétricas de entrada/saída (E/S) entre os CIs em chips estão se tornando um gargalo para um desempenho superior. As principais barreiras de desempenho de E/S elétrica incluem eficiência energética, largura de banda e latência.
Esta FAQ analisa os benefícios previstos do uso de E/S óptica (IOI) no pacote no lugar da E/S elétrica atual em chips e termina com uma análise das soluções e tecnologias de IOI emergentes.
As soluções IOI representam o que há de mais recente em uma longa linha de avanços em interconexões ópticas, começando com transceptores ópticos conectáveis substituindo ou complementando E/S elétricas em data centers (Figura 1). Por exemplo, o serializador/desserializador elétrico (SerDes) é uma forma comum de conectividade de alta velocidade. Consiste em um par de blocos que convertem dados entre dados seriais e interfaces paralelas em cada direção. No entanto, exceder 112 gigabits por segundo (Gbps) é extremamente desafiador porque as grandes perdas de sinal nas interconexões de cobre dificultam a transmissão de dados além de alguns centímetros. Espera-se que a substituição de SerDes por OIO em chips elimine gargalos de E/S elétrica e aumente drasticamente as velocidades de transmissão de dados. As barreiras críticas para aumentar o desempenho de E/S incluem eficiência de energia, latência e densidade e alcance de largura de banda.
Barreiras de desempenho de E/S
A eficiência energética é crítica para aplicações de computação de alto desempenho, como IA generativa. A eficiência energética da E/S elétrica existente a 112 Gbps é de cerca de 6 a 10 pico Joules por bit (pJ/b). Alcançar desde a embalagem até a borda de uma placa de circuito impresso nessa taxa de dados é possível, mas consome muita energia, gera calor e reduz a eficiência do sistema. Conforme observado na Figura 1, ir além da borda da PCB requer uma combinação de transceptores ópticos conectáveis de E/S elétrica e cabos ópticos ativos. A IOI precisa melhorar esses níveis de desempenho.
A latência é outro assassino de desempenho. E/S elétricas internas e externas em taxas acima de 50 Gbps exigem o uso de codificação de correção direta de erros que pode aumentar a latência em até 100 ns. Isso é demais para sistemas de computação distribuídos como aqueles usados para IA generativa. Nessas aplicações, são necessárias latências abaixo de 10 ns.
A densidade da largura de banda é um fator importante. Chiplets heterogêneos são usados onde é necessária alta densidade do sistema, e isso inclui densidade de largura de banda. A E/S elétrica pode suportar uma densidade de largura de banda de cerca de 100 Gbps/mm. O limite para SerDes é de cerca de 200 a 500 Gbps/mm; alcance mais longo incorre em penalidades energéticas e térmicas, tornando-se uma solução impraticável na maioria das aplicações. O IOI, por outro lado, pode fornecer atualmente cerca de 200 Gbps/mm, com roteiros esperando atingir 1 Tbps/mm no futuro.
Alcance é a distância ponta a ponta da E/S. Num chiplet, o alcance necessário é geralmente inferior a 10 mm. Em uma PCB, o alcance pode ser de até 50 mm, e em um data center, o alcance pode ultrapassar 1,000 mm. Embora as E/S elétricas possam suportar alcances curtos, distâncias maiores exigem o uso de comunicações ópticas. Alternar entre comunicações elétricas dentro do pacote ou no PCB para ópticas para alcances mais longos é ineficiente e caro. Uma solução preferida seria usar IOI tanto para comunicações internas de chips quanto para conectividade em todo o data center.
Vários fornecedores anunciaram soluções IOI. Em um caso, um tecido de interconexão fotônica programável em escala de wafer foi desenvolvido para uso em chips heterogêneos. O projeto suporta 40 pistas fotônicas comutáveis no mesmo espaço ocupado por uma fibra óptica convencional. Espera-se que as implementações iniciais suportem velocidades de 1 Tbps em arrays em até 48 ICs heterogêneos em substratos de até 8 polegadas quadradas com latência máxima de 5 ns e menor consumo de energia em comparação com E/S elétrica alternativa (Figura 2). Espera-se que a arquitetura seja dimensionada para larguras de banda de até 100 Tbps.
Uma segunda abordagem usa uma fonte óptica de vários comprimentos de onda que combina fotônica de silício com processamento CMOS padrão para fornecer densidade de largura de banda até 1000x maior com 10% do consumo de energia de E/S elétrica (tabela 1). A solução usa um processo GlobalFoundries de 45 nanômetros de alto volume para integrar milhões de transistores com centenas de dispositivos fotônicos.
Resumo
Os requisitos de E/S da IA generativa avançada e de outras aplicações de computação de alto desempenho (HPC) excedem as capacidades das soluções elétricas. Como resultado, estão sendo desenvolvidas tecnologias IOI que podem suportar a eficiência energética, a latência, a eficiência da largura de banda e atender às demandas das aplicações HPC.
Referências
Roteiro de Integração Heterogênea, edição 2023, Capítulo 9: Fotônica Integrada, IEEE
Lightmatter Passage traz óptica co-embalada e fotônica de silício para a era dos chips, ServeTheHome
Interconexão óptica para data center em hiperescala com aplicativos de IA/ML, Amphenol
Interconexões ópticas finalmente vendo a luz na fotônica do silício: além do hype, nanomateriais MDPI
Palestra sobre fotônica: transição de E/S elétrica para óptica, cadência
Cavidades PhC de silício policristalino para integração CMOS no chip, Scientific Reports
Repensando arquiteturas de IA generativa com E/S óptica, Ayer Labs