L’intelligenza artificiale generativa (AI) richiede il movimento rapido e continuo di grandi quantità di dati. In un numero crescente di casi, le connessioni elettriche di input/output (I/O) tra i circuiti integrati nei chiplet stanno diventando un collo di bottiglia per prestazioni più elevate. I principali ostacoli alle prestazioni dell'I/O elettrico includono l'efficienza energetica, la larghezza di banda e la latenza.
Queste domande frequenti esaminano i vantaggi previsti derivanti dall'utilizzo dell'I/O ottico (IOI) in-package al posto dell'attuale I/O elettrico nei chiplet e si chiudono con uno sguardo alle soluzioni e tecnologie IOI emergenti.
Le soluzioni IOI rappresentano l'ultimo di una lunga serie di progressi nelle interconnessioni ottiche, a cominciare dai ricetrasmettitori ottici collegabili che sostituiscono o integrano gli I/O elettrici nei data center (Figure 1 ). Ad esempio, il serializzatore/deserializzatore elettrico (SerDes) è una forma comune di connettività ad alta velocità. È costituito da una coppia di blocchi che convertono i dati tra dati seriali e interfacce parallele in ciascuna direzione. Tuttavia, superare i 112 gigabit al secondo (Gbps) è estremamente impegnativo perché le grandi perdite di segnale nelle interconnessioni in rame rendono difficile la trasmissione dei dati a distanze superiori a pochi centimetri. Si prevede che la sostituzione di SerDes con OIO nei chiplet eliminerà i colli di bottiglia elettrici di I/O e aumenterà notevolmente la velocità di trasmissione dei dati. Gli ostacoli critici all'aumento delle prestazioni I/O includono l'efficienza energetica, la latenza, la densità e la portata della larghezza di banda.
Barriere prestazionali I/O
L’efficienza energetica è fondamentale per le applicazioni informatiche ad alte prestazioni come l’intelligenza artificiale generativa. L'efficienza energetica degli I/O elettrici esistenti a 112 Gbps è di circa 6-10 pico Joule per bit (pJ/b). Raggiungere il bordo di un circuito stampato a quella velocità di trasmissione dati è possibile, ma richiede molta energia, genera calore e riduce l'efficienza del sistema. Come notato nella Figura 1, per raggiungere oltre il bordo del PCB è necessario un mix di ricetrasmettitori ottici collegabili con I/O elettrico e cavi ottici attivi. L’IOI deve migliorare questi livelli di prestazione.
La latenza è un altro killer delle prestazioni. Gli I/O elettrici integrati e esterni a velocità superiori a 50 Gbps richiedono l'uso della codifica di correzione degli errori diretti che può aumentare la latenza fino a 100 ns. Questo è troppo per i sistemi informatici distribuiti come quelli utilizzati per l’intelligenza artificiale generativa. In queste applicazioni sono richieste latenze inferiori a 10 ns.
La densità della larghezza di banda è un fattore importante. I chiplet eterogenei vengono utilizzati laddove è richiesta un'elevata densità di sistema, inclusa la densità di larghezza di banda. Gli I/O elettrici possono supportare una densità di larghezza di banda di circa 100 Gbps/mm. Il limite per SerDes è compreso tra 200 e 500 Gbps/mm; una portata più lunga comporta penalità in termini di potenza e calore, rendendola una soluzione poco pratica nella maggior parte delle applicazioni. L’IOI, d’altro canto, può attualmente fornire circa 200 Gbps/mm, con tabelle di marcia che prevedono di raggiungere 1 Tbps/mm in futuro.
La portata è la distanza end-to-end dell'I/O. In un chiplet, la portata necessaria è solitamente inferiore a 10 mm. Su un PCB, la portata può arrivare fino a 50 mm e in un data center può superare i 1,000 mm. Mentre gli I/O elettrici possono supportare distanze brevi, distanze più lunghe richiedono l'uso di comunicazioni ottiche. Il passaggio dalle comunicazioni elettriche all'interno del contenitore o sul PCB a quelle ottiche per distanze più lunghe è inefficiente e costoso. Una soluzione preferibile sarebbe quella di utilizzare IOI sia per le comunicazioni interne dei chiplet che per la connettività a livello di data center.
Diversi fornitori hanno annunciato soluzioni IOI. In un caso, è stato sviluppato un tessuto di interconnessione fotonica programmabile su scala wafer da utilizzare in chiplet eterogenei. Il design supporta 40 corsie fotoniche commutabili nello stesso spazio occupato da una fibra ottica convenzionale. Si prevede che le implementazioni iniziali supportino velocità di 1 Tbps su array su un massimo di 48 circuiti integrati eterogenei su substrati fino a 8 pollici quadrati con una latenza massima di 5 ns e un consumo energetico inferiore rispetto a I/O elettrici alternativi (Figure 2 ). Si prevede che l'architettura possa scalare fino a larghezze di banda fino a 100 Tbps.
Un secondo approccio utilizza una sorgente ottica multilunghezza d'onda che combina la fotonica del silicio con l'elaborazione CMOS standard per fornire una densità di larghezza di banda fino a 1000 volte superiore al 10% del consumo energetico degli I/O elettrici (Tabella 1). La soluzione utilizza un processo GlobalFoundries a 45 nanometri ad alto volume per integrare milioni di transistor con centinaia di dispositivi fotonici.
Sommario
I requisiti I/O dell’intelligenza artificiale generativa avanzata e di altre applicazioni di calcolo ad alte prestazioni (HPC) superano le capacità delle soluzioni basate sull’elettricità. Di conseguenza, si stanno sviluppando tecnologie IOI in grado di supportare l’efficienza energetica, la latenza, l’efficienza della larghezza di banda e soddisfare le esigenze delle applicazioni HPC.
Riferimenti
Roadmap di integrazione eterogenea, edizione 2023, Capitolo 9: Fotonica integrata, IEEE
Lightmatter Passage porta l'ottica co-packaged e la fotonica del silicio nell'era dei chiplet, ServeTheHome
Interconnessione ottica per data center iperscale con applicazioni AI/ML, Amphenol
Interconnessioni ottiche Finalmente vedere la luce nella fotonica del silicio: oltre l'hype, i nanomateriali MDPI
Keynote sulla fotonica: transizione dall'I/O elettrico a quello ottico, cadenza
Cavità PhC in silicio policristallino per l'integrazione su chip CMOS, rapporti scientifici
Ripensare le architetture di intelligenza artificiale generativa con I/O ottico, Ayer Labs