Generatieve kunstmatige intelligentie (AI) vereist een snelle en continue verplaatsing van grote hoeveelheden gegevens. In een groeiend aantal gevallen vormen elektrische input/output (I/O)-verbindingen tussen de IC's in chiplets een knelpunt voor hogere prestaties. Belangrijke belemmeringen voor elektrische I/O-prestaties zijn energie-efficiëntie, bandbreedte en latentie.
Deze FAQ gaat in op de verwachte voordelen van het gebruik van in-package optische I/O (IOI) in plaats van de huidige elektrische I/O in chiplets en sluit af met een blik op opkomende IOI-oplossingen en -technologieën.
IOI-oplossingen vertegenwoordigen het nieuwste in een lange reeks ontwikkelingen op het gebied van optische verbindingen, te beginnen met insteekbare optische transceivers die elektrische I/O's in datacenters vervangen of aanvullen (Figuur 1). Elektrische Serializer/Deserializer (SerDes) is bijvoorbeeld een veel voorkomende vorm van hogesnelheidsconnectiviteit. Het bestaat uit een paar blokken die gegevens converteren tussen seriële gegevens en parallelle interfaces in elke richting. Het overschrijden van 112 gigabits per seconde (Gbps) is echter een enorme uitdaging, omdat de grote signaalverliezen in koperen verbindingen het moeilijk maken om gegevens verder dan een paar centimeter te verzenden. De vervanging van SerDes door OIO in chiplets zal naar verwachting elektrische I/O-knelpunten elimineren en de datatransmissiesnelheden dramatisch verhogen. Kritieke barrières voor het verbeteren van de I/O-prestaties zijn onder meer energie-efficiëntie, latentie en bandbreedtedichtheid en bereik.
I/O-prestatiebarrières
Energie-efficiëntie is van cruciaal belang voor krachtige computertoepassingen zoals generatieve AI. De energie-efficiëntie van bestaande elektrische I/O bij 112 Gbps is ongeveer 6 tot 10 pico Joule per bit (pJ/b). Met die datasnelheid van de verpakking naar de rand van een printplaat reiken is mogelijk, maar kost veel stroom, genereert warmte en vermindert de systeemefficiëntie. Zoals aangegeven in Figuur 1 vereist het reiken voorbij de rand van de PCB een mix van elektrische I/O-inplugbare optische transceivers en actieve optische kabels. IOI moet deze prestatieniveaus verbeteren.
Latency is een andere prestatiemoordenaar. On- en off-board elektrische I/O met snelheden boven 50 Gbps vereisen het gebruik van voorwaartse foutcorrectiecodering die de latentie met maximaal 100 ns kan verhogen. Dat is te veel voor gedistribueerde computersystemen zoals die worden gebruikt voor generatieve AI. In deze toepassingen zijn latenties van minder dan 10 ns vereist.
Bandbreedtedichtheid is een belangrijke factor. Heterogene chiplets worden gebruikt waar een hoge systeemdichtheid vereist is, inclusief bandbreedtedichtheid. Elektrische I/O kan een bandbreedtedichtheid van ongeveer 100 Gbps/mm ondersteunen. De limiet voor SerDes ligt tussen de 200 en 500 Gbps/mm; Een groter bereik brengt stroom- en thermische nadelen met zich mee, waardoor het in de meeste toepassingen een onpraktische oplossing is. IOI daarentegen kan momenteel ongeveer 200 Gbps/mm leveren, terwijl roadmaps verwachten dat dit in de toekomst 1 Tbps/mm zal bereiken.
Bereik is de end-to-end afstand van de I/O. Bij een chiplet is het benodigde bereik gewoonlijk minder dan 10 mm. Op een printplaat kan het bereik oplopen tot 50 mm, en in een datacenter kan het bereik groter zijn dan 1,000 mm. Hoewel elektrische I/O korte afstanden kan ondersteunen, vereisen langere afstanden het gebruik van optische communicatie. Het overschakelen tussen elektrische communicatie in de behuizing of op de printplaat naar optisch voor langere afstanden is inefficiënt en kostbaar. Een voorkeursoplossing zou zijn om IOI te gebruiken voor zowel interne chipletcommunicatie als datacenterbrede connectiviteit.
Verschillende leveranciers hebben IOI-oplossingen aangekondigd. In één geval is een programmeerbaar fotonisch verbindingsweefsel op waferschaal ontwikkeld voor gebruik in heterogene chiplets. Het ontwerp ondersteunt 40 schakelbare fotonische rijstroken in dezelfde ruimte die wordt ingenomen door een conventionele optische vezel. Van de eerste implementaties wordt verwacht dat ze snelheden van 1 Tbps ondersteunen over arrays op maximaal 48 heterogene IC's op substraten tot 8 inch in het vierkant met een maximale latentie van 5 ns en een lager energieverbruik in vergelijking met alternatieve elektrische I/O (Figuur 2). De architectuur zal naar verwachting opschalen naar bandbreedtes tot 100 Tbps.
Een tweede benadering maakt gebruik van een optische bron met meerdere golflengten die siliciumfotonica combineert met standaard CMOS-verwerking om tot 1000x hogere bandbreedtedichtheid te leveren bij 10% van het stroomverbruik van elektrische I/O (Tabel 1). De oplossing maakt gebruik van een grootschalig GlobalFoundries 45-nanometerproces om miljoenen transistors te integreren met honderden fotonische apparaten.
Samengevat
De I/O-vereisten van geavanceerde generatieve AI en andere high-performance computing (HPC)-toepassingen overtreffen de mogelijkheden van op elektriciteit gebaseerde oplossingen. Als gevolg hiervan worden IOI-technologieën ontwikkeld die de energie-efficiëntie, latentie, bandbreedte-efficiëntie en bereikvereisten van HPC-applicaties kunnen ondersteunen.
Referenties
Heterogene Integration Roadmap, editie 2023, Hoofdstuk 9: Integrated Photonics, IEEE
Lightmatter Passage brengt co-packaged optica en siliciumfotonica naar het Chiplet-tijdperk, ServeTheHome
Optische interconnectie voor grootschalige datacenters met AI/ML-toepassingen, Amfenol
Optische verbindingen zien eindelijk het licht in siliciumfotonica: voorbij de hype, MDPI-nanomaterialen
Keynote over fotonica: Overgang van elektrische naar optische I/O, cadans
Polykristallijne silicium PhC-holtes voor CMOS-on-chip-integratie, wetenschappelijke rapporten
Heroverweging van generatieve AI-architecturen met optische I/O, Ayer Labs