Generative künstliche Intelligenz (KI) erfordert die schnelle und kontinuierliche Bewegung großer Datenmengen. In immer mehr Fällen werden elektrische Ein-/Ausgabeverbindungen (I/O) zwischen den ICs in Chiplets zu einem Engpass für eine höhere Leistung. Zu den wichtigsten elektrischen I/O-Leistungshindernissen gehören Energieeffizienz, Bandbreite und Latenz.
Diese FAQ befasst sich mit den erwarteten Vorteilen der Verwendung optischer In-Package-I/O (IOI) anstelle der heutigen elektrischen I/O in Chiplets und schließt mit einem Blick auf neue IOI-Lösungen und -Technologien.
IOI-Lösungen sind die neuesten in einer langen Reihe von Fortschritten bei optischen Verbindungen, beginnend mit steckbaren optischen Transceivern, die elektrische I/Os in Rechenzentren ersetzen oder ergänzen (Figure 1). Beispielsweise ist der elektrische Serializer/Deserializer (SerDes) eine gängige Form der Hochgeschwindigkeitskonnektivität. Es besteht aus einem Blockpaar, das Daten zwischen seriellen Daten und parallelen Schnittstellen in jede Richtung umwandelt. Das Überschreiten von 112 Gigabit pro Sekunde (Gbit/s) stellt jedoch eine große Herausforderung dar, da die großen Signalverluste in Kupferverbindungen es schwierig machen, Daten weiter als ein paar Zentimeter zu übertragen. Der Ersatz von SerDes durch OIO in Chiplets soll elektrische I/O-Engpässe beseitigen und die Datenübertragungsgeschwindigkeit drastisch erhöhen. Kritische Hindernisse für die Steigerung der I/O-Leistung sind Energieeffizienz, Latenz sowie Bandbreitendichte und -reichweite.
I/O-Leistungsbarrieren
Energieeffizienz ist für Hochleistungsrechneranwendungen wie generative KI von entscheidender Bedeutung. Die Leistungseffizienz bestehender elektrischer I/O bei 112 Gbit/s beträgt etwa 6 bis 10 Pico-Joule pro Bit (pJ/b). Mit dieser Datenrate ist es möglich, vom Gehäuse bis zum Rand einer Leiterplatte zu gelangen, verbraucht aber viel Strom, erzeugt Wärme und verringert die Systemeffizienz. Wie in Abbildung 1 dargestellt, ist für das Erreichen über den Rand der Leiterplatte hinaus eine Mischung aus elektrischen I/O-steckbaren optischen Transceivern und aktiven optischen Kabeln erforderlich. IOI muss diese Leistungsniveaus verbessern.
Latenz ist ein weiterer Leistungskiller. On-Board- und Off-Board-E/A mit Raten über 50 Gbit/s erfordern die Verwendung einer Vorwärtsfehlerkorrekturcodierung, die die Latenz um bis zu 100 ns erhöhen kann. Das ist zu viel für verteilte Computersysteme, wie sie für generative KI verwendet werden. In diesen Anwendungen sind Latenzen unter 10 ns erforderlich.
Die Bandbreitendichte ist ein wichtiger Faktor. Heterogene Chiplets werden dort eingesetzt, wo eine hohe Systemdichte erforderlich ist, und dazu gehört auch die Bandbreitendichte. Elektrische E/A können eine Bandbreitendichte von etwa 100 Gbit/s/mm unterstützen. Der Grenzwert für SerDes liegt bei etwa 200 bis 500 Gbit/s/mm; Eine größere Reichweite führt zu Leistungs- und Wärmeeinbußen und ist daher in den meisten Anwendungen eine unpraktische Lösung. IOI hingegen kann derzeit etwa 200 Gbit/s/mm liefern, wobei Roadmaps für die Zukunft mit 1 Tbit/s/mm rechnen.
Die Reichweite ist die End-zu-End-Entfernung der E/A. Bei einem Chiplet liegt die erforderliche Reichweite üblicherweise unter 10 mm. Auf einer Leiterplatte kann die Reichweite bis zu 50 mm betragen, in einem Rechenzentrum sogar mehr als 1,000 mm. Während elektrische E/A kurze Reichweiten unterstützen können, erfordern größere Entfernungen den Einsatz optischer Kommunikation. Der Wechsel zwischen elektrischer Kommunikation innerhalb des Gehäuses oder auf der Leiterplatte und optischer Kommunikation für größere Reichweiten ist ineffizient und kostspielig. Eine bevorzugte Lösung wäre die Verwendung von IOI sowohl für die interne Chiplet-Kommunikation als auch für die rechenzentrumsweite Konnektivität.
Mehrere Anbieter haben IOI-Lösungen angekündigt. In einem Fall wurde eine programmierbare photonische Verbindungsstruktur im Wafermaßstab für den Einsatz in heterogenen Chiplets entwickelt. Das Design unterstützt 40 umschaltbare Photonenspuren auf demselben Platz, den eine herkömmliche Glasfaser einnimmt. Es wird erwartet, dass erste Implementierungen Geschwindigkeiten von 1 Tbit/s über Arrays auf bis zu 48 heterogenen ICs auf Substraten von bis zu 8 Zoll im Quadrat mit einer maximalen Latenz von 5 ns und einem geringeren Stromverbrauch im Vergleich zu alternativen elektrischen I/O unterstützen (Figure 2). Die Architektur soll auf Bandbreiten von bis zu 100 Tbit/s skalierbar sein.
Ein zweiter Ansatz nutzt eine optische Multiwellenlängenquelle, die Siliziumphotonik mit Standard-CMOS-Verarbeitung kombiniert, um eine bis zu 1000-mal höhere Bandbreitendichte bei 10 % des Stromverbrauchs elektrischer I/O zu liefern (Tabelle 1). Die Lösung nutzt einen hochvolumigen 45-Nanometer-Prozess von GlobalFoundries, um Millionen von Transistoren in Hunderte von photonischen Geräten zu integrieren.
Zusammenfassung
Die I/O-Anforderungen fortschrittlicher generativer KI und anderer High-Performance-Computing-Anwendungen (HPC) übersteigen die Möglichkeiten elektrobasierter Lösungen. Infolgedessen werden IOI-Technologien entwickelt, die die Energieeffizienz, Latenz, Bandbreiteneffizienz und Reichweitenanforderungen von HPC-Anwendungen unterstützen können.
Bibliographie
Heterogeneous Integration Roadmap, Ausgabe 2023, Kapitel 9: Integrierte Photonik, IEEE
Lightmatter Passage bringt gemeinsam verpackte Optik und Siliziumphotonik in die Chiplet-Ära, ServeTheHome
Optische Verbindung für Hyperscale-Rechenzentren mit KI-/ML-Anwendungen, Amphenol
Optische Verbindungen Endlich das Licht der Siliziumphotonik erblicken: Jenseits des Hypes, MDPI-Nanomaterialien
Photonik-Keynote: Übergang von elektrischer zu optischer I/O, Cadence
Polykristalline Silizium-PhC-Hohlräume für die CMOS-On-Chip-Integration, Wissenschaftliche Berichte
Generative KI-Architekturen mit optischem I/O neu denken, Ayer Labs