Aber wir sind jetzt an einem Punkt angelangt, an dem sich die Dinge ändern müssen. Auf künstlicher Intelligenz basierende Anwendungen wie Empfehlungsmaschinen, Bildklassifizierung und Verarbeitung natürlicher Sprache sind überall – in Telefonen, intelligenten Lautsprechern, Fahrzeugen, Wearables und zu Hause. Und das ist nur KI. Maschinelles Lernen, virtuelle Realität, Gaming der nächsten Generation und andere intensive Anwendungen werden bleiben.
All diese Anwendungen stellen heute noch nie dagewesene Anforderungen an HBM, die sich einfach nicht mehr so schnell verbessern können, wie diese neuen Technologien erfordern. Diese Anwendungen müssen nicht nur riesige Datenmengen verarbeiten, sondern auch schneller und besser, und die Verbesserungen müssen schnell erfolgen. Algorithmen erfordern hohe Zugriffsraten auf große Datenkapazitäten.
In herkömmlichen Systemen schränken Speicherbandbreite und Stromverbrauch letztendlich die Leistung und Fähigkeiten von KI- und ML-Anwendungen ein. Was muss die Branche also tun, um die nächste Generation zu unterstützen? Technologie?
PIM zur Rettung
Die Idee, die Processing-in-Memory-Technologie (PIM) bei HBM einzusetzen, wird seit mehr als 30 Jahren als Weg zur Überwindung technischer Restriktionen diskutiert.
Durch die Platzierung einer DRAM-optimierten KI-Engine in jeder Speicherbank (einer Speicheruntereinheit) fügt ein HBM-PIM die Rechenleistung genau dort hinzu, wo die Daten gespeichert werden – und ebnet so den Weg für die parallele Verarbeitung und reduziert gleichzeitig den Reiseaufwand der Daten. .
Für IT-Manager, Systemarchitekten von Rechenzentren und GPU-Architekten stellt diese Art von Architektur eine große Chance dar. Softwareingenieure können beispielsweise einfache Befehle schreiben, um die programmierbare Recheneinheit von HBM-PIM zu nutzen, um die Geschwindigkeit lokalisierter, sich wiederholender Workloads zu verbessern.
Darüber hinaus bietet HBM-PIM mehr als die doppelte Systemleistung von herkömmlichem HBM und senkt gleichzeitig den Energieverbrauch um über 60 %. Und als großer zusätzlicher Bonus benötigt HBM-PIM keine Hardware- oder Software-Optimierungen, was bedeutet, dass Ingenieure es nahtlos in bestehende Systeme einbetten können.
Trotz dieser offensichtlichen Vorteile war es für die Branche keine einfache Architektur zu bauen. Bis vor kurzem war der Aufwand, den Chiphersteller zur Bewältigung der technischen Herausforderungen vor einigen Jahren aufbringen mussten, zu groß – und so kam es im Laufe der Jahre nur langsam voran.
Wieso den? Das Problem bei der PIM-Technologie besteht darin, dass Ingenieure aufgrund der Art und Weise, wie sie Speicher und Logik verknüpft, immer einen Kompromiss zwischen Speicherdichte in einem speicheroptimierten Prozess und Transistor Leistung in einem logikoptimierten Prozess.
Infolgedessen waren Leistung und Leistungsfähigkeit von PIM-Geräten im Vergleich zu den technischen Hürden und den Kosten der Integration gering. Daher hat sich die traditionelle von Neumann-Architektur durchgesetzt, die mit separaten Prozessor- und Speichereinheiten Millionen komplizierter Datenverarbeitungsaufgaben erledigt. Aber frustrierenderweise bewegt dieser sequenzielle Verarbeitungsansatz die Daten ständig hin und her, was zu Engpässen bei der Verarbeitung ständig wachsender Datenmengen führt.
Aber es gibt gute Nachrichten. Die Verbreitung von Anwendungen für künstliche Intelligenz und maschinelles Lernen hat die Investitionen in und die Entwicklung von PIM-Technologien wiederbelebt – einfach weil diese Technologien bestehen bleiben und der Speicher sich an sie anpassen muss und nicht umgekehrt.
Und es macht Sinn. Die PIM-Technologie ist die perfekte Technologie, um KI- und ML-Workloads zu bewältigen, mit optimierten Kerneln, die die Datenbewegung reduzieren, indem sie Datenzugriffe mit einem hohen Grad an räumlicher und zeitlicher Lokalität für die gleichzeitige Verarbeitung in den (parallelen) Bänken eines Hochleistungsspeichers abbilden Gerät. Auf diese Weise behebt PIM den typischen Engpass der CPU/GPU-Speicherbandbreite und verbessert die Leistung und Gesamtfähigkeit der KI- und ML-Anwendung.
Marktdurchbrüche
Aufgrund der erhöhten Investitionen und Entwicklung der PIM-Technologie sieht der Markt nun im Jahr 2021 das erste vollständig programmierbare HBM-PIM seiner Art, das hochperformante, parallele Datenverarbeitung und DRAM auf einem einzigen Stück Silizium vereint.
Diese neuen HBM-PIMs, basierend auf der JEDEC-Standard HBM2-Spezifikation und erweitert um die PIM-Architektur, erweisen sich bereits sehr erfolgreich bei der Erfüllung der Anforderungen von KI-Anwendungen – und daher planen die Hersteller bereits, die PIM-Technologie in die zukünftige HBM3-Technologie aufzunehmen .
Auf der Zeitleiste von Halbleiter Innovation scheint die Welt endlich den Punkt überschritten zu haben, an dem die Bandbreite der größte limitierende Faktor für die KI- und ML-Leistung ist. Jetzt können wir wirklich anfangen zu sehen, wie diese unglaublichen Technologien gedeihen.
Richard Walsh hat in der Speicherabteilung von Samsung gearbeitet Halbleiter Europa seit 25 Jahren und deckt unter anderem DRAM, NAND und NOR-Flash ab. Er hat einen Bachelor of Engineering in Elektronik, Computerhardware und Software von der University of Limerick.
[VORLÄUFIGE VOLLAUTOMATISCHE TEXTÜBERSETZUNG - muss noch überarbeitet werden. Wir bitten um Ihr Verständnis.]: Die Technologien, die die Zukunft der künstlichen Intelligenz antreiben