Ma ora siamo a un punto in cui le cose devono cambiare. Le applicazioni basate sull'intelligenza artificiale come i motori di raccomandazione, la classificazione delle immagini e l'elaborazione del linguaggio naturale sono ovunque: nei telefoni, negli altoparlanti intelligenti, nei veicoli, nei dispositivi indossabili e nelle case. E questa è solo IA. L'apprendimento automatico, la realtà virtuale, i giochi di nuova generazione e altre applicazioni intensive sono qui per restare.
Tutte queste applicazioni stanno ora ponendo richieste senza precedenti alla HBM, che semplicemente non può continuare a migliorare al ritmo di cui necessitano queste nuove tecnologie. Queste applicazioni non solo devono elaborare enormi quantità di dati, ma devono anche farlo più velocemente e meglio e i miglioramenti devono arrivare rapidamente. Gli algoritmi richiedono elevate velocità di accesso a grandi capacità di dati.
Nei sistemi tradizionali, la larghezza di banda della memoria e il consumo energetico limitano in definitiva le prestazioni e le capacità delle applicazioni AI e ML. Quindi cosa deve fare l’industria da qui in poi per supportare la prossima generazione di? la tecnologia?
PIM in soccorso
L'idea di utilizzare la tecnologia di elaborazione in memoria (PIM) con la HBM è stata discussa per più di 30 anni come un modo per superare le restrizioni tecniche.
Inserendo un motore AI ottimizzato per DRAM all'interno di ogni banco di memoria (una sottounità di archiviazione), un HBM-PIM aggiunge potenza di elaborazione esattamente dove sono archiviati i dati, aprendo la strada all'elaborazione parallela e riducendo la quantità di viaggi che i dati devono fare .
Per i manager IT, gli architetti di sistemi di data center e gli architetti di GPU, questo tipo di architettura rappresenta una grande opportunità. Ad esempio, gli ingegneri del software possono scrivere semplici comandi per sfruttare l'unità di calcolo programmabile di HBM-PIM per migliorare la velocità dei carichi di lavoro ripetitivi localizzati.
Ancora più ampio, HBM-PIM offre più del doppio delle prestazioni di sistema della HBM tradizionale, riducendo anche il consumo di energia di oltre il 60%. E come grande vantaggio extra, HBM-PIM non ha bisogno di modifiche hardware o software, il che significa che gli ingegneri possono incorporarlo senza problemi nei sistemi esistenti.
Nonostante questi ovvi vantaggi, non è stata un'architettura facile da realizzare per l'industria. Fino a poco tempo fa, i produttori di chip da lavoro necessari per superare le sfide tecniche di alcuni anni fa erano troppi e, di conseguenza, i progressi sono stati lenti nel corso degli anni.
Come mai? Il problema con la tecnologia PIM è che, a causa del modo in cui collega memoria e logica, gli ingegneri hanno sempre dovuto affrontare un compromesso tra la densità di archiviazione in un processo ottimizzato per la memoria e Transistor prestazioni in un processo logicamente ottimizzato.
Di conseguenza, le prestazioni e la capacità dei dispositivi PIM sono state inferiori rispetto all'ostacolo tecnico e al costo dell'integrazione. E quindi ha prevalso la tradizionale architettura von Neumann, che utilizza processori e unità di memoria separati per svolgere milioni di complesse attività di elaborazione dei dati. Ma in modo frustrante, questo approccio di elaborazione sequenziale sposta i dati avanti e indietro costantemente, causando colli di bottiglia durante la gestione di volumi di dati sempre crescenti.
Ma ci sono buone notizie. La proliferazione dell'intelligenza artificiale e delle applicazioni di apprendimento automatico ha rinvigorito gli investimenti e lo sviluppo della tecnologia PIM, semplicemente perché queste tecnologie sono qui per restare e la memoria deve adattarsi per accoglierle, piuttosto che il contrario.
E ha senso. La tecnologia PIM è la tecnologia perfetta per gestire carichi di lavoro AI e ML, con kernel ottimizzati che riducono il movimento dei dati mappando gli accessi ai dati con un alto grado di località spaziale e temporale per l'elaborazione simultanea nei banchi (paralleli) di una memoria ad alte prestazioni dispositivo. Operando in questo modo, PIM risolve il tipico collo di bottiglia della larghezza di banda della memoria CPU/GPU, migliorando le prestazioni e la capacità complessiva dell'applicazione AI e ML.
Innovazioni di mercato
A causa dell'aumento degli investimenti e dello sviluppo della tecnologia PIM, il mercato è ora nel 2021 vedendo il primo HBM-PIM completamente programmabile del suo genere per combinare elaborazione dati parallela ad alte prestazioni e DRAM tutto sullo stesso pezzo di silicio.
Questi nuovi HBM-PIM, basati sulla specifica HBM2 dello standard JEDEC e migliorati con l'architettura PIM, si stanno già dimostrando di grande successo nel soddisfare le esigenze delle applicazioni AI e, di conseguenza, i produttori stanno già pianificando di includere la tecnologia PIM nella futura tecnologia HBM3 .
Sulla cronologia di Semiconduttore innovazione, sembra che il mondo abbia finalmente superato il punto in cui la larghezza di banda è il principale fattore limitante nelle prestazioni di AI e ML. Ora possiamo davvero iniziare a vedere fiorire queste incredibili tecnologie.
Richard Walsh ha lavorato nella divisione memorie di Samsung Semiconduttore Europa negli ultimi 25 anni, coprendo DRAM, NAND e flash NOR, tra le altre tecnologie. Ha conseguito una laurea in ingegneria in elettronica, hardware e software presso l'Università di Limerick.
Vedi anche: Le tecnologie alla base del futuro dell'intelligenza artificiale