Mais nous sommes maintenant à un point où les choses doivent changer. Les applications basées sur l'intelligence artificielle telles que les moteurs de recommandation, la classification d'images et le traitement du langage naturel sont partout - dans les téléphones, les haut-parleurs intelligents, les véhicules, les appareils portables et les maisons. Et ce n'est que de l'IA. L'apprentissage automatique, la réalité virtuelle, les jeux de nouvelle génération et d'autres applications intensives sont là pour rester.
Toutes ces applications imposent désormais des exigences sans précédent à HBM, qui ne peut tout simplement pas continuer à s'améliorer au rythme dont ces nouvelles technologies ont besoin. Non seulement ces applications doivent traiter d'énormes quantités de données, mais elles doivent également le faire plus rapidement et mieux, et les améliorations doivent venir rapidement. Les algorithmes exigent des taux d'accès élevés à de grandes capacités de données.
Dans les systèmes traditionnels, la bande passante mémoire et la consommation d’énergie limitent en fin de compte les performances et les capacités des applications d’IA et de ML. Alors, que doit faire l’industrie à partir de maintenant pour soutenir la prochaine génération de sans souci?
PIM à la rescousse
L'idée d'utiliser la technologie de traitement en mémoire (PIM) avec HBM est évoquée comme un moyen de surmonter les restrictions techniques depuis plus de 30 ans.
En plaçant un moteur AI optimisé pour la DRAM à l'intérieur de chaque banque de mémoire (une sous-unité de stockage), un HBM-PIM ajoute de la puissance de traitement exactement là où les données sont stockées - ouvrant la voie au traitement parallèle tout en réduisant la quantité de déplacement que les données doivent faire .
Pour les responsables informatiques, les architectes système des centres de données et les architectes GPU, ce type d'architecture représente une grande opportunité. Par exemple, les ingénieurs logiciels peuvent écrire des commandes simples pour tirer parti de l'unité de calcul programmable de HBM-PIM afin d'améliorer la vitesse des charges de travail répétitives localisées.
Plus large encore, HBM-PIM offre plus du double des performances système du HBM traditionnel tout en réduisant la consommation d'énergie de plus de 60 %. Et en plus, HBM-PIM n'a besoin d'aucune modification matérielle ou logicielle, ce qui signifie que les ingénieurs peuvent l'intégrer de manière transparente dans les systèmes existants.
Malgré ces avantages évidents, ce n'est pas une architecture facile à construire pour l'industrie. Jusqu'à récemment, les fabricants de puces de travail nécessaires pour surmonter les défis techniques il y a quelques années étaient trop importants - et par conséquent, les progrès ont été lents au fil des ans.
Pourquoi? Le problème avec la technologie PIM est qu'en raison de la manière dont elle relie la mémoire et la logique, les ingénieurs ont toujours été confrontés à un compromis entre la densité de stockage dans un processus optimisé en mémoire et Transistor performances dans un processus logiquement optimisé.
En conséquence, les performances et les capacités des appareils PIM ont été faibles par rapport à l'obstacle technique et au coût de l'intégration. Et par conséquent, l'architecture traditionnelle de von Neumann a prévalu, qui utilise des unités de processeur et de mémoire distinctes pour effectuer des millions de tâches de traitement de données complexes. Mais de manière frustrante, cette approche de traitement séquentiel déplace constamment les données d'avant en arrière, provoquant des goulots d'étranglement lors de la gestion de volumes de données toujours croissants.
Mais il y a de bonnes nouvelles. La prolifération des applications d'intelligence artificielle et d'apprentissage automatique a relancé les investissements et le développement de la technologie PIM, simplement parce que ces technologies sont là pour rester et que la mémoire doit s'adapter pour les accueillir, plutôt que l'inverse.
Et cela a du sens. La technologie PIM est la technologie parfaite pour gérer les charges de travail d'IA et de ML, avec des noyaux optimisés qui réduisent le mouvement des données en mappant les accès aux données avec un degré élevé de localité spatiale et temporelle pour un traitement simultané dans les banques (parallèles) d'une mémoire haute performance dispositif. En travaillant de cette manière, PIM résout le goulot d'étranglement typique de la bande passante mémoire CPU/GPU, améliorant les performances et la capacité globale de l'application AI et ML.
Percées du marché
En raison de l'augmentation des investissements et du développement de la technologie PIM, le marché voit maintenant en 2021 le premier HBM-PIM entièrement programmable de son genre à combiner un traitement de données parallèle hautes performances et une DRAM sur le même morceau de silicium.
Ces nouveaux HBM-PIM, basés sur la spécification HBM2 de la norme JEDEC et améliorés avec l'architecture PIM, s'avèrent déjà très efficaces pour répondre aux demandes des applications d'IA - et par conséquent, les fabricants prévoient déjà d'inclure la technologie PIM dans la future technologie HBM3. .
Sur la chronologie de Semi-conducteurs innovation, il semble que le monde ait enfin dépassé le point où la bande passante est le principal facteur limitant des performances de l'IA et du ML. Maintenant, nous pouvons vraiment commencer à voir ces technologies incroyables prospérer.
Richard Walsh a travaillé au sein de la division mémoire de Samsung Semi-conducteurs Europe depuis 25 ans, couvrant entre autres technologies DRAM, NAND et NOR flash. Il est titulaire d'un baccalauréat en ingénierie en électronique, matériel informatique et logiciels de l'Université de Limerick.
Voir aussi : Les technologies qui alimentent l'avenir de l'intelligence artificielle