Pero ahora estamos en un punto en el que las cosas tienen que cambiar. Las aplicaciones basadas en inteligencia artificial, como los motores de recomendación, la clasificación de imágenes y el procesamiento del lenguaje natural, están en todas partes: en teléfonos, altavoces inteligentes, vehículos, dispositivos portátiles y hogares. Y eso es solo IA. El aprendizaje automático, la realidad virtual, los juegos de próxima generación y otras aplicaciones intensivas llegaron para quedarse.
Todas estas aplicaciones plantean ahora exigencias sin precedentes a HBM, que simplemente no puede seguir mejorando al ritmo que necesitan estas nuevas tecnologías. Estas aplicaciones no solo necesitan procesar grandes cantidades de datos, sino que también necesitan hacerlo más rápido y mejor, y las mejoras deben llegar rápidamente. Los algoritmos exigen altas tasas de acceso a grandes capacidades de datos.
En los sistemas tradicionales, el ancho de banda de la memoria y el consumo de energía limitan en última instancia el rendimiento y las capacidades de las aplicaciones de IA y ML. Entonces, ¿qué debe hacer la industria a partir de ahora para apoyar a la próxima generación de la tecnología?
PIM al rescate
La idea de utilizar la tecnología de procesamiento en memoria (PIM) con HBM se ha mencionado como una forma de superar las restricciones técnicas durante más de 30 años.
Al colocar un motor de inteligencia artificial optimizado para DRAM dentro de cada banco de memoria (una subunidad de almacenamiento), un HBM-PIM agrega potencia de procesamiento exactamente donde se almacenan los datos, allanando el camino para el procesamiento paralelo al tiempo que reduce la cantidad de viajes que los datos deben realizar. .
Para los administradores de TI, arquitectos de sistemas de centros de datos y arquitectos de GPU, este tipo de arquitectura representa una gran oportunidad. Por ejemplo, los ingenieros de software pueden escribir comandos simples para aprovechar la unidad de computación programable de HBM-PIM para mejorar la velocidad de las cargas de trabajo repetitivas localizadas.
Aún más amplio, HBM-PIM ofrece más del doble del rendimiento del sistema de HBM tradicional y, al mismo tiempo, reduce el uso de energía en más del 60%. Y como una gran ventaja adicional, HBM-PIM no necesita ningún ajuste de hardware o software, lo que significa que los ingenieros pueden integrarlo sin problemas en los sistemas existentes.
A pesar de estos beneficios obvios, no ha sido una arquitectura fácil de construir para la industria. Hasta hace poco, el trabajo que los fabricantes de chips necesitaban para superar los desafíos técnicos hace unos años era demasiado y, como resultado, el progreso ha sido lento a lo largo de los años.
¿Por qué? El problema con la tecnología PIM es que, debido a la forma en que vincula la memoria y la lógica, los ingenieros siempre se han enfrentado a un compromiso entre la densidad de almacenamiento en un proceso optimizado para la memoria y Transistor rendimiento en un proceso de lógica optimizada.
Como resultado, el rendimiento y la capacidad de los dispositivos PIM han sido bajos en comparación con el obstáculo técnico y el costo de la integración. Y, por lo tanto, ha prevalecido la arquitectura tradicional de von Neumann, que utiliza unidades de memoria y procesador separadas para llevar a cabo millones de complejas tareas de procesamiento de datos. Pero, de manera frustrante, este enfoque de procesamiento secuencial mueve los datos de un lado a otro constantemente, lo que genera cuellos de botella cuando se manejan volúmenes de datos cada vez mayores.
Pero hay buenas noticias. La proliferación de aplicaciones de inteligencia artificial y aprendizaje automático ha revitalizado la inversión y el desarrollo de la tecnología PIM, simplemente porque estas tecnologías llegaron para quedarse y la memoria debe adaptarse para adaptarse a ellas, y no al revés.
Y tiene sentido. La tecnología PIM es la tecnología perfecta para manejar cargas de trabajo de IA y ML, con kernels optimizados que reducen el movimiento de datos al mapear accesos de datos con un alto grado de localidad espacial y temporal para el procesamiento concurrente en los bancos (paralelos) de una memoria de alto rendimiento. dispositivo. Al trabajar de esta manera, PIM aborda el cuello de botella típico del ancho de banda de la memoria de la CPU / GPU, mejorando el rendimiento y la capacidad general de la aplicación AI y ML.
Avances en el mercado
Debido al aumento de la inversión y el desarrollo de la tecnología PIM, el mercado se encuentra ahora en 2021 con el primer HBM-PIM totalmente programable de este tipo que combina procesamiento de datos en paralelo de alto rendimiento y DRAM, todo en la misma pieza de silicio.
Estos nuevos HBM-PIM, basados en la especificación HBM2 del estándar JEDEC y mejorados con la arquitectura PIM, ya están demostrando un gran éxito para satisfacer las demandas de las aplicaciones de inteligencia artificial y, como resultado, los fabricantes ya están planeando incluir la tecnología PIM en la futura tecnología HBM3. .
En la línea de tiempo de Semiconductores innovación, parece que el mundo finalmente ha pasado el punto en el que el ancho de banda es el principal factor limitante en el rendimiento de IA y ML. Ahora realmente podemos comenzar a ver florecer estas increíbles tecnologías.
Richard Walsh ha estado trabajando dentro de la división de memoria de Samsung Semiconductores Europa durante los últimos 25 años, cubriendo DRAM, NAND y NOR flash, entre otras tecnologías. Tiene una Licenciatura en Ingeniería en Electrónica, Hardware y Software de Computación de la Universidad de Limerick.
Vea también: Las tecnologías que impulsan el futuro de la inteligencia artificial