그러나 우리는 지금 상황이 바뀌어야 하는 지점에 있습니다. 추천 엔진, 이미지 분류 및 자연어 처리와 같은 인공 지능 기반 애플리케이션은 전화기, 스마트 스피커, 차량, 웨어러블 및 가정 등 어디에나 있습니다. 그리고 그것은 바로 AI입니다. 머신 러닝, 가상 현실, 차세대 게임 및 기타 집약적인 애플리케이션이 여기에 있습니다.
이러한 모든 애플리케이션은 이제 HBM에 전례 없는 요구를 가하고 있으며, 이러한 새로운 기술이 필요로 하는 속도로 계속해서 개선할 수는 없습니다. 이러한 애플리케이션은 방대한 양의 데이터를 처리해야 할 뿐만 아니라 더 빠르고 더 잘 처리해야 하며 개선 사항이 신속하게 제공되어야 합니다. 알고리즘은 대용량 데이터에 대한 높은 액세스 속도를 요구합니다.
기존 시스템에서는 메모리 대역폭과 전력 소비가 궁극적으로 AI 및 ML 애플리케이션의 성능과 기능을 제한합니다. 그렇다면 업계는 차세대 기술을 지원하기 위해 여기에서 무엇을 해야 할까요? technology?
구출에 PIM
HBM과 함께 PIM(Processing-in-memory) 기술을 사용하는 아이디어는 30년 넘게 기술적 제한을 극복하는 방법으로 거론되어 왔습니다.
HBM-PIM은 각 메모리 뱅크(스토리지 서브 유닛) 내부에 DRAM 최적화 AI 엔진을 배치하여 데이터가 저장된 위치에 정확히 처리 능력을 추가하여 데이터가 수행해야 하는 이동량을 줄이면서 병렬 처리를 위한 길을 열었습니다. .
IT 관리자, 데이터 센터 시스템 설계자 및 GPU 설계자에게 이러한 종류의 아키텍처는 좋은 기회입니다. 예를 들어, 소프트웨어 엔지니어는 HBM-PIM의 프로그래밍 가능한 컴퓨팅 장치를 활용하여 국지화된 반복 워크로드의 속도를 향상시키는 간단한 명령을 작성할 수 있습니다.
더 넓게는 HBM-PIM은 기존 HBM보다 60배 이상의 시스템 성능을 제공하는 동시에 에너지 사용을 XNUMX% 이상 절감합니다. 그리고 추가 보너스로 HBM-PIM은 하드웨어나 소프트웨어 조정이 필요하지 않으므로 엔지니어가 기존 시스템에 매끄럽게 임베드할 수 있습니다.
이러한 명백한 이점에도 불구하고 업계에서 구축하기 쉬운 아키텍처는 아닙니다. 최근까지 몇 년 전만 해도 칩 제조업체가 기술적 문제를 극복하기 위해 투입해야 했던 작업은 너무 많았고 결과적으로 수년 동안 진행 속도가 더뎠습니다.
왜요? PIM 기술의 문제는 메모리와 로직을 연결하는 방식 때문에 엔지니어가 항상 메모리 최적화 프로세스의 스토리지 밀도와 트랜지스터 로직 최적화 프로세스의 성능
그 결과, PIM 장치의 성능과 기능은 통합의 기술적 장애물과 비용에 비해 낮은 편이었습니다. 따라서 수백만 개의 복잡한 데이터 처리 작업을 수행하기 위해 별도의 프로세서와 메모리 장치를 사용하는 전통적인 폰 노이만 아키텍처가 우세했습니다. 그러나 실망스럽게도 이 순차 처리 방식은 데이터를 끊임없이 앞뒤로 이동시켜 계속 증가하는 데이터 볼륨을 처리할 때 병목 현상을 일으킵니다.
하지만 좋은 소식이 있습니다. 인공 지능 및 기계 학습 응용 프로그램의 확산으로 PIM 기술에 대한 투자와 개발이 다시 활성화되었습니다. 단순히 이러한 기술이 유지되고 메모리가 이러한 기술을 수용하기 위해 적응해야 하기 때문입니다.
그리고 그것은 의미가 있습니다. PIM 기술은 고성능 메모리의 (병렬) 뱅크에서 동시 처리를 위해 높은 수준의 공간적 및 시간적 지역성을 가진 데이터 액세스를 매핑하여 데이터 이동을 줄이는 최적화된 커널을 사용하여 AI 및 ML 워크로드를 처리하는 완벽한 기술입니다. 장치. 이러한 방식으로 PIM은 CPU/GPU 메모리 대역폭의 일반적인 병목 현상을 해결하여 AI 및 ML 응용 프로그램의 성능과 전체 기능을 향상시킵니다.
시장 돌파구
PIM 기술에 대한 투자 및 개발 증가로 인해 시장은 이제 2021년에 동일한 실리콘 조각에 고성능, 병렬 데이터 처리 및 DRAM을 모두 결합하는 최초의 완전 프로그래밍 가능한 HBM-PIM을 보게 됩니다.
JEDEC 표준 HBM2 사양을 기반으로 하고 PIM 아키텍처로 강화된 이 새로운 HBM-PIM은 이미 AI 애플리케이션의 요구 사항을 충족하는 데 큰 성공을 거둔 것으로 입증되었으며, 그 결과 제조업체는 이미 미래의 HBM3 기술에 PIM 기술을 포함할 계획을 세우고 있습니다. .
의 타임라인에서 반도체 혁신을 통해 세계는 마침내 대역폭이 AI 및 ML 성능의 주요 제한 요소가 되는 지점을 통과한 것 같습니다. 이제 우리는 이러한 놀라운 기술이 번성하는 것을 실제로 볼 수 있습니다.
Richard Walsh는 삼성 메모리 사업부에서 근무해 왔습니다. 반도체 지난 25년간 유럽에서는 DRAM, NAND, NOR 플래시 등 다양한 기술을 다루었습니다. 그는 리머릭 대학교에서 전자, 컴퓨터 하드웨어 및 소프트웨어 공학 학사 학위를 취득했습니다.
참조: 인공지능의 미래를 이끄는 기술