Но сейчас мы находимся в точке, где все должно измениться. Приложения на основе искусственного интеллекта, такие как механизмы рекомендаций, классификация изображений и обработка естественного языка, есть повсюду - в телефонах, интеллектуальных динамиках, транспортных средствах, носимых устройствах и в домах. И это всего лишь ИИ. Машинное обучение, виртуальная реальность, игры нового поколения и другие интенсивные приложения никуда не денутся.
Все эти приложения теперь предъявляют беспрецедентные требования к HBM, который просто не может продолжать совершенствоваться такими темпами, в которых нуждаются эти новые технологии. Эти приложения не только должны обрабатывать огромные массивы данных, но они также должны делать это быстрее и лучше, а улучшения должны происходить быстро. Алгоритмы требуют высокой скорости доступа к большим объемам данных.
В традиционных системах пропускная способность памяти и энергопотребление в конечном итоге ограничивают производительность и возможности приложений искусственного интеллекта и машинного обучения. Итак, что же нужно сделать отрасли, чтобы поддержать следующее поколение technology?
ПИМ спешит на помощь
Идея использования технологии обработки в памяти (PIM) с HBM обсуждалась как способ преодоления технических ограничений более 30 лет.
Помещая оптимизированный для DRAM движок ИИ в каждый банк памяти (подблок хранилища), HBM-PIM увеличивает вычислительную мощность именно там, где хранятся данные, открывая путь для параллельной обработки при одновременном сокращении объема перемещаемых данных. .
Для ИТ-менеджеров, системных архитекторов центров обработки данных и архитекторов графических процессоров такая архитектура представляет собой прекрасную возможность. Например, инженеры-программисты могут написать простые команды, чтобы использовать программируемый вычислительный блок HBM-PIM для повышения скорости локализованных повторяющихся рабочих нагрузок.
Более того, HBM-PIM обеспечивает более чем вдвое большую производительность системы по сравнению с традиционным HBM, а также снижает потребление энергии более чем на 60%. И как отличный дополнительный бонус, HBM-PIM не требует каких-либо аппаратных или программных настроек, что означает, что инженеры могут легко встраивать его в существующие системы.
Несмотря на эти очевидные преимущества, для отрасли было нелегко построить такую архитектуру. До недавнего времени производители микросхем, которые должны были приложить усилия для преодоления технических проблем несколько лет назад, были слишком большими, и в результате прогресс за эти годы был медленным.
Почему? Проблема с технологией PIM заключается в том, что из-за того, как она связывает память и логику, инженеры всегда сталкивались с компромиссом между плотностью хранения в процессе, оптимизированном для памяти, и Транзистор производительность в процессе, оптимизированном для логики.
В результате производительность и возможности устройств PIM оказались на низком уровне по сравнению с техническими трудностями и стоимостью интеграции. И поэтому преобладала традиционная архитектура фон Неймана, которая использует отдельные блоки процессора и памяти для выполнения миллионов сложных задач обработки данных. Но, к сожалению, такой подход последовательной обработки постоянно перемещает данные вперед и назад, создавая узкие места при обработке постоянно растущих объемов данных.
Но есть и хорошие новости. Распространение приложений искусственного интеллекта и машинного обучения стимулировало инвестиции и развитие технологии PIM просто потому, что эти технологии никуда не денутся, и память должна адаптироваться, чтобы приспособиться к ним, а не наоборот.
И это имеет смысл. Технология PIM - идеальная технология для обработки рабочих нагрузок AI и ML с оптимизированными ядрами, которые уменьшают перемещение данных, отображая доступ к данным с высокой степенью пространственной и временной локальности для параллельной обработки в (параллельных) банках высокопроизводительной памяти. устройство. Работая таким образом, PIM устраняет типичные узкие места, связанные с пропускной способностью памяти ЦП / ГП, улучшая производительность и общие возможности приложений AI и ML.
Рыночные прорывы
Из-за увеличения инвестиций и развития технологии PIM, в 2021 году на рынке появится первый в своем роде полностью программируемый HBM-PIM, сочетающий в себе высокопроизводительную параллельную обработку данных и DRAM на одном кристалле.
Эти новые HBM-PIM, основанные на спецификации HBM2 стандарта JEDEC и улучшенные архитектурой PIM, уже доказали свою огромную эффективность в удовлетворении требований приложений искусственного интеллекта - и в результате производители уже планируют включить технологию PIM в будущую технологию HBM3. .
На графике Полупроводниковое инновации, кажется, мир наконец-то прошел точку, когда пропускная способность является основным ограничивающим фактором в производительности AI и ML. Теперь мы действительно можем увидеть процветание этих невероятных технологий.
Ричард Уолш работал в подразделении памяти Samsung. Полупроводниковое Европа за последние 25 лет, включая флэш-память DRAM, NAND и NOR, а также другие технологии. Он получил степень бакалавра инженерных наук в области электроники, компьютерного оборудования и программного обеспечения в Университете Лимерика.
Смотрите также: Технологии, лежащие в основе будущего искусственного интеллекта