しかし、私たちは今、物事を変えなければならない段階にあります。 レコメンデーションエンジン、画像分類、自然言語処理などの人工知能ベースのアプリケーションは、電話、スマートスピーカー、車両、ウェアラブル、家庭など、いたるところにあります。 そしてそれはただのAIです。 機械学習、バーチャルリアリティ、次世代ゲーム、その他の集中的なアプリケーションがここにあります。
これらのアプリケーションはすべて、HBMに前例のない要求を課しており、これらの新しいテクノロジーが必要とするペースで改善を続けることはできません。 これらのアプリケーションは、膨大な量のデータを処理する必要があるだけでなく、それをより速く、より良く行う必要があり、改善は迅速に行われる必要があります。 アルゴリズムは、大容量のデータに対して高いアクセス率を要求します。
従来のシステムでは、メモリ帯域幅と消費電力が最終的に AI および ML アプリケーションのパフォーマンスと機能を制限していました。 では、次世代をサポートするために業界は今後何をする必要があるのでしょうか？ テクノロジー?
救助するPIM
HBMでProcessing-in-Memory（PIM）テクノロジを使用するというアイデアは、30年以上にわたって技術的な制限を克服する方法として話題になっています。
各メモリバンク（ストレージサブユニット）内にDRAMに最適化されたAIエンジンを配置することにより、HBM-PIMはデータが格納されている場所に正確に処理能力を追加し、データの移動量を削減しながら並列処理への道を開きます。 。
ITマネージャー、データセンターシステムアーキテクト、GPUアーキテクトにとって、この種のアーキテクチャは絶好の機会です。 たとえば、ソフトウェアエンジニアは、HBM-PIMのプログラム可能なコンピューティングユニットを活用して、ローカライズされた反復ワークロードの速度を向上させる簡単なコマンドを作成できます。
さらに広い範囲で、HBM-PIMは、従来のHBMの60倍以上のシステムパフォーマンスを提供すると同時に、エネルギー使用量をXNUMX％以上削減します。 また、大きな追加ボーナスとして、HBM-PIMはハードウェアやソフトウェアの調整を必要としないため、エンジニアは既存のシステムにシームレスに埋め込むことができます。
これらの明らかな利点にもかかわらず、業界が構築するのは簡単なアーキテクチャではありませんでした。 最近まで、数年前に技術的な課題を克服するために必要なワークチップメーカーは多すぎました。その結果、進歩は何年にもわたって遅くなりました。
どうして？ PIMテクノロジの問題は、メモリとロジックをリンクする方法のために、エンジニアは常にメモリ最適化プロセスのストレージ密度と トランジスタ ロジック最適化プロセスでのパフォーマンス。
その結果、PIMデバイスのパフォーマンスと機能は、統合の技術的なハードルとコストに比べて低くなっています。 したがって、従来のフォンノイマンアーキテクチャが普及しており、個別のプロセッサユニットとメモリユニットを使用して、何百万もの複雑なデータ処理タスクを実行します。 しかし、苛立たしいことに、この順次処理アプローチはデータを絶えず前後に移動させ、増え続けるデータ量を処理するときにボトルネックを引き起こします。
しかし、良いニュースがあります。 人工知能と機械学習アプリケーションの急増により、PIMテクノロジーへの投資と開発が再活性化されました。これは、これらのテクノロジーが定着しており、メモリがそれらに対応するために適応する必要があるためです。
そしてそれは理にかなっています。 PIMテクノロジーは、AIおよびMLワークロードを処理するのに最適なテクノロジーであり、高性能メモリの（並列）バンクでの同時処理のためにデータアクセスを高度な空間的および時間的局所性でマッピングすることにより、データの移動を削減する最適化されたカーネルを備えています端末。 このように機能することで、PIMはCPU / GPUメモリ帯域幅の一般的なボトルネックに対処し、AIおよびMLアプリケーションのパフォーマンスと全体的な機能を向上させます。
市場のブレークスルー
PIMテクノロジーへの投資と開発の増加により、市場は2021年に、高性能の並列データ処理とDRAMをすべて同じシリコン上に組み合わせたこの種の最初の完全にプログラム可能なHBM-PIMを目にしています。
これらの新しいHBM-PIMは、JEDEC標準HBM2仕様に基づいており、PIMアーキテクチャで強化されており、AIアプリケーションの需要を満たすことにすでに大成功を収めています。その結果、メーカーはすでに将来のHBM3テクノロジーにPIMテクノロジーを組み込むことを計画しています。 。
のタイムライン上 半導体 イノベーション、世界はついに帯域幅がAIとMLのパフォーマンスの主要な制限要因となるポイントを通過したようです。 今、私たちはこれらの信じられないほどの技術が繁栄するのを本当に見ることができます。
リチャード・ウォルシュ氏はサムスンのメモリ部門で働いている 半導体 過去 25 年間にわたってヨーロッパを取材し、DRAM、NAND、NOR フラッシュなどのテクノロジーをカバーしました。彼はリムリック大学でエレクトロニクス、コンピューター ハードウェア、およびソフトウェアの工学士号を取得しています。
参照：人工知能の未来を動かすテクノロジー