間違いなく、あなたはそれについて読んだり聞いたりしました。ネットワークエッジデバイスの数が急増するにつれて、膨大な量のデータフローが継続的に増加しています。 これらのデバイスには、自動運転車、モノのインターネットデバイス、家電製品、さらにはラップトップやパーソナルコンピューターが含まれます。 複数の見積もりによると、2025年までに数百億のIoTデバイスが稼働する予定です。 これらのデバイスは、さまざまな形式のデータを連続データストリームの形式でクラウドに送信し、データレートは大きく異なります。 一般に、これらのデバイスは大量の生データを生成し、データ量は時間の経過とともに増加し続けます。
防犯カメラ、自動運転車、PCのビデオレコーダーは、高レート、高解像度のビデオストリームを生成します。 IoTデバイスは、中程度のビットレートのデータを生成し、それらをビッグデータストリームに集約します。 他の多くのタイプのIoTセンサー（温度、圧力、場所、光レベルなどを測定）は、低ビットレートのデータストリームを生成しますが、すぐにそのようなセンサーの数は数十億に達するでしょう。 したがって、これらの低ビットレートのデータストリームでさえ、クラウドに入る前に、より大きな高ビットレートのデータストリームに集約できます。
ピコセル、長距離IoTネットワーク（LoRaWANなど）、グローバルネットワーキング衛星ネットワーク（SpaceXの拡大するStarlinkブロードバンドネットワークやSwarm Technologiesの衛星ベースのIoTインターネットなど）を含む、5Gワイヤレスネットワークおよびその他の高速ネットワークテクノロジーの台頭）、これは広範囲で高速なクラウドアクセスを提供します（注：Starlinkは2021年XNUMX月にSwarm Technologiesを買収しました）。これらの通信およびネットワークテクノロジーは、新たなネットワークエッジを加速します。
。 ネットワークのエッジにあるリアルタイムアプリケーションは通常、高遅延を許容しないため、処理、分析、および意思決定をデバイス自体に転送する必要があります。 これらのネットワークエッジデバイスには、自動運転車、IoTセンサー、セキュリティカメラ、スマートフォン、ラップトップ、およびパーソナルコンピューターが含まれます。 したがって、ネットワークエッジコンピューティングの可能性は非常に大きいです。
データの重みの下で、クラウドはすべてを行うことはできません
スマートフォンとIoTデバイスの指数関数的成長により、ネットワーク上のエッジコンピューティングの開発が促進されました。 これらのデバイスはユビキタスであり、クラウドとの間で情報を送受信するには、インターネットに接続する必要があります。 一部のIoTデバイス（カメラなど）は、操作中に大量のデータを生成します。
温度センサーなどの他のIoTデバイスは少量のデータを生成しますが、そのようなセンサーの数は数十億に達する可能性があるため、クラウド処理に大きな負担をもたらします。 したがって、ネットワーク通信とクラウド内のクラウドストレージのコストを削減するだけでなく、クラウドデータチャネルの過負荷を回避するためにも、ネットワークのエッジに基づく処理が非常に必要です。
ネットワーク エッジ製品およびアプリケーションの開発者は、複雑なパターンを照合および認識してデータを分析し、それに基づいて意思決定を行うために、人工知能および機械学習 (AI/ML) アルゴリズムをますます採用しています。 実はAI/MLを活用することで、 テクノロジー は非常に急速に成長しました。
現在、AI / MLアルゴリズムは、従来のアルゴリズムプログラムでは解析や認識が難しい複雑で多次元のデータパターンを識別できるため、生データを効率的に処理するために必要な手段と見なされています。 一部の特定のAI / MLアプリケーションには、人や物の検出、認識、識別、カウントが含まれます。 資産と在庫の追跡、環境の認識、音と音声の検出と認識、システムの状態の監視、およびシステムのメンテナンスのスケジューリング。 コンピューティングデバイスとアプリケーションの開発。
新たなネットワークエッジデバイスとアプリケーションには、自動運転車、ロボット、自動生産、リモートモニタリング、サプライチェーンとロジスティクスシステム、および公共および民間のセキュリティを確保するためのビデオ監視が含まれます。 これらのネットワークエッジシステムに対する市場の需要は、効率を高め、運用コストを削減し、ユーザーエクスペリエンスを向上させることができるため、急速に高まっています。 しかし、私たちが構築する無線および有線通信インフラストラクチャの量に関係なく、過剰なデータの混乱は、クラウドへのこれらのデータパイプラインを圧倒またはブロックする可能性があります。
ネットワークのエッジでのローカライズされた処理は、データパイプラインのブロックを解除するのに役立ちます
これらの傾向は、ネットワークのエッジでデータが生成される場所でより多くの処理を実行し、クラウドに送信されるデータの量を減らす必要があることを示しています。 モノのインターネットやその他のネットワーク接続デバイスの爆発的な成長は、新しいネットワークエッジデバイスの開発の主な推進力であり、新しいアプリケーションの開発をさらに刺激し、それによって生データを有用で実用的な情報に変換して、迅速な意思決定をサポートします-作成、変化する状況にリアルタイムで対応します。
ネットワークエッジコンピューティングの開発の初期段階では、企業はデータを長距離でデータセンターに送信するコストに重点を置いていました。 当初、ネットワークエッジアプリケーションの主な機能は、クラウドおよびクラウドに接続されている他のコンピューターに保存されているデータにアクセスする必要があることでした。 これらの初期のアプリケーションは通常、リアルタイムアプリケーションではありません。 数百ミリ秒または数秒の応答時間も許容されます。 ただし、モノのインターネットデバイスの開発と、ネットワークエッジでのリアルタイム処理、分析、および応答に対する需要の高まりにより、ネットワークエッジテクノロジの強力な開発が促進され、設計上の課題も大きくなっています。
ネットワークエッジ処理により、数千マイル離れたデータセンターで分析や意思決定を行う代わりに、コンピューティングとデータストレージをデータを収集するデバイスにますます近づけることができます。
図1.ネットワークエッジコンピューティングのトレンド（画像ソース：ラティス）
AI / ML機能を利用できる多くのネットワークエッジアプリケーションは、非常に厳しい電力消費の制約の下で動作する必要があります。 これらの広く配布されているデバイスは通常、バッテリー電源に依存しています。 このようなアプリケーションは、工場、農場、オフィスビル、小売店、病院、倉庫、通り、住宅など、さまざまなネットワークエッジ環境に豊富にあります。 それらの数が増えるにつれて、これらのデバイスは、XNUMX回の充電だけで、またはエネルギーの収集と貯蔵のみに依存して、数か月または数年でさえ、長期間動作する必要があります。
したがって、多くのデバイスはほとんどの場合スリープ状態または休止状態である必要があり、デバイスが非アクティブ状態のときはほとんどの回路が低電力スタンバイモードである必要があります。 次に、アクティベーションイベントにより、必要に応じてデバイスが起動します。 このタイプのアプリケーションでは、基本的な 回路 超低消費電力で動作するシステムは、スタンバイ状態を維持し、アクティベーションイベントを待機してから、必要に応じてデバイスの残りの部分に電力を供給する必要があります。
FPGA 低消費電力でAL / MLを実現
低消費電力とAI / MLアルゴリズムの実装の要件は、低電力ネットワークエッジデバイスの設計の要件と矛盾しているようです。 ただし、これらXNUMXつの複雑な設計要件は矛盾していません。 Latticeの最新のFPGA（低電力、小型、高性能のCertusPro-NXシリーズのデバイス）は、低電力ネットワークエッジデバイスの多くの設計要件を満たすように調整されています。 これらのFPGAは、複数のセンサー、ディスプレイ、高解像度ビデオ、ネットワーク接続、およびネットワークのエッジでのAI / ML処理をサポートできます。
同時に、ラティスが新しくリリースしたsensAIソリューションコレクションのバージョン4.1は、すぐに使用できるAI / MLツール、IPコア、ハードウェアプラットフォーム、リファレンスデザインとデモンストレーション、カスタマイズされたデザインサービスを提供し、デザインチームが新しいネットワークエッジ機器を開発するのに役立ちます。すぐに市場に投入します。 sensAIの最新バージョンは、CertusPro-NXFPGAをサポートしています。
Lattice sensAIソリューションコレクションは、エンドツーエンドのAI / MLモデルのトレーニング、検証、コンパイルを加速します。 Latticeは、4.0年初頭にリリースされたsensAI 2021にsensAIStudio設計環境を追加しました。これは、開発者が機械学習アプリケーションをすばやく構築するのに役立つグラフィカルユーザーインターフェイス（GUI）ベースのツールです。 Lattice sensAI 4.1のツールを使用してネットワークエッジコンピューティング設計をセットアップし、Lattice iCE40 UltraPlus、CrossLink-NX、ECP5、およびCertusPro-NX FPGAを使用すると、リアルタイムのAI / ML機能を超低消費電力で実現できます。 -消費電力は1mW〜1Wと低いです。
図2.LatticeのsensAIStudio設計環境は、エンドツーエンドのAI / MLモデルのトレーニング、検証、およびコンパイルを加速します。 （画像ソース：ラティス）
Lattice CertusPro-NXFPGAシリーズ製品をサポートするsensAI4.1により、sensAIのパフォーマンスも大幅に向上しました。 既存のオブジェクト検出および追跡アプリケーションに加えて、複数のオブジェクトのリアルタイム分類などのアプリケーションも追加されました。 sensAI 4.1ソリューションセットには、更新されたニューラルネットワークコンパイラが含まれており、最新バージョンのCaffe、Keras、TensorFlow、TensorFlow Liteなど、広く使用されている他の機械学習プラットフォームとも互換性があります。
Lattice sensAI 4.1ソリューションセットのIPコアには、1種類の畳み込みニューラルネットワーク（CNN）アクセラレーター（CNN、CNN Plus、CNN Compact）とCNNコプロセッサーエンジンが含まれています。 CNN IPコアを使用すると、開発者は、Mobilenet v2 / v4.1、Resent、SSD、VGGなど、他のユーザーがリリースしたさまざまな広く使用されているCNNを使用したり、必要に応じてCNNモデルをカスタマイズしたりできます。 sensAI XNUMX CNNアクセラレータは、Lattice FPGAの並列処理機能、分散メモリ、およびDSPリソースを利用して、超低電力AI設計の実装を大幅に簡素化します。 アクセラレータコアは、FPGAプログラマブルロジックを使用して、ミリワット範囲の超低消費電力でCNNを実装できる非常に効率的なバイナリニューラルネットワーク（BNN）を含む低電力ニューラルネットワークを実装します。
図3.Lattice sensAIソリューションコレクションは、LatticeFPGAに基づくAI / MLデバイスを開発できます。 （画像ソース：ラティス）
Lattice sensAI4.1リファレンスデザイン
ラティスFPGAは、プログラム可能なI / Oを提供します。これは、で一般的に使用されるさまざまな電気インターフェイス規格をサポートするように構成できます。 センサー インターフェイス。 同社はまた、さまざまなセンサー通信プロトコルをサポートするために、多くのハードコアおよびソフトコアIPモジュールを提供しています。 FPGAはセンサーフュージョンにおいて長い間大きな利点を持っていたため、Lattice sensAI 4.1の設計は、ネットワークエッジデバイスの複数のセンサーに基づくAI / ML推論機能の開発を簡素化し、インテリジェントなセンサーフュージョンを実現することを目的としています。 sensAI 4.1ソリューションコレクションには、多くのリファレンスデザインの例が含まれており、さまざまなスマートセンサーフュージョンアプリケーションケースを示しています。これらは同時に実行して、詳細な状況認識を実現できます。 これらのリファレンスデザインには次のものが含まれます。
•ジェスチャ検出
このリファレンスデザインは、IRイメージセンサーを使用して、AIベースの低電力ジェスチャ検出システムを実装します。 リファレンスデザインは、トレーニングデータセット、一般的に使用されるニューラルネットワークトレーニングツールでトレーニングできるスクリプト、およびユーザーが変更できるニューラルネットワークモデルを提供します。
•キーワード検出
このリファレンスデザインでは、デジタルMEMSマイクを使用して、キーワードの発話を継続的に検出します。 設計者は、ディープラーニングフレームワーク（Caffe、Tensorflow、Kerasなど）を使用して、提供されたトレーニングデータセットを更新し、システムにウェイクワード関数を追加できます。 リファレンスデザインには、トレーニングデータセット、一般的に使用されるニューラルネットワークトレーニングツールを使用してトレーニングできるスクリプト、およびユーザーが変更できるニューラルネットワークモデルが含まれています。
•顔検出
このリファレンスデザインは、イメージセンサーを使用してCNNベースの顔認識を実装し、トレーニングデータベースを変更して他のタイプのターゲットを認識することができます。
•人の検出
このリファレンスデザインは、CMOSイメージセンサーを使用して、人の存在を継続的に検出します。 この設計に基づくAIシステムは、ディープラーニングフレームワーク（CaffeやTensorflowなど）を使用して、提供されたトレーニングモデルを更新し、関心のあるターゲットを検出して特定できます。 リファレンスデザインには、ニューラルネットワークモデル、トレーニングデータセット、および一般的なトレーニングツールを使用してトレーニングできるスクリプトが含まれています。
•ターゲットの検出、分類、追跡、およびカウント
このリファレンスデザインは、ターゲットの検出、分類、追跡、およびカウントの例を提供します。 ラティス開発ボード用のFPGARTL、ニューラルネットワークモデル、トレーニングデータセットの例、デザインスクリプトの再作成と更新を含む、完全なデザインがあります。
AIを使用できる一般的で潜在的なネットワークエッジアプリケーション
AI / MLアルゴリズムを使用して多くのネットワークエッジデバイス（自律型ロボット、環境制御、ビデオセキュリティカメラなど）のパフォーマンスを向上させることには明らかな利点がありますが、PCやラップトップなどの他のタイプのネットワークエッジデバイスもその恩恵を受けることができます。 Latticeは、パートナーや顧客と協力して、マルチモードのスマートセンサーフュージョンとAI / MLテクノロジーを使用して、PC /ラップトップユーザーのエクスペリエンスを継続的に改善し、ラップトップの動作電力消費を大幅に削減しています。 一部のアプリケーションでは、バッテリーの寿命が最大28％長くなりました。
どの機器の機能に潜在的な価値がありますか？
24時間以内のPCとラップトップの使用法は大きく異なり、通常、日中の勤務時間中に集中的に使用されます。 ただし、勤務時間中であっても休憩状態になります。 人々は時折休憩を取り、正午に食事をします。 これらの時間中、彼らは通常、開いているさまざまなアプリケーションが閉じられないようにするために、コンピューターを実行し続けます。
AI / ML分析と意思決定をコンピューターの既存のセンサー（カメラとマイク）と組み合わせてスマートセンサーフュージョンを実現し、PCまたはラップトップが周囲の環境を認識して、ディスプレイとCPUをオフにするタイミングと与えるタイミングを決定できるようにします。電源を再投入しました。
プレゼンス検出の最も簡単な使用法は、周りに誰もいないときにコンピューターをシャットダウンすることです。 ユーザーが離れているとき 画面 長い間、注意追跡機能はコンピュータ画面を暗くし、低電力モードをアクティブにすることができます。 スマートセンサーの中心となる低電力小型FPGAは、コンピューターセンサーからの入力を受信し、状況に応じてどのコンポーネントに電力を供給するかを決定します。
プライバシーとセキュリティの問題を解決する
同様に、これらの機能は、コンピューターのプライバシーとセキュリティを強化することもできます。 コンピュータの内蔵会議カメラを使用して、ユーザーの背後の背景を監視し、誰かがユーザーの肩の後ろから覗いているかどうかを検出できます。 コンピューターがプライバシーを保護するように構成されている場合、許可されたユーザーの背後にいる誰かがコンピューターの画面をのぞき見している疑いがあると、警告がポップアップしてユーザーに通知し、画面を自動的に暗くすることもできます。 これらのソリューションでは、すべての推論データがFPGAにローカルに保存されることに注意してください。 メタデータのみがSoCに渡されます。これにより、プライバシーがさらに強化され、セキュリティが向上します。
ユーザーエクスペリエンスを最適化する
AI / ML機能は、コンピューターユーザーの全体的なエクスペリエンスを向上させることもできます。 たとえば、AI / MLベースの顔のファインダー機能は、内蔵のビデオ会議カメラの高解像度を使用して、ユーザーのアバターをトリミングして中央に配置し、ビデオ会議により良い画像を提供できます。 参加者は、画像を中央に置いたまま、会議中に移動することもできます。 同様に、ジェスチャ認識は、ラップトップやPC、またはその他のビデオ対応IoTデバイスに非接触操作機能を追加できます。
健康上の利益
現在、多くの企業が従業員の健康を守りたいことを明確にしています。 AI / MLベースの知覚機能は、ポップアップリマインダーやその他の手段を通じて反復運動過多損傷を回避するのに役立ち、コンピュータービデオセンサーを使用して、従業員が与えられた休息の推奨事項を実際に採用していることを確認します。
AI / MLアプリケーションを使用して、ユーザーの姿勢を検出することもできます。これは、反復運動過多損傷を引き起こすもうXNUMXつの要因である可能性があります。 アクティブセンサーフィードバックを使用するこれらの機能は、健康アプリケーションの開発に使用できます。これは、現在企業で使用されている単純なタイミングリマインダーよりも大幅に優れており、ストレス関連の労働災害に効果的に対処できます。
AI / MLを介して実装されたこれらの機能はすべて、サプライヤが企業のバイヤーにとってより魅力的なPCやラップトップを作成するのに役立ちます。これらの機能はすべて、sensAI4.1ソリューションコレクションとLattice低電力FPGA機能を介して実現できます。
この種のFPGAの使用は、FPGA開発の象徴的な機能であるセンサー接続と融合を上回り、成熟したAI / MLアルゴリズムに基づいて、センサー信号分析と意思決定機能を追加します。 AI / MLの追加により、FPGAは、システム機能を管理し、ユーザーエクスペリエンスを向上させ、システム全体の動作消費電力を削減することでバッテリ寿命を大幅に延ばすことができる低電力システムコントローラになります。
結論：数十億のネットワークエッジデバイスの巨大な市場はまだ開発されていません
複数の低電力FPGAシリーズ製品とこれらの製品シリーズをサポートするsensAI4.1ソリューションのコレクションにより、LatticeはAI / MLテクノロジーを数十億のネットワークエッジデバイスに提供することに取り組んでいます。 したがって、ネットワークエッジアプリケーションは非常に潜在的なターゲット市場です。
さまざまな見積もりによると、FPGAビジネスにとって非常に魅力的な多数のネットワークエッジ市場のニーズを満たすために、世界の広い地域で数百億のネットワークエッジデバイスが必要です-もちろん、この規模はこのようにあらゆる業界に適しています。 LatticeのsensAI4.1ソリューションセットとその低電力、小型FPGAシリーズのリリースは、ネットワークエッジアプリケーションと市場を直接対象としています。 LatticeのsensAI4.1ソリューションコレクションは、ネットワークエッジアプリケーション向けの革新的な開発ツールであり、システム開発者はさまざまな市場向けに柔軟でアプリケーション固有のFPGAベースのAI / ML推論ソリューションを開発できます。