音声制御のマルチモーダルAIソリューション

ルネサス エレクトロニクスと深層学習チップ Syntiant テクノロジー と、音声制御によるマルチモーダルAIソリューションの共同開発を発表した。

AIソリューションは、ビジョンAIベースのIoTや、セルフチェックアウトマシン、セキュリティカメラ、ビデオ会議システム、ロボットクリーニングデバイスなどのスマートアプライアンスなどのエッジシステムでの画像処理のための低電力非接触操作を可能にします。

このデバイスは、ルネサスRZ / VシリーズビジョンAIマイクロプロセッサユニット（MPU）と、低電力マルチモーダル、マルチ機能のSyntiant NDP120ニューラルデシジョンプロセッサを組み合わせて、高度な音声および画像処理機能を提供します。

この共同ソリューションは、スタンバイモードからの迅速な音声トリガーアクティベーションを備えた常時オン機能を備えており、オブジェクト認識、顔認識、およびセキュリティカメラやその他のシステムの重要な機能であるその他の視覚ベースのタスクを実行します。 たとえば、ユーザー定義の音声キューがアクティブ化とシステム操作を駆動する一方で、ビジョンAI認識はオペレーターの行動を追跡し、操作を制御したり、疑わしいアクションが検出されたときに警告を発したりします。

マルチモーダルアーキテクチャにより、ビジョンAIベースのシステムの非接触ユーザーエクスペリエンスを簡単に作成できます。 音声認識に専用の電力効率の高いチップを使用すると、ビジョンAI機能とは独立してソフトウェアを開発できるため、システム開発をスピードアップしながら待機電力消費を削減できます。

IoT・インフラ事業のシニアバイスプレジデント兼SoC事業責任者である新田博人は、次のように述べています。ルネサスのユニット。

「音声ベースのユーザーインターフェイスにより、顧客は新しいユーザーエクスペリエンスを提供できるようになり、コンセプトから実現まで次世代の革新的なアイデアをもたらすことができます」とSyntiantのCEOであるKurtBusch氏は付け加えました。 「私たちはすでに15万を超えるディープラーニングNDPを世界中に出荷しており、さまざまな消費者向けおよび産業用IoTアプリケーションで常時オンの音声を実現しています。」

ビジョンAI用のRenesasRZ / VシリーズMPUには、RenesasのDRP-AI（Dynamicly Reconfigurable Processor-AI）アクセラレータが組み込まれており、高精度のAI推論と電力効率を組み合わせているため、ヒートシンクや冷却ファンなどの熱分散対策が不要です。これにより、Bill of Materials（BOM）のコストが削減され、ビジョンAIをさまざまな組み込みアプリケーションに統合できるようになります。

Syntiant NDP120チップには、話者認識、キーワード検出、複数のウェイクワード、ローカルコマンド認識など、多くの高精度でハンズフリーの音声機能を実装するために使用できるAI機能が組み込まれています。 Syntiant Core 2ニューラルネットワーク推論エンジンがパッケージ化されたNDP120は、消費電力を1mWのバッテリー電力に最小限に抑えながら、複数のアプリケーションを同時に実行することもできます。