ルネサスエレクトロニクスとSyntiantCorp。は、ビジョンAIベースのIoTおよびエッジシステムでの画像処理のための低電力非接触操作を可能にする音声制御マルチモーダル人工知能（AI）ソリューションを共同で開発しました。 マルチモーダルAIソリューションのアプリケーションには、セルフチェックアウトマシン、セキュリティカメラ、ビデオ会議システム、ロボットクリーニングデバイスなどのスマートアプライアンスが含まれます。
このソリューションは、音声および画像処理機能を提供し、ルネサスRZ / VシリーズビジョンAIマイクロプロセッサユニット（MPU）と低電力マルチモーダルSyntiantNDP120ニューラルデシジョンプロセッサを組み合わせたものです。 共同ソリューションは、スタンバイモードからの迅速な音声トリガーアクティベーションを備えた常時オン機能を備えており、オブジェクト認識、顔認識、およびその他の視覚ベースのタスクを実行します。
（出典：ルネサスエレクトロニクス）
引用されたXNUMXつのアプリケーション例は、アクティブ化とシステム操作を駆動するユーザー定義の音声キューです。一方、ビジョンAI認識は、オペレーターの行動を追跡し、操作を制御するか、疑わしいアクションが検出されたときに警告を発行します。
（画像：ルネサスエレクトロニクス）
「マルチモーダルアーキテクチャにより、ビジョンAIベースのシステムの非接触ユーザーエクスペリエンスを簡単に作成できます」とルネサスは述べています。 「音声認識に専用の電力効率の高いチップを使用すると、ビジョンAI機能とは独立してソフトウェアを開発できるため、システム開発をスピードアップしながら待機電力消費を削減できます。」
ビジョンAI向けのルネサスRZ / VシリーズMPUは、同社の動的に再構成可能なプロセッサAI（DRP-AI）アクセラレータを組み込み、高精度のAI推論と高電力効率を組み合わせています。 この電力性能により、ヒートシンクや冷却ファンなどの熱管理デバイスが不要になり、部品表（BOM）のコストが削減され、ビジョンAIをさまざまな組み込みアプリケーションに統合できるようになるとルネサスは述べています。
（画像：ルネサスエレクトロニクス）
Syntiant NDP120チップには、話者認識、キーワード検出、複数のウェイクワード、ローカルコマンド認識など、高精度のハンズフリー音声機能を実装するために使用できる高度なAI機能が組み込まれています。 Syntiant Core 120ニューラルネットワーク推論エンジンにパッケージ化されたNDP2は、消費電力を1 mWのバッテリー電力に最小限に抑えながら、複数のアプリケーションを同時に実行することもできます。
音声制御のマルチモーダルAIソリューションは、ルネサスのポートフォリオから相互に互換性のある複数のデバイスを使用し、アナログ、電源、および組み込み処理製品の組み合わせを特徴とする同社のWinningCombinationsリファレンスデザインの一部です。 回路図やBOMリストなど、マルチモーダルAIソリューションのリファレンスデザインが利用可能になりました。
ルネサスエレクトロニクスアメリカについて