ルネサスエレクトロニクスは、ビジョンAIベースのIoTや、セルフチェックアウト機、防犯カメラ、ビデオ会議システムなどのエッジシステムでの画像処理のための低電力非接触操作を容易にする音声制御マルチモーダルAIソリューションの共同開発を発表しました。ロボット洗浄装置などのスマートアプライアンス。
新しいソリューションは、同社のRZ / VシリーズビジョンAIMPUと、低電力のマルチモーダル、マルチ機能のSyntiant NDP120ニューラルデシジョンプロセッサを組み合わせて、高度な音声および画像処理機能を提供します。 共同ソリューションは、スタンバイモードからの迅速な音声トリガーアクティベーションを備えた常時オン機能を提供し、オブジェクト認識、顔認識、およびセキュリティカメラやその他のシステムの重要な機能であるその他の視覚ベースのタスクを実装します。 たとえば、ユーザー定義の音声キューがアクティブ化とシステム操作を促進する一方で、ビジョンAI認識はオペレーターの行動を追跡し、操作を制御したり、疑わしいアクションが識別されたときに警告を発したりします。
マルチモーダルアーキテクチャにより、ビジョンAIベースのシステムの非接触ユーザーエクスペリエンスを簡単に作成できます。 音声認識に専用の電力効率の高いチップを使用すると、ビジョンAI機能とは独立してソフトウェアを開発できるため、システム開発を促進しながら待機電力消費を削減できます。
「使いやすさと安全性の両方を向上させる方法として、画像と音声の両方の入力情報の複数のストリームを使用するマルチモーダル システムの需要が今後増加すると予想しています」と上級副社長兼 SoC ビジネス責任者の新田 裕人氏は述べています。ルネサスのIoTおよびインフラストラクチャ事業部に所属。 「低消費電力画像AIのリーダーであるルネサスとの協業により」 テクノロジー、および音声 AI テクノロジーのリーダーである Syntiant と提携することで、当社は組み込みシステムにおける低消費電力、超小型のスマート音声 AI テクノロジーの導入を加速し、新しい組み合わせソリューションを世界中の顧客に提供していきます。」
「音声ベースのユーザーインターフェイスにより、顧客は新しいユーザーエクスペリエンスを提供できるようになり、コンセプトから実現まで次世代の革新的なアイデアを実現できます」と、カートブッシュのSyntiantCEOは述べています。 「私たちはすでに15万を超えるディープラーニングNDPを世界中に出荷しており、さまざまな消費者向けおよび産業用IoTアプリケーションで常時オンの音声を実現しています。 ルネサスとのコラボレーションにより、さまざまなデバイスやユースケースでグローバルな顧客ベースの牽引力を確実に加速する、強力で低電力の音声および画像ソリューションが提供されます。」
新しい音声制御マルチモーダルAIソリューションは、幅広いルネサスポートフォリオの相互に互換性のある複数のデバイスを採用して、市場投入までの時間を短縮し、リスクを軽減するための高度なプロトタイピングプラットフォームを顧客に提供します。 新しいソリューションは同社のWinningCombinationsの一部であり、魅力的なアナログ、パワー、および組み込み処理製品の組み合わせを提供し、顧客が設計を加速してより早く市場に投入するのを支援します。