음성 제어 멀티모달 AI 솔루션

Renesas Electronics와 딥러닝 칩 Syntiant technology 회사는 음성 제어 멀티모달 AI 솔루션의 공동 개발을 발표했습니다.

AI 솔루션은 셀프 계산대, 보안 카메라, 화상 회의 시스템 및 로봇 청소 장치와 같은 스마트 기기와 같은 비전 AI 기반 IoT 및 에지 시스템에서 이미지 처리를 위한 저전력 비접촉 작동을 가능하게 합니다.

이 장치는 Renesas RZ/V 시리즈 비전 AI 마이크로프로세서 유닛(MPU)과 저전력 다중 모드, 다중 기능 Syntiant NDP120 신경 결정 프로세서를 결합하여 고급 음성 및 이미지 처리 기능을 제공합니다.

이 공동 솔루션은 보안 카메라 및 기타 시스템에서 중요한 기능인 물체 인식, 얼굴 인식 및 기타 비전 기반 작업을 수행하기 위해 대기 모드에서 빠른 음성 트리거 활성화와 함께 상시 작동 기능을 제공합니다. 예를 들어 사용자 정의 음성 신호가 활성화 및 시스템 작동을 유도하는 반면 비전 AI 인식은 운영자 행동을 추적하고 작동을 제어하거나 의심스러운 행동이 감지되면 경고를 발행합니다.

다중 모드 아키텍처를 사용하면 비전 AI 기반 시스템을 위한 비접촉 사용자 경험을 더 쉽게 생성할 수 있습니다. 음성 인식을 위한 전력 효율적인 전용 칩을 사용하면 비전 AI 기능과 독립적으로 소프트웨어를 개발할 수 있어 시스템 개발 속도를 높이는 동시에 대기 전력 소비를 줄입니다.

닛타 히로토(Hiroto Nitta) IoT 및 인프라 비즈니스 SoC 사업부 수석 부사장 겸 수석 부사장은 “사용 편의성과 안전성을 모두 개선하기 위해 여러 입력 정보 스트림을 사용하는 멀티모달 시스템에 대한 수요가 증가할 것으로 예상한다”고 말했다. 르네사스의 유닛.

“음성 기반 사용자 인터페이스를 통해 고객은 차세대 혁신적인 아이디어를 개념에서 현실로 가져오는 새로운 사용자 경험을 제공할 수 있을 것이라고 신티언트의 CEO인 커트 부쉬(Kurt Busch)가 덧붙였습니다. "우리는 이미 15만 개 이상의 딥 러닝 NDP를 전 세계적으로 출하하여 다양한 소비자 및 산업용 IoT 애플리케이션에서 항상 음성을 지원합니다."

Renesas RZ/V Series MPU for Vision AI는 Renesas의 DRP-AI(Dynamically Reconfigurable Processor-AI) 가속기를 통합하고 고정밀 AI 추론과 전력 효율성을 결합하여 방열판이나 냉각 팬과 같은 열 분산 측정이 필요하지 않습니다. BOM(Bill of Materials) 비용을 줄이고 비전 AI를 광범위한 임베디드 애플리케이션에 통합할 수 있습니다.

Syntiant NDP120 칩은 화자 인식, 키워드 감지, 다중 깨우기 단어 및 로컬 명령 인식을 포함하여 많은 고정밀 핸즈프리 음성 기능을 구현하는 데 사용할 수 있는 AI 기능을 통합합니다. Syntiant Core 2 신경망 추론 엔진과 함께 패키지된 NDP120은 전력 소비를 1mW 배터리 전력으로 최소화하면서 동시에 여러 애플리케이션을 실행할 수도 있습니다.