Renesas Electronics Corp. и Syntiant Corp. совместно разработали решение мультимодального искусственного интеллекта (AI) с голосовым управлением, которое обеспечивает бесконтактную обработку изображений с низким энергопотреблением для обработки изображений в системах IoT и периферийных системах на базе искусственного интеллекта. Приложения для мультимодального ИИ-решения включают в себя автоматы самообслуживания, камеры видеонаблюдения, системы видеоконференцсвязи и интеллектуальные устройства, такие как роботизированные устройства для уборки.
Предоставляя возможности обработки голоса и изображений, решение сочетает в себе микропроцессорный блок (MPU) Vision AI серии Renesas RZ / V и мультимодальный нейронный процессор принятия решений Syntiant NDP120 с низким энергопотреблением. Совместное решение обеспечивает постоянную работу с быстрой активацией по голосу из режима ожидания для выполнения распознавания объектов, распознавания лиц и других задач, связанных со зрением.
(Источник: Renesas Electronics)
В качестве одного из приведенных примеров приложения используются определяемые пользователем голосовые подсказки, которые управляют активацией и работой системы, в то время как распознавание Vision AI отслеживает поведение оператора и контролирует работу или выдает предупреждение при обнаружении подозрительных действий.
(Изображение: Renesas Electronics)
«Мультимодальная архитектура упрощает создание бесконтактных пользовательских интерфейсов для систем Vision на базе искусственного интеллекта», - сказал Ренесас. «Использование специального энергоэффективного чипа для распознавания голоса снижает энергопотребление в режиме ожидания и ускоряет разработку системы, поскольку можно разрабатывать программное обеспечение независимо от функций Vision AI».
MPU Renesas RZ / V Series для Vision AI включает в себя динамически реконфигурируемый ускоритель процессора AI (DRP-AI) и сочетает в себе высокоточный логический вывод AI с высокой энергоэффективностью. По словам Ренесаса, такая мощность устраняет необходимость в устройствах управления температурой, таких как радиаторы или охлаждающие вентиляторы, снижая стоимость спецификации и позволяя интегрировать Vision AI в широкий спектр встраиваемых приложений.
(Изображение: Renesas Electronics)
Чип Syntiant NDP120 включает расширенные возможности искусственного интеллекта, которые можно использовать для реализации высокоточных голосовых функций без помощи рук, включая распознавание говорящего, обнаружение ключевых слов, множественные слова для пробуждения и локальное распознавание команд. NDP120, оснащенный механизмом логического вывода нейронной сети Syntiant Core 2, также может запускать несколько приложений одновременно, сводя к минимуму энергопотребление до 1 мВт энергии батареи.
Мультимодальное AI-решение с голосовым управлением использует несколько взаимно совместимых устройств из портфолио Renesas и является частью эталонных проектов компании Winning Combinations, в которых используются комбинации аналоговых, силовых и встроенных устройств обработки. Эталонный дизайн мультимодального решения AI уже доступен, включая принципиальные схемы и списки спецификаций.
о Renesas Electronics America