Несомненно, вы читали или слышали об этом, поскольку количество граничных сетевых устройств увеличивалось, огромный объем потока данных постоянно увеличивался. Эти устройства включают в себя беспилотные автомобили, устройства Интернета вещей, бытовую электронику и даже ноутбуки и персональные компьютеры. По разным оценкам, к 2025 году в эксплуатации будут находиться десятки миллиардов устройств Интернета вещей. Эти устройства отправляют различные формы данных в облако в виде непрерывных потоков данных, а скорости передачи данных сильно различаются. Как правило, эти устройства генерируют большой объем необработанных данных, и объем данных со временем будет увеличиваться.
Видеорегистраторы в камерах безопасности, беспилотных автомобилях и ПК генерируют высокоскоростные видеопотоки с высоким разрешением. Устройства IoT генерируют данные со средней скоростью передачи данных и объединяют их в большие потоки данных. Многие другие типы датчиков IoT (измеряют температуру, давление, местоположение, уровень освещенности и т. Д.) Будут генерировать потоки данных с низкой скоростью передачи данных, но вскоре количество таких датчиков достигнет миллиардов. Следовательно, даже эти потоки данных с низкой скоростью передачи данных могут быть агрегированы в более крупные потоки данных с высокой скоростью передачи перед попаданием в облако.
Рост беспроводных сетей 5G и других высокоскоростных сетевых технологий, в том числе пикосот, сетей IoT для дальней связи (таких как LoRaWAN) и глобальных сетевых спутниковых сетей (таких как расширяющаяся широкополосная сеть Starlink от SpaceX и спутниковый Интернет IoT от Swarm Technologies). ), который обеспечивает обширный и быстрый доступ к облаку (Примечание: Starlink приобрела Swarm Technologies в августе 2021 года). Эти коммуникационные и сетевые технологии ускоряют развитие новых сетей.
. Приложения реального времени на границе сети обычно не допускают больших задержек, поэтому обработка, анализ и принятие решений должны передаваться на само устройство. Эти периферийные устройства сети включают автономные транспортные средства, датчики Интернета вещей, камеры видеонаблюдения, смартфоны, ноутбуки и персональные компьютеры. Следовательно, потенциал сетевых вычислений огромен.
Облако не может делать все под тяжестью данных
Экспоненциальный рост смартфонов и устройств Интернета вещей способствовал развитию периферийных вычислений в сети. Эти устройства распространены повсеместно и должны быть подключены к Интернету для отправки или получения информации в облако и из него. Некоторые устройства Интернета вещей (например, камеры) во время работы генерируют большие объемы данных.
Другие устройства Интернета вещей, такие как датчики температуры, генерируют небольшой объем данных, но, поскольку количество таких датчиков может достигать миллиардов, это создает большую нагрузку на облачную обработку. Следовательно, обработка на границе сети очень необходима не только для снижения стоимости сетевой связи и облачного хранилища в облаке, но и для предотвращения перегрузки облачного канала данных.
Разработчики продуктов и приложений на периферии сети все чаще применяют алгоритмы искусственного интеллекта и машинного обучения (AI/ML) для сопоставления и распознавания сложных шаблонов, которые помогают анализировать данные и принимать решения на их основе. Фактически, использование AI/ML technology рос чрезвычайно быстро.
В настоящее время алгоритмы AI / ML рассматриваются как необходимое средство для эффективной обработки необработанных данных, поскольку они могут идентифицировать сложные и многомерные шаблоны данных, которые трудно проанализировать и распознать с помощью традиционных программ-алгоритмов. Некоторые специальные приложения AI / ML включают обнаружение, распознавание, идентификацию и подсчет людей или объектов; отслеживание активов и инвентаря, восприятие окружающей среды, обнаружение и распознавание звука и голоса, мониторинг работоспособности системы и планирование технического обслуживания системы. Разработка вычислительных устройств и приложений.
Новые периферийные устройства и приложения сети включают автономные транспортные средства, роботов, автоматизированное производство, удаленный мониторинг, системы цепочки поставок и логистики, а также видеонаблюдение для обеспечения общественной и частной безопасности. Спрос рынка на эти пограничные системы сети быстро растет, поскольку они могут повысить эффективность, снизить эксплуатационные расходы и улучшить взаимодействие с пользователем. Но независимо от того, какую инфраструктуру беспроводной и проводной связи мы создаем, поток избыточных данных может перегрузить или заблокировать эти конвейеры данных в облако.
Локализованная обработка на границе сети помогает разблокировать конвейер данных
Эти тенденции указывают на то, что теперь необходимо выполнять больше обработки, когда данные генерируются на границе сети, и уменьшать объем данных, передаваемых в облако. Стремительный рост Интернета вещей и других устройств, подключенных к сети, является основной движущей силой разработки новых периферийных сетевых устройств, что дополнительно стимулирует разработку новых приложений, тем самым преобразуя необработанные данные в полезную и действенную информацию для поддержки быстрого принятия решений. -Можно реагировать на меняющиеся ситуации в режиме реального времени.
На ранних этапах развития сетевых вычислений компании сосредоточились на стоимости передачи данных в центры обработки данных на большие расстояния. Первоначально основной особенностью пограничных сетевых приложений была необходимость доступа к данным, хранящимся в облаке, и другим компьютерам, подключенным к облаку. Эти ранние приложения обычно не являются приложениями реального времени; время отклика составляет сотни миллисекунд или даже секунд. Однако развитие устройств Интернета вещей и растущий спрос на обработку, анализ и реагирование в реальном времени на границе сети способствовали мощному развитию технологии границы сети наряду с более серьезными проблемами проектирования.
Обработка на границе сети делает вычисления и хранение данных все ближе и ближе к устройству, которое собирает данные, вместо того, чтобы анализировать и принимать решения в центре обработки данных, расположенном за тысячи миль.
Рисунок 1. Тенденции в области сетевых вычислений (источник изображения: решетка)
Многие пограничные приложения сети, которые могут использовать возможности AI / ML, должны работать в условиях чрезвычайно жестких ограничений энергопотребления. Эти широко распространенные устройства обычно работают от аккумулятора. Такие приложения используются в различных сетевых средах, включая фабрики, фермы, офисные здания, розничные магазины, больницы, склады, улицы и жилые дома. По мере увеличения их числа эти устройства должны работать долгое время, даже месяцы или годы, с одной зарядкой или только на сборе и хранении энергии.
Следовательно, многие устройства должны большую часть времени находиться в состоянии сна или гибернации, а большинство схем должны находиться в режиме ожидания с низким энергопотреблением, когда устройство находится в неактивном состоянии. Затем событие активации запустит устройство при необходимости. В этом типе приложений основные схема Система, работающая со сверхнизким энергопотреблением, должна оставаться в режиме ожидания, ожидая события активации, а затем запитывать остальное устройство по мере необходимости.
FPGA / ПРОГРАММИРУЕМАЯ ПОЛЬЗОВАТЕЛЕМ ВЕНТИЛЬНАЯ МАТРИЦА реализует AL / ML с низким энергопотреблением
Требования к низкому рабочему энергопотреблению и реализации алгоритма AI / ML, похоже, противоречат требованиям к проектированию периферийных устройств сети с низким энергопотреблением. Однако эти два сложных требования к конструкции не противоречат друг другу. Новейшая FPGA компании Lattice - серия устройств CertusPro-NX с низким энергопотреблением, небольшими размерами и высокой производительностью - предназначена для удовлетворения многих требований к проектированию периферийных сетевых устройств с низким энергопотреблением. Эти FPGA могут поддерживать несколько датчиков, дисплеев, видео высокого разрешения, сетевое подключение и обработку AI / ML на границе сети.
В то же время недавно выпущенная Lattice версия 4.1 коллекции решений sensAI предоставляет готовые к использованию инструменты AI / ML, IP-ядра, аппаратные платформы, эталонные проекты и демонстрации, а также услуги индивидуального проектирования, чтобы помочь проектным группам разрабатывать новое периферийное сетевое оборудование. и быстро вывести на рынок. Последняя версия sensAI поддерживает CertusPro-NX FPGA.
Коллекция решений Lattice sensAI ускоряет сквозное обучение, проверку и компиляцию моделей AI / ML. Решетка добавила среду проектирования sensAI Studio в sensAI 4.0, выпущенном в начале 2021 года, который представляет собой инструмент на основе графического пользовательского интерфейса (GUI), который помогает разработчикам быстро создавать приложения для машинного обучения. При использовании инструментов в Lattice sensAI 4.1 для настройки схемы сетевых вычислений и использовании Lattice iCE40 UltraPlus, CrossLink-NX, ECP5 и CertusPro-NX FPGA, функции AI / ML в реальном времени могут быть реализованы при сверхнизком энергопотреблении. ―― Потребляемая мощность составляет от 1 мВт до 1 Вт.
Рисунок 2. Среда проектирования Lattice sensAI Studio ускоряет сквозное обучение, проверку и компиляцию моделей AI/ML. (Источник изображения: Решетка)
Благодаря поддержке sensAI 4.1 продуктов серии Lattice CertusPro-NX FPGA производительность sensAI также значительно улучшилась. В дополнение к существующим приложениям для обнаружения и отслеживания объектов также были добавлены такие приложения, как классификация нескольких объектов в реальном времени. Набор решений sensAI 4.1 включает обновленный компилятор нейронной сети, а также совместим с другими широко используемыми платформами машинного обучения, включая последние версии Caffe, Keras, TensorFlow и TensorFlow Lite.
IP-ядра в наборе решений Lattice sensAI 4.1 включают три типа ускорителей сверточных нейронных сетей (CNN) — CNN, CNN Plus и CNN Compact — и механизм сопроцессора CNN. IP-ядро CNN позволяет разработчикам использовать различные широко используемые CNN, выпущенные другими, такие как Mobilenet v1/v2, Resent, SSD и VGG, или настраивать модель CNN по мере необходимости. Ускоритель sensAI 4.1 CNN использует возможности параллельной обработки, распределенную память и ресурсы DSP ПЛИС Lattice, чтобы значительно упростить реализацию проектов искусственного интеллекта со сверхнизким энергопотреблением. Ядро ускорителя использует программируемую логику FPGA для реализации нейронных сетей с низким энергопотреблением, в том числе чрезвычайно эффективных двоичных нейронных сетей (BNN), которые могут реализовать CNN со сверхнизким энергопотреблением в милливаттном диапазоне.
Рисунок 3. Коллекция решений Lattice sensAI позволяет разрабатывать устройства AI/ML на базе Lattice FPGA. (Источник изображения: Решетка)
Эталонный дизайн Lattice sensAI 4.1
Решеточные ПЛИС обеспечивают программируемый ввод / вывод, который можно настроить для поддержки различных стандартов электрических интерфейсов, обычно используемых в датчик интерфейсы. Компания также предоставляет множество аппаратных и программных IP-модулей для поддержки различных протоколов связи датчиков. Поскольку FPGA уже давно имеют значительные преимущества в объединении датчиков, дизайн Lattice sensAI 4.1 направлен на упрощение разработки функций логического вывода AI/ML на основе нескольких датчиков в граничных сетевых устройствах и реализацию интеллектуального объединения датчиков. Коллекция решений sensAI 4.1 включает в себя множество эталонных примеров проектирования, демонстрирующих различные случаи применения интеллектуальных датчиков, которые можно запускать одновременно для достижения глубокой ситуационной осведомленности. Эти эталонные проекты включают в себя:
• Обнаружение жестов
В этом эталонном дизайне используется ИК-датчик изображения для реализации маломощной системы обнаружения жестов на основе искусственного интеллекта. Эталонный дизайн предоставляет набор обучающих данных, сценарии, которые можно обучить с помощью обычно используемых инструментов обучения нейронных сетей, и модель нейронной сети, которую пользователи могут изменять.
• Обнаружение ключевых слов
В этом эталонном дизайне используется цифровой микрофон MEMS для непрерывного обнаружения произнесения ключевых слов. Дизайнеры могут использовать фреймворки глубокого обучения (такие как Caffe, Tensorflow или Keras) для обновления предоставленного набора обучающих данных, чтобы добавить в систему функции слова пробуждения. Эталонный дизайн включает набор обучающих данных, сценарии, которые можно обучить с использованием обычно используемых инструментов обучения нейронных сетей, и модель нейронной сети, которую пользователи могут изменять.
• Распознавание лиц
Этот эталонный дизайн использует датчики изображения для реализации распознавания лиц на основе CNN и может изменять обучающую базу данных для распознавания других типов целей.
• Обнаружение персонала
В этом эталонном дизайне используются датчики изображения CMOS для постоянного обнаружения людей. Система искусственного интеллекта, основанная на этой конструкции, может использовать структуру глубокого обучения (такую как Caffe или Tensorflow) для обновления предоставленной модели обучения для обнаружения и определения местоположения любой интересующей цели. Эталонный дизайн включает модель нейронной сети, набор обучающих данных и сценарии, которые можно обучить с помощью обычных обучающих инструментов.
• Обнаружение, классификация, отслеживание и подсчет целей.
В этом эталонном дизайне приведены примеры обнаружения, классификации, отслеживания и подсчета целей. Он имеет полный дизайн, включая FPGA RTL для плат разработки Lattice, модели нейронных сетей, примеры наборов обучающих данных, а также повторное создание и обновление сценария проектирования.
Общие и потенциальные приложения на границе сети, в которых можно использовать ИИ
Использование алгоритмов искусственного интеллекта / машинного обучения для повышения производительности многих периферийных устройств сети (таких как автономные роботы, системы контроля окружающей среды и камеры видеонаблюдения) имеет очевидные преимущества, в то время как другие типы периферийных устройств сети также могут извлечь выгоду из этого, например ПК и ноутбуки. . Lattice работает с партнерами и клиентами над использованием многорежимного, интеллектуального объединения датчиков и технологии AI / ML для постоянного улучшения опыта пользователей ПК / ноутбуков и значительного снижения энергопотребления ноутбуков. В некоторых приложениях время автономной работы увеличилось до 28%.
Какие функции оборудования имеют потенциальную ценность?
Использование ПК и ноутбуков в течение 24 часов сильно отличается, и они обычно интенсивно используются в рабочее время в течение дня. Однако даже в рабочее время они будут находиться в состоянии покоя. Люди иногда делают перерывы и обедают в полдень. В это время они обычно поддерживают работу компьютера, чтобы гарантировать, что различные приложения, которые они открывают, не закрыты.
Объедините анализ AI / ML и принятие решений с существующими датчиками компьютера (камеры и микрофоны) для достижения интеллектуального объединения датчиков, позволяя ПК или ноутбукам воспринимать окружающую среду, чтобы решить, когда выключить дисплей и процессор, а когда дать им повторно приведен в действие.
Самый простой способ использования функции обнаружения присутствия - выключить компьютер, когда никого нет рядом. Когда пользователь находится вдали от экран В течение длительного времени функция отслеживания внимания может затемнять экран компьютера и активировать режим пониженного энергопотребления. ПЛИС с низким энергопотреблением и небольшими размерами, которая действует как центр интеллектуального датчика, может получать входные данные от компьютерных датчиков, а затем решать, какие компоненты подавать питание в зависимости от ситуации.
Решить проблемы конфиденциальности и безопасности
Точно так же эти функции могут также повысить конфиденциальность и безопасность компьютера. Встроенная в компьютер конференц-камера может использоваться для наблюдения за фоном позади пользователя и определения того, не подглядывает ли кто-нибудь из-за плеча пользователя. Если компьютер настроен для защиты конфиденциальности, когда кто-то, стоящий за авторизованным пользователем, подозревается в подглядывании за экраном компьютера, может появиться всплывающее предупреждение, напоминающее пользователю, и даже автоматическое затемнение экрана. Следует отметить, что в этих решениях все данные логического вывода хранятся локально в ПЛИС. В SoC передаются только метаданные, что еще больше повышает конфиденциальность и безопасность.
Оптимизировать пользовательский опыт
Функции AI / ML также могут улучшить общий опыт пользователей компьютеров. Например, функция лицевого видоискателя на основе AI / ML может использовать более высокое разрешение встроенной камеры видеоконференции для кадрирования и центрирования аватара пользователя, обеспечивая лучшее изображение для видеоконференции. Участники также могут двигаться во время встречи, пока их изображения остаются в центре. Точно так же распознавание жестов может добавить возможности бесконтактной работы к ноутбукам, ПК или любым другим устройствам Интернета вещей с поддержкой видео.
Польза для здоровья
Многие компании теперь ясно дают понять, что хотят защитить здоровье своих сотрудников. Функции восприятия на основе AI / ML могут помочь избежать повторяющихся стрессовых травм с помощью всплывающих напоминаний и других мер, а также использовать компьютерные видеодатчики, чтобы гарантировать, что сотрудники действительно приняли данные рекомендации по отдыху.
Приложения AI / ML также могут использоваться для определения позы пользователя, что может быть еще одним фактором, вызывающим повторяющиеся стрессовые травмы. Эти функции, использующие активную обратную связь с датчиками, могут использоваться для разработки приложений для здоровья, которые значительно лучше, чем простые напоминания о времени, используемые в настоящее время на предприятиях, и могут эффективно бороться с производственными травмами, связанными со стрессом.
Все эти функции, реализованные с помощью AI / ML, могут помочь поставщикам создавать ПК и ноутбуки, более привлекательные для корпоративных покупателей, и все эти функции могут быть реализованы с помощью коллекции решений sensAI 4.1 и функций FPGA с низким энергопотреблением Lattice.
Использование этого типа FPGA превосходит культовую функцию разработки FPGA для длительного соединения и объединения датчиков, и на основе зрелых алгоритмов AI / ML добавляет функции анализа сигналов датчиков и принятия решений. Добавление AI/ML делает FPGA системным контроллером с низким энергопотреблением, который может управлять системными функциями, повышать удобство работы пользователей и значительно продлевать срок службы батареи за счет снижения общего энергопотребления системы.
Заключение: огромный рынок, состоящий из миллиардов граничных сетевых устройств, еще не разработан.
Предлагая несколько продуктов серии FPGA с низким энергопотреблением и набор решений sensAI 4.1, поддерживающих эти серии продуктов, Lattice стремится внедрить технологию AI / ML на миллиарды периферийных сетевых устройств. Таким образом, пограничные сетевые приложения представляют собой потенциальный целевой рынок.
По разным оценкам, десятки миллиардов граничных сетевых устройств необходимы в обширных регионах мира для удовлетворения потребностей большого количества рынков граничных сетей, что очень привлекательно для бизнеса FPGA - конечно, этот масштаб является приемлемым. таким образом подходит для любой отрасли. Выпуск Lattice набора решений sensAI 4.1 и серии маломощных и малогабаритных FPGA непосредственно нацелен на периферийные сетевые приложения и рынки. Коллекция решений sensAI 4.1 от Lattice - это инновационный инструмент для разработки сетевых приложений, который позволяет разработчикам систем разрабатывать гибкие, ориентированные на приложения, решения логического вывода AI / ML на основе FPGA для различных рынков.