Sin lugar a dudas, lo ha leído o escuchado, ya que la cantidad de dispositivos de borde de red ha proliferado, una gran cantidad de flujo de datos se ha incrementado continuamente. Estos dispositivos incluyen automóviles autónomos, dispositivos de Internet de las cosas, productos electrónicos de consumo e incluso computadoras portátiles y personales. Según múltiples estimaciones, para 2025, habrá decenas de miles de millones de dispositivos IoT en funcionamiento. Estos dispositivos envían varias formas de datos a la nube en forma de flujos de datos continuos y las velocidades de datos varían ampliamente. En general, estos dispositivos generarán una gran cantidad de datos sin procesar y la cantidad de datos seguirá aumentando con el tiempo.
Los grabadores de video en cámaras de seguridad, automóviles autónomos y PC generan transmisiones de video de alta resolución y alta velocidad. Los dispositivos de IoT generan datos de tasa de bits media y los agregan en grandes flujos de datos. Muchos otros tipos de sensores de IoT (medir la temperatura, la presión, la ubicación, el nivel de luz, etc.) generarán flujos de datos de baja tasa de bits, pero pronto la cantidad de dichos sensores alcanzará los miles de millones. Por lo tanto, incluso estos flujos de datos de baja tasa de bits se pueden agregar en flujos de datos más grandes y de alta tasa de bits antes de ingresar a la nube.
El auge de las redes inalámbricas 5G y otras tecnologías de red de alta velocidad, incluidas las picocélulas, las redes IoT de larga distancia (como LoRaWAN) y las redes satelitales de redes globales (como la red de banda ancha Starlink en expansión de SpaceX y la Internet IoT satelital de Swarm Technologies. ), que proporciona un acceso extenso y rápido a la nube (Nota: Starlink adquirió Swarm Technologies en agosto de 2021) Estas tecnologías de comunicaciones y redes aceleran el borde de la red emergente
. Las aplicaciones en tiempo real en el borde de la red generalmente no toleran una latencia alta, por lo que el procesamiento, el análisis y la toma de decisiones deben transferirse al dispositivo en sí. Estos dispositivos de borde de red incluyen vehículos autónomos, sensores de IoT, cámaras de seguridad, teléfonos inteligentes, computadoras portátiles y computadoras personales. Por lo tanto, el potencial de la informática de borde de red es enorme.
Bajo el peso de los datos, la nube no puede hacer todo
El crecimiento exponencial de los teléfonos inteligentes y los dispositivos de IoT ha promovido el desarrollo de la informática de punta en la red. Estos dispositivos son ubicuos y deben estar conectados a Internet para enviar o recibir información desde y hacia la nube. Algunos dispositivos de IoT (como las cámaras) generan grandes cantidades de datos durante su funcionamiento.
Otros dispositivos de IoT, como los sensores de temperatura, generan una pequeña cantidad de datos, pero dado que la cantidad de estos sensores puede llegar a miles de millones, representa una gran carga para el procesamiento en la nube. Por lo tanto, el procesamiento basado en el borde de la red es muy necesario, no solo para reducir el costo de la comunicación de la red y el almacenamiento en la nube en la nube, sino también para evitar la sobrecarga del canal de datos en la nube.
Los desarrolladores de productos y aplicaciones de borde de red están adoptando cada vez más algoritmos de inteligencia artificial y aprendizaje automático (AI/ML) para unir y reconocer patrones complejos para ayudar a analizar datos y tomar decisiones basadas en ellos. De hecho, el uso de AI/ML la tecnología ha crecido extremadamente rápidamente.
Hoy en día, los algoritmos AI / ML se consideran medios necesarios para procesar datos sin procesar de manera eficiente, porque pueden identificar patrones de datos complejos y multidimensionales que son difíciles de analizar y reconocer por los programas de algoritmos tradicionales. Algunas aplicaciones específicas de AI / ML incluyen detección, reconocimiento, identificación y recuento de personas u objetos; seguimiento de activos e inventario, percepción ambiental, detección y reconocimiento de sonido y voz, monitoreo del estado del sistema y programación del mantenimiento del sistema. El desarrollo de dispositivos y aplicaciones informáticas.
Los dispositivos y aplicaciones de borde de red emergentes incluyen vehículos autónomos, robots, producción automatizada, monitoreo remoto, cadena de suministro y sistemas de logística, y videovigilancia para garantizar la seguridad pública y privada. La demanda del mercado de estos sistemas de borde de red está creciendo rápidamente porque pueden aumentar la eficiencia, reducir los costos operativos y mejorar la experiencia del usuario. Pero no importa cuánta infraestructura de comunicaciones inalámbricas y por cable construyamos, la confusión del exceso de datos puede abrumar o bloquear estas canalizaciones de datos a la nube.
El procesamiento localizado en el borde de la red ayuda a desbloquear la canalización de datos
Estas tendencias indican que ahora es necesario hacer más procesamiento donde los datos se generan en el borde de la red y reducir la cantidad de datos transmitidos a la nube. El crecimiento explosivo de Internet de las cosas y otros dispositivos conectados a la red es la principal fuerza impulsora para el desarrollo de nuevos dispositivos de borde de red, lo que estimula aún más el desarrollo de nuevas aplicaciones, transformando así los datos sin procesar en información útil y procesable para respaldar decisiones rápidas. -haciendo, Responder a situaciones cambiantes en tiempo real.
En las primeras etapas del desarrollo de la informática de borde de red, las empresas se centraron en el costo de transmitir datos a centros de datos a largas distancias. Inicialmente, una característica importante de las aplicaciones de borde de red era la necesidad de acceder a los datos almacenados en la nube y a otras computadoras conectadas a la nube. Estas primeras aplicaciones no suelen ser aplicaciones en tiempo real; son aceptables tiempos de respuesta de cientos de milisegundos o incluso segundos. Sin embargo, el desarrollo de dispositivos de Internet de las cosas y la creciente demanda de procesamiento, análisis y respuesta en tiempo real en el borde de la red han promovido el poderoso desarrollo de la tecnología del borde de la red, junto con mayores desafíos de diseño.
El procesamiento de borde de red hace que la computación y el almacenamiento de datos estén cada vez más cerca del dispositivo que recopila los datos, en lugar de analizar y tomar decisiones en un centro de datos a miles de kilómetros de distancia.
Figura 1. Tendencias en la informática de borde de red (Fuente de la imagen: Lattice)
Muchas aplicaciones de borde de red que pueden aprovechar las capacidades de AI / ML deben operar bajo restricciones de consumo de energía extremadamente estrictas. Estos dispositivos ampliamente distribuidos generalmente dependen de la energía de la batería. Dichas aplicaciones abundan en varios entornos de borde de red, incluidas fábricas, granjas, edificios de oficinas, tiendas minoristas, hospitales, almacenes, calles y residencias. A medida que aumenta su número, estos dispositivos necesitan funcionar durante mucho tiempo, incluso meses o años, con una sola carga o dependiendo únicamente de la recolección y almacenamiento de energía.
Por lo tanto, muchos dispositivos deben estar en un estado de suspensión o hibernación la mayor parte del tiempo, y la mayoría de los circuitos deben estar en un modo de espera de bajo consumo cuando el dispositivo está en un estado inactivo. Luego, el evento de activación iniciará el dispositivo cuando sea necesario. En este tipo de aplicación, el básico circuito El sistema que funciona con un consumo de energía ultra bajo debe permanecer en espera, esperando un evento de activación y luego encender el resto del dispositivo según sea necesario.
FPGA realiza AL / ML con bajo consumo de energía
Los requisitos para el bajo consumo de energía operativa y la implementación del algoritmo AI / ML parecen entrar en conflicto con los requisitos para el diseño de dispositivos de borde de red de bajo consumo. Sin embargo, estos dos requisitos de diseño complejos no son contradictorios. La última FPGA de Lattice, la serie de dispositivos CertusPro-NX de bajo consumo, tamaño pequeño y alto rendimiento, está diseñada para cumplir con los muchos requisitos de diseño de los dispositivos periféricos de red de bajo consumo. Estos FPGA pueden admitir múltiples sensores, pantallas, video de alta resolución, conectividad de red y procesamiento AI / ML en el borde de la red.
Al mismo tiempo, la nueva versión 4.1 de Lattice de la colección de soluciones sensAI proporciona herramientas AI / ML listas para usar, núcleos IP, plataformas de hardware, diseños de referencia y demostraciones, y servicios de diseño personalizados para ayudar a los equipos de diseño a desarrollar nuevos equipos de borde de red. y llevarlo rápidamente al mercado. La última versión de sensAI es compatible con CertusPro-NX FPGA.
La colección de soluciones Lattice sensAI acelera el entrenamiento, la verificación y la compilación de modelos de AI / ML de un extremo a otro. Lattice agregó el entorno de diseño sensAI Studio a sensAI 4.0 lanzado a principios de 2021, que es una herramienta basada en una interfaz gráfica de usuario (GUI) que ayuda a los desarrolladores a crear rápidamente aplicaciones de aprendizaje automático. Al usar las herramientas en Lattice sensAI 4.1 para configurar el diseño de computación de borde de la red, y al usar Lattice iCE40 UltraPlus, CrossLink-NX, ECP5 y CertusPro-NX FPGA, las funciones AI / ML en tiempo real se pueden realizar con un consumo de energía ultra bajo ――El consumo de energía es tan bajo como 1 mW a 1W.
Figura 2. El entorno de diseño sensAI Studio de Lattice acelera el entrenamiento, la verificación y la compilación de modelos de IA/ML de extremo a extremo. (Fuente de la imagen: celosía)
Con sensAI 4.1 compatible con los productos de la serie FPGA Lattice CertusPro-NX, el rendimiento de sensAI también ha mejorado considerablemente. Además de las aplicaciones existentes de detección y seguimiento de objetos, también se han agregado aplicaciones como la clasificación en tiempo real de múltiples objetos. El conjunto de soluciones sensAI 4.1 incluye un compilador de redes neuronales actualizado y también es compatible con otras plataformas de aprendizaje automático ampliamente utilizadas, incluidas las últimas versiones de Caffe, Keras, TensorFlow y TensorFlow Lite.
Los núcleos IP en el conjunto de soluciones Lattice sensAI 4.1 incluyen tres tipos de aceleradores de redes neuronales convolucionales (CNN): CNN, CNN Plus y CNN Compact, y un motor de coprocesador CNN. El núcleo de IP de CNN permite a los desarrolladores utilizar varias CNN ampliamente utilizadas lanzadas por otros, como Mobilenet v1/v2, Resent, SSD y VGG, o personalizar el modelo de CNN según sea necesario. El acelerador sensAI 4.1 CNN utiliza las capacidades de procesamiento paralelo, la memoria distribuida y los recursos DSP de las FPGA Lattice para simplificar en gran medida la implementación de diseños de IA de potencia ultrabaja. El núcleo del acelerador utiliza lógica programable FPGA para implementar redes neuronales de baja potencia, incluidas redes neuronales binarias (BNN) extremadamente eficientes, que pueden implementar CNN con un consumo de energía ultrabajo en el rango de milivatios.
Figura 3. La colección de soluciones Lattice sensAI puede desarrollar dispositivos AI/ML basados en Lattice FPGA. (Fuente de la imagen: celosía)
Diseño de referencia Lattice sensAI 4.1
Los FPGA de celosía proporcionan E / S programables, que se pueden configurar para admitir una variedad de estándares de interfaz eléctrica comúnmente utilizados en sensor interfaces La empresa también proporciona muchos módulos IP de núcleo duro y de núcleo blando para admitir diferentes protocolos de comunicación de sensores. Debido a que los FPGA han tenido durante mucho tiempo ventajas significativas en la fusión de sensores, el diseño de Lattice sensAI 4.1 tiene como objetivo simplificar el desarrollo de funciones de inferencia AI/ML basadas en múltiples sensores en dispositivos de borde de red y realizar una fusión inteligente de sensores. La colección de soluciones sensAI 4.1 incluye muchos ejemplos de diseño de referencia, que demuestran una variedad de casos de aplicación de fusión de sensores inteligentes, que pueden ejecutarse al mismo tiempo para lograr un conocimiento profundo de la situación. Estos diseños de referencia incluyen:
• Detección de gestos
Este diseño de referencia utiliza un sensor de imagen IR para implementar un sistema de detección de gestos de bajo consumo basado en IA. El diseño de referencia proporciona un conjunto de datos de entrenamiento, scripts que se pueden entrenar con herramientas de entrenamiento de redes neuronales de uso común y un modelo de red neuronal para que los usuarios lo modifiquen.
• Detección de palabras clave
Este diseño de referencia utiliza un micrófono MEMS digital para detectar continuamente expresiones de palabras clave. Los diseñadores pueden usar marcos de aprendizaje profundo (como Caffe, Tensorflow o Keras) para actualizar el conjunto de datos de entrenamiento proporcionado para agregar funciones de palabras de activación al sistema. El diseño de referencia incluye un conjunto de datos de entrenamiento, scripts que se pueden entrenar usando herramientas de entrenamiento de redes neuronales de uso común y un modelo de red neuronal para que los usuarios lo modifiquen.
•Detección de rostro
Este diseño de referencia utiliza sensores de imagen para implementar el reconocimiento facial basado en CNN y puede modificar la base de datos de entrenamiento para reconocer otros tipos de objetivos.
• Detección de personal
Este diseño de referencia utiliza sensores de imagen CMOS para detectar continuamente la presencia de personas. El sistema de IA basado en este diseño puede utilizar un marco de aprendizaje profundo (como Caffe o Tensorflow) para actualizar el modelo de entrenamiento proporcionado para detectar y localizar cualquier objetivo de interés. El diseño de referencia incluye un modelo de red neuronal, un conjunto de datos de entrenamiento y scripts que se pueden entrenar con herramientas de entrenamiento comunes.
• Detección, clasificación, seguimiento y recuento de objetivos
Este diseño de referencia proporciona ejemplos de detección, clasificación, seguimiento y recuento de objetivos. Tiene un diseño completo, que incluye FPGA RTL para placas de desarrollo Lattice, modelos de redes neuronales, conjuntos de datos de entrenamiento de ejemplo y recreación y actualización del script de diseño.
Aplicaciones de borde de red comunes y potenciales donde se puede usar IA
El uso de algoritmos AI / ML para mejorar el rendimiento de muchos dispositivos de borde de red (como robots autónomos, control ambiental y cámaras de seguridad por video) tiene ventajas obvias, mientras que otros tipos de dispositivos de borde de red también pueden beneficiarse de él, como PC y laptops. . Lattice está trabajando con socios y clientes para utilizar la fusión de sensores inteligentes multimodo y la tecnología AI / ML para mejorar continuamente la experiencia de los usuarios de PC / portátiles y reducir significativamente el consumo de energía operativo de los portátiles. En algunas aplicaciones, la duración de la batería se ha incrementado hasta en un 28%.
¿Qué características del equipo tienen valor potencial?
El uso de PC y portátiles dentro de las 24 horas es muy diferente y, por lo general, se utilizan de forma intensiva durante las horas de trabajo durante el día. Sin embargo, incluso durante las horas de trabajo, tendrán un estado de reposo. La gente toma descansos ocasionales y almuerza al mediodía. Durante estos momentos, suelen mantener la computadora en funcionamiento para asegurarse de que las diversas aplicaciones que abren no estén cerradas.
Combine el análisis y la toma de decisiones de AI / ML con los sensores existentes de la computadora (cámaras y micrófonos) para lograr la fusión de sensores inteligentes, lo que permite que las PC o portátiles perciban el entorno circundante para decidir cuándo apagar la pantalla y la CPU, y cuándo darles recargado.
El uso más simple de la detección de presencia es apagar la computadora cuando no hay nadie cerca. Cuando el usuario está lejos del Pantalla Durante mucho tiempo, la función de seguimiento de atención puede atenuar la pantalla de la computadora y activar el modo de bajo consumo. El FPGA de bajo consumo y tamaño pequeño que actúa como el centro del sensor inteligente puede recibir información de los sensores de la computadora y luego decidir qué componentes suministrar energía de acuerdo con la situación.
Resuelva problemas de privacidad y seguridad
De manera similar, estas funciones también pueden mejorar la privacidad y seguridad de la computadora. La cámara de conferencias incorporada en la computadora se puede usar para monitorear el fondo detrás del usuario y detectar si alguien está mirando por detrás del hombro del usuario. Si la computadora está configurada para proteger la privacidad, cuando se sospecha que alguien detrás de un usuario autorizado se asoma en la pantalla de la computadora, puede aparecer una advertencia para recordarle al usuario e incluso atenuar automáticamente la pantalla. Cabe señalar que, con estas soluciones, todos los datos de inferencia se almacenan localmente en la FPGA. Solo los metadatos se pasan al SoC, lo que mejora aún más la privacidad y mejora la seguridad.
Optimizar la experiencia del usuario
Las funciones de AI / ML también pueden mejorar la experiencia general de los usuarios de computadoras. Por ejemplo, la función de visor facial basada en AI / ML puede usar la resolución más alta de la cámara de videoconferencia incorporada para recortar y centrar el avatar del usuario, proporcionando una mejor imagen para la videoconferencia. Los participantes también pueden moverse durante la reunión mientras sus imágenes permanecen centradas. De manera similar, el reconocimiento de gestos puede agregar capacidades de operación sin contacto a computadoras portátiles o PC o cualquier otro dispositivo IoT habilitado para video.
Beneficios de la salud
Muchas empresas ahora dejan en claro que quieren proteger la salud de sus empleados. Las funciones de percepción basadas en AI / ML pueden ayudar a evitar lesiones por estrés repetitivo a través de recordatorios emergentes y otras medidas, y usar sensores de video de computadora para asegurarse de que los empleados hayan adoptado realmente las recomendaciones de descanso dadas.
Las aplicaciones de IA / ML también se pueden usar para detectar la postura del usuario, que puede ser otro factor que cause lesiones por estrés repetitivo. Estas funciones que utilizan la retroalimentación de sensores activos se pueden utilizar para desarrollar aplicaciones de salud, que son significativamente mejores que los recordatorios de tiempo simples que se utilizan actualmente en las empresas, y pueden tratar eficazmente las lesiones laborales relacionadas con el estrés.
Todas estas funciones implementadas a través de AI / ML pueden ayudar a los proveedores a crear PC y portátiles que sean más atractivos para los compradores corporativos, y todas estas funciones se pueden lograr a través de la colección de soluciones sensAI 4.1 y las características FPGA de Lattice de bajo consumo.
El uso de este tipo de FPGA supera la función icónica del desarrollo de FPGA para una conexión y fusión de sensores de largo tiempo, y basado en algoritmos AI/ML maduros, agrega análisis de señales de sensores y funciones de toma de decisiones. La adición de AI/ML convierte a FPGA en un controlador de sistema de bajo consumo que puede administrar las funciones del sistema, mejorar la experiencia del usuario y prolongar en gran medida la vida útil de la batería al reducir el consumo general de energía operativa del sistema.
Conclusión: aún no se ha desarrollado un enorme mercado de miles de millones de dispositivos de borde de red
Con sus múltiples productos de la serie FPGA de bajo consumo y una colección de soluciones sensAI 4.1 que admiten estas series de productos, Lattice se compromete a llevar la tecnología AI / ML a miles de millones de dispositivos de borde de red. Por lo tanto, las aplicaciones de borde de red son un mercado objetivo de gran potencial.
Según varias estimaciones, se necesitan decenas de miles de millones de dispositivos de borde de red en una amplia zona del mundo para satisfacer las necesidades de una gran cantidad de mercados de borde de red, lo cual es muy atractivo para el negocio de FPGA; por supuesto, esta escala es adecuado para cualquier industria de esta manera. El lanzamiento de Lattice del conjunto de soluciones sensAI 4.1 y su serie FPGA de bajo consumo y tamaño pequeño está dirigida directamente a aplicaciones y mercados de borde de red. La colección de soluciones sensAI 4.1 de Lattice es una herramienta de desarrollo innovadora para aplicaciones de borde de red, que permite a los desarrolladores de sistemas desarrollar soluciones de inferencia AI / ML basadas en FPGA, específicas de la aplicación y flexibles para varios mercados.