Sans aucun doute, vous en avez lu ou entendu parler, car le nombre de périphériques de périphérie du réseau a proliféré, une énorme quantité de flux de données a été continuellement augmentée. Ces appareils comprennent les voitures autonomes, les appareils de l'Internet des objets, l'électronique grand public et même les ordinateurs portables et personnels. Selon plusieurs estimations, d'ici 2025, il y aura des dizaines de milliards d'appareils IoT en fonctionnement. Ces appareils envoient diverses formes de données au cloud sous la forme de flux de données continus, et les débits de données varient considérablement. En général, ces appareils généreront une grande quantité de données brutes, et la quantité de données continuera d'augmenter au fil du temps.
Les enregistreurs vidéo des caméras de sécurité, des voitures autonomes et des PC génèrent des flux vidéo à haut débit et haute résolution. Les appareils IoT génèrent des données à débit binaire moyen et les regroupent dans des flux de données volumineux. De nombreux autres types de capteurs IoT (mesurent la température, la pression, l'emplacement, le niveau de lumière, etc.) généreront des flux de données à faible débit, mais bientôt le nombre de ces capteurs atteindra des milliards. Par conséquent, même ces flux de données à faible débit peuvent être agrégés en flux de données plus importants et à débit élevé avant d'entrer dans le cloud.
L'essor des réseaux sans fil 5G et d'autres technologies de réseau à haut débit, y compris les picocellules, les réseaux IoT longue distance (tels que LoRaWAN) et les réseaux satellites mondiaux de mise en réseau (tels que le réseau à large bande Starlink en expansion de SpaceX et l'Internet IoT par satellite de Swarm Technologies ), qui fournit un accès cloud étendu et rapide (Remarque : Starlink a acquis Swarm Technologies en août 2021). Ces technologies de communication et de réseau accélèrent la périphérie émergente du réseau
. Les applications en temps réel à la périphérie du réseau ne tolèrent généralement pas une latence élevée, de sorte que le traitement, l'analyse et la prise de décision doivent être transférés vers l'appareil lui-même. Ces appareils de périphérie du réseau comprennent des véhicules autonomes, des capteurs IoT, des caméras de sécurité, des téléphones intelligents, des ordinateurs portables et des ordinateurs personnels. Par conséquent, le potentiel de l'informatique de périphérie du réseau est énorme.
Sous le poids des données, le cloud ne peut pas tout faire
La croissance exponentielle des smartphones et des appareils IoT a favorisé le développement de l'informatique de pointe sur le réseau. Ces appareils sont omniprésents et doivent être connectés à Internet pour envoyer ou recevoir des informations vers et depuis le cloud. Certains appareils IoT (tels que les caméras) génèrent de grandes quantités de données pendant le fonctionnement.
D'autres appareils IoT, tels que les capteurs de température, génèrent une petite quantité de données, mais comme le nombre de ces capteurs peut atteindre des milliards, cela représente une lourde charge pour le traitement dans le cloud. Par conséquent, le traitement basé sur la périphérie du réseau est très nécessaire, non seulement pour réduire le coût de la communication réseau et du stockage cloud dans le cloud, mais également pour éviter la surcharge du canal de données cloud.
Les développeurs de produits et d'applications de périphérie du réseau adoptent de plus en plus d'algorithmes d'intelligence artificielle et d'apprentissage automatique (IA/ML) pour faire correspondre et reconnaître des modèles complexes afin de faciliter l'analyse des données et de prendre des décisions en fonction de celles-ci. En fait, l'utilisation de l'IA/ML sans souci a connu une croissance extrêmement rapide.
De nos jours, les algorithmes AI/ML sont considérés comme des moyens nécessaires pour traiter efficacement les données brutes, car ils peuvent identifier des modèles de données complexes et multidimensionnels difficiles à analyser et à reconnaître par les programmes d'algorithmes traditionnels. Certaines applications AI/ML spécifiques incluent la détection, la reconnaissance, l'identification et le comptage de personnes ou d'objets ; suivi des actifs et des stocks, perception de l'environnement, détection et reconnaissance sonores et vocales, surveillance de la santé du système et planification de la maintenance du système. Le développement d'appareils et d'applications informatiques.
Les dispositifs et applications de périphérie de réseau émergents incluent les véhicules autonomes, les robots, la production automatisée, la surveillance à distance, la chaîne d'approvisionnement et les systèmes logistiques, ainsi que la vidéosurveillance pour assurer la sécurité publique et privée. La demande du marché pour ces systèmes de périphérie de réseau augmente rapidement car ils peuvent augmenter l'efficacité, réduire les coûts d'exploitation et améliorer l'expérience utilisateur. Mais quelle que soit l'infrastructure de communication sans fil et filaire que nous construisons, la tourmente des données excédentaires peut submerger ou bloquer ces pipelines de données vers le cloud.
Le traitement localisé à la périphérie du réseau permet de débloquer le pipeline de données
Ces tendances indiquent qu'il est désormais nécessaire de faire plus de traitement là où les données sont générées à la périphérie du réseau et de réduire la quantité de données transmises vers le cloud. La croissance explosive de l'Internet des objets et d'autres appareils connectés au réseau est la principale force motrice du développement de nouveaux appareils de périphérie du réseau, ce qui stimule davantage le développement de nouvelles applications, transformant ainsi les données brutes en informations utiles et exploitables pour soutenir une décision rapide -faire, Répondre aux situations changeantes en temps réel.
Aux premiers stades du développement de l'informatique de périphérie du réseau, les entreprises se sont concentrées sur le coût de la transmission des données aux centres de données sur de longues distances. Initialement, une caractéristique majeure des applications de périphérie du réseau était la nécessité d'accéder aux données stockées dans le cloud et à d'autres ordinateurs connectés au cloud. Ces premières applications ne sont généralement pas des applications en temps réel ; des temps de réponse de centaines de millisecondes voire de secondes sont acceptables. Cependant, le développement des appareils de l'Internet des objets et la demande croissante de traitement, d'analyse et de réponse en temps réel à la périphérie du réseau ont favorisé le développement puissant de la technologie de périphérie du réseau, ainsi que des défis de conception plus importants.
Le traitement en périphérie du réseau rend l'informatique et le stockage de données de plus en plus proches de l'appareil qui collecte les données, au lieu d'analyser et de prendre des décisions dans un centre de données à des milliers de kilomètres
Figure 1. Tendances de l'informatique en périphérie de réseau (Source de l'image : Lattice)
De nombreuses applications de périphérie de réseau qui peuvent tirer parti des capacités d'IA/ML doivent fonctionner sous des contraintes de consommation d'énergie extrêmement strictes. Ces appareils largement distribués reposent généralement sur l'alimentation par batterie. De telles applications abondent dans divers environnements de périphérie de réseau, notamment des usines, des fermes, des immeubles de bureaux, des magasins de détail, des hôpitaux, des entrepôts, des rues et des résidences. Au fur et à mesure que leur nombre augmente, ces appareils doivent fonctionner longtemps, voire des mois ou des années, avec une seule charge ou en s'appuyant uniquement sur la collecte et le stockage d'énergie.
Par conséquent, de nombreux appareils doivent être en état de veille ou d'hibernation la plupart du temps, et la plupart des circuits doivent être en mode veille à faible consommation lorsque l'appareil est dans un état inactif. Ensuite, l'événement d'activation démarrera l'appareil en cas de besoin. Dans ce type d'application, la base circuit système fonctionnant à une consommation d'énergie ultra-faible doit rester en veille, en attente d'un événement d'activation, puis alimenter le reste de l'appareil selon les besoins.
FPGA réalise AL/ML avec une faible consommation d'énergie
Les exigences relatives à la faible consommation d'énergie de fonctionnement et à la mise en œuvre de l'algorithme AI/ML semblent être en conflit avec les exigences relatives à la conception d'appareils de périphérie de réseau à faible consommation. Cependant, ces deux exigences de conception complexes ne sont pas contradictoires. Le dernier FPGA de Lattice - la série de dispositifs CertusPro-NX à faible consommation, de petite taille et à hautes performances - est conçu pour répondre aux nombreuses exigences de conception des dispositifs de périphérie de réseau à faible consommation. Ces FPGA peuvent prendre en charge plusieurs capteurs, écrans, vidéo haute résolution, connectivité réseau et traitement AI/ML à la périphérie du réseau.
Dans le même temps, la nouvelle version 4.1 de Lattice de la collection de solutions sensAI fournit des outils AI/ML prêts à l'emploi, des cœurs IP, des plates-formes matérielles, des conceptions de référence et des démonstrations, ainsi que des services de conception personnalisés pour aider les équipes de conception à développer de nouveaux équipements de périphérie de réseau. et l'amener rapidement sur le marché. La dernière version de sensAI prend en charge CertusPro-NX FPGA.
La collection de solutions Lattice sensAI accélère la formation, la vérification et la compilation de modèles AI/ML de bout en bout. Lattice a ajouté l'environnement de conception sensAI Studio à sensAI 4.0 publié début 2021, qui est un outil basé sur une interface utilisateur graphique (GUI) qui aide les développeurs à créer rapidement des applications d'apprentissage automatique. En utilisant les outils de Lattice sensAI 4.1 pour configurer la conception de l'informatique de périphérie du réseau et en utilisant Lattice iCE40 UltraPlus, CrossLink-NX, ECP5 et CertusPro-NX FPGA, les fonctions AI/ML en temps réel peuvent être réalisées avec une consommation d'énergie ultra-faible La consommation électrique est aussi faible que 1mW à 1W.
Figure 2. L'environnement de conception sensAI Studio de Lattice accélère la formation, la vérification et la compilation de modèles IA/ML de bout en bout. (Source de l'image : treillis)
Avec sensAI 4.1 prenant en charge les produits de la série FPGA Lattice CertusPro-NX, les performances de sensAI ont également été considérablement améliorées. En plus des applications existantes de détection et de suivi d'objets, des applications telles que la classification en temps réel de plusieurs objets ont également été ajoutées. L'ensemble de solutions sensAI 4.1 comprend un compilateur de réseau neuronal mis à jour et est également compatible avec d'autres plates-formes d'apprentissage automatique largement utilisées, notamment les dernières versions de Caffe, Keras, TensorFlow et TensorFlow Lite.
Les cœurs IP de l'ensemble de solutions Lattice sensAI 4.1 comprennent trois types d'accélérateurs de réseau neuronal convolutif (CNN) - CNN, CNN Plus et CNN Compact - et un moteur de coprocesseur CNN. Le noyau IP CNN permet aux développeurs d'utiliser divers CNN largement utilisés publiés par d'autres, tels que Mobilenet v1/v2, Resent, SSD et VGG, ou de personnaliser le modèle CNN selon les besoins. L'accélérateur CNN sensAI 4.1 utilise les capacités de traitement parallèle, la mémoire distribuée et les ressources DSP des FPGA Lattice pour simplifier considérablement la mise en œuvre de conceptions d'IA à très faible consommation. Le cœur de l'accélérateur utilise une logique programmable FPGA pour implémenter des réseaux de neurones à faible consommation d'énergie, y compris des réseaux de neurones binaires (BNN) extrêmement efficaces, qui peuvent implémenter CNN avec une consommation d'énergie ultra-faible de l'ordre du milliwatt.
Figure 3. La collection de solutions Lattice sensAI peut développer des dispositifs AI/ML basés sur le FPGA Lattice. (Source de l'image : treillis)
Conception de référence en treillis sensAI 4.1
Les FPGA en treillis fournissent des E/S programmables, qui peuvent être configurées pour prendre en charge une variété de normes d'interface électrique couramment utilisées dans capteur interfaces. La société fournit également de nombreux modules IP à noyau dur et à noyau souple pour prendre en charge différents protocoles de communication de capteurs. Étant donné que les FPGA ont depuis longtemps des avantages significatifs dans la fusion de capteurs, la conception de Lattice sensAI 4.1 vise à simplifier le développement de fonctions d'inférence AI/ML basées sur plusieurs capteurs dans des dispositifs de périphérie de réseau et à réaliser une fusion intelligente de capteurs. La collection de solutions sensAI 4.1 comprend de nombreux exemples de conception de référence, démontrant une variété de cas d'application de fusion de capteurs intelligents, qui peuvent s'exécuter en même temps pour obtenir une connaissance approfondie de la situation. Ces conceptions de référence comprennent :
• Détection de gestes
Cette conception de référence utilise un capteur d'image IR pour mettre en œuvre un système de détection de gestes à faible consommation basé sur l'IA. La conception de référence fournit un ensemble de données d'entraînement, des scripts qui peuvent être entraînés avec des outils d'entraînement de réseau neuronal couramment utilisés et un modèle de réseau neuronal que les utilisateurs peuvent modifier.
• Détection de mots clés
Cette conception de référence utilise un microphone MEMS numérique pour détecter en continu les mots-clés. Les concepteurs peuvent utiliser des frameworks d'apprentissage en profondeur (tels que Caffe, Tensorflow ou Keras) pour mettre à jour l'ensemble de données d'entraînement fourni afin d'ajouter des fonctions de mot d'activation au système. La conception de référence comprend un ensemble de données d'entraînement, des scripts qui peuvent être entraînés à l'aide d'outils d'entraînement de réseau neuronal couramment utilisés et un modèle de réseau neuronal que les utilisateurs peuvent modifier.
•Détection facial
Cette conception de référence utilise des capteurs d'image pour mettre en œuvre la reconnaissance faciale basée sur CNN et peut modifier la base de données d'entraînement pour reconnaître d'autres types de cibles.
• Détection de personnel
Cette conception de référence utilise des capteurs d'image CMOS pour détecter en permanence la présence de personnes. Le système d'IA basé sur cette conception peut utiliser un cadre d'apprentissage en profondeur (tel que Caffe ou Tensorflow) pour mettre à jour le modèle de formation fourni afin de détecter et de localiser toute cible d'intérêt. La conception de référence comprend un modèle de réseau neuronal, un ensemble de données d'entraînement et des scripts qui peuvent être entraînés à l'aide d'outils d'entraînement courants.
• Détection, classification, suivi et comptage de cibles
Cette conception de référence fournit des exemples de détection, de classification, de suivi et de comptage de cibles. Il a une conception complète, y compris FPGA RTL pour les cartes de développement Lattice, des modèles de réseaux neuronaux, des exemples d'ensembles de données de formation, ainsi que la recréation et la mise à jour du script de conception.
Applications de périphérie de réseau courantes et potentielles où l'IA peut être utilisée
L'utilisation d'algorithmes AI/ML pour améliorer les performances de nombreux périphériques réseau (tels que les robots autonomes, le contrôle environnemental et les caméras de sécurité vidéo) présente des avantages évidents, tandis que d'autres types de périphériques réseau peuvent également en bénéficier, tels que les PC et les ordinateurs portables. . Lattice travaille avec des partenaires et des clients pour utiliser la fusion de capteurs intelligents multimodes et la technologie AI/ML afin d'améliorer en permanence l'expérience des utilisateurs de PC/ordinateurs portables et de réduire considérablement la consommation d'énergie de fonctionnement des ordinateurs portables. Dans certaines applications, la durée de vie de la batterie a augmenté jusqu'à 28%.
Quelles caractéristiques de l'équipement ont une valeur potentielle ?
L'utilisation des PC et des ordinateurs portables dans les 24 heures est très différente, et ils sont généralement utilisés de manière intensive pendant les heures de travail pendant la journée. Cependant, même pendant les heures de travail, ils auront un état de repos. Les gens font des pauses occasionnelles et prennent leurs repas à midi. Pendant ces périodes, ils maintiennent généralement l'ordinateur en marche pour s'assurer que les différentes applications qu'ils ouvrent ne sont pas fermées.
Combinez l'analyse AI/ML et la prise de décision avec les capteurs existants de l'ordinateur (caméras et microphones) pour réaliser une fusion de capteurs intelligente, permettant aux PC ou aux ordinateurs portables de percevoir l'environnement environnant pour décider quand éteindre l'écran et le processeur, et quand donner Ils réalimenté.
L'utilisation la plus simple de la détection de présence consiste à éteindre l'ordinateur lorsqu'il n'y a personne. Lorsque l'utilisateur est loin du pour écran Pendant longtemps, la fonction de suivi de l'attention peut assombrir l'écran de l'ordinateur et activer le mode basse consommation. Le FPGA basse consommation et de petite taille qui agit comme le centre du capteur intelligent peut recevoir des entrées de capteurs informatiques, puis décider quels composants alimenter en fonction de la situation.
Résoudre les problèmes de confidentialité et de sécurité
De même, ces fonctions peuvent également améliorer la confidentialité et la sécurité de l'ordinateur. La caméra de conférence intégrée à l'ordinateur peut être utilisée pour surveiller l'arrière-plan derrière l'utilisateur et détecter si quelqu'un regarde derrière l'épaule de l'utilisateur. Si l'ordinateur est configuré pour protéger la confidentialité, lorsqu'une personne derrière un utilisateur autorisé est soupçonnée de regarder sur l'écran de l'ordinateur, un avertissement peut apparaître pour rappeler à l'utilisateur et même automatiquement assombrir l'écran. Il est à noter qu'avec ces solutions, toutes les données d'inférence sont stockées localement dans le FPGA. Seules les métadonnées sont transmises au SoC, ce qui améliore encore la confidentialité et la sécurité.
Optimiser l'expérience utilisateur
Les fonctions AI/ML peuvent également améliorer l'expérience globale des utilisateurs d'ordinateurs. Par exemple, la fonction de viseur facial basée sur l'IA/ML peut utiliser la résolution plus élevée de la caméra de vidéoconférence intégrée pour recadrer et centrer l'avatar de l'utilisateur, offrant ainsi une meilleure image pour la vidéoconférence. Les participants peuvent également se déplacer pendant la réunion tandis que leurs images restent centrées. De même, la reconnaissance des gestes peut ajouter des capacités de fonctionnement sans contact aux ordinateurs portables ou PC ou à tout autre appareil IoT compatible vidéo.
Avantages pour la santé
De nombreuses entreprises indiquent désormais clairement qu'elles souhaitent protéger la santé de leurs employés. Les fonctions de perception basées sur l'IA/ML peuvent aider à éviter les blessures de stress répétitives grâce à des rappels contextuels et à d'autres mesures, et utilisent des capteurs vidéo informatiques pour s'assurer que les employés ont effectivement adopté les recommandations de repos données.
Les applications AI/ML peuvent également être utilisées pour détecter la posture de l'utilisateur, ce qui peut être un autre facteur provoquant des traumatismes liés au stress répétitif. Ces fonctionnalités utilisant la rétroaction active des capteurs peuvent être utilisées pour développer des applications de santé, ce qui est nettement meilleur que les simples rappels de synchronisation actuellement utilisés dans les entreprises, et peut traiter efficacement les blessures au travail liées au stress.
Toutes ces fonctions mises en œuvre via AI/ML peuvent aider les fournisseurs à créer des PC et des ordinateurs portables plus attrayants pour les acheteurs d'entreprise, et toutes ces fonctions peuvent être réalisées grâce à la collection de solutions sensAI 4.1 et aux fonctionnalités de FPGA à faible consommation Lattice.
L'utilisation de ce type de FPGA dépasse la fonction emblématique du développement de FPGA pour une connexion et une fusion de capteurs de longue durée, et basée sur des algorithmes AI/ML matures, elle ajoute des fonctions d'analyse de signal de capteur et de prise de décision. L'ajout de l'IA/ML fait du FPGA un contrôleur système à faible consommation d'énergie capable de gérer les fonctions du système, d'améliorer l'expérience utilisateur et de prolonger considérablement la durée de vie de la batterie en réduisant la consommation d'énergie globale du système.
Conclusion : un énorme marché de milliards d'appareils de périphérie de réseau reste à développer
Avec ses multiples produits de la série FPGA basse consommation et une collection de solutions sensAI 4.1 qui prennent en charge ces séries de produits, Lattice s'engage à apporter la technologie AI/ML à des milliards de périphériques de périphérie de réseau. Par conséquent, les applications de périphérie de réseau constituent un marché cible à fort potentiel.
Selon diverses estimations, des dizaines de milliards d'appareils de périphérie de réseau sont nécessaires dans une vaste région du monde pour répondre aux besoins d'un grand nombre de marchés de périphérie de réseau, ce qui est très attrayant pour le secteur des FPGA. adapté à n'importe quelle industrie de cette façon. La sortie par Lattice de l'ensemble de solutions sensAI 4.1 et de sa série de FPGA à faible consommation et de petite taille est directement destinée aux applications et marchés de périphérie de réseau. La collection de solutions sensAI 4.1 de Lattice est un outil de développement innovant pour les applications de périphérie de réseau, qui permet aux développeurs de systèmes de développer des solutions d'inférence AI/ML flexibles, spécifiques aux applications et basées sur FPGA pour divers marchés.