Zweifellos haben Sie davon gelesen oder gehört, da die Anzahl der Netzwerk-Edge-Geräte stark zugenommen hat, wurde ein enormer Datenfluss kontinuierlich erhöht. Zu diesen Geräten gehören selbstfahrende Autos, Geräte für das Internet der Dinge, Unterhaltungselektronik und sogar Laptops und PCs. Mehreren Schätzungen zufolge werden bis 2025 mehrere zehn Milliarden IoT-Geräte in Betrieb sein. Diese Geräte senden verschiedene Formen von Daten in Form von kontinuierlichen Datenströmen in die Cloud, und die Datenraten variieren stark. Im Allgemeinen erzeugen diese Geräte eine große Menge an Rohdaten, und die Datenmenge wird im Laufe der Zeit weiter zunehmen.
Videorekorder in Sicherheitskameras, selbstfahrenden Autos und PCs erzeugen hochfrequente, hochauflösende Videostreams. IoT-Geräte generieren Daten mit mittlerer Bitrate und aggregieren sie zu großen Datenströmen. Viele andere Arten von IoT-Sensoren (Temperatur, Druck, Standort, Lichtstärke usw. messen) werden Datenströme mit niedriger Bitrate erzeugen, aber bald wird die Anzahl solcher Sensoren Milliarden erreichen. Daher können selbst diese Datenströme mit niedriger Bitrate zu größeren Datenströmen mit hoher Bitrate aggregiert werden, bevor sie in die Cloud gelangen.
Der Aufstieg von 5G-Drahtlosnetzwerken und anderen Hochgeschwindigkeits-Netzwerktechnologien, einschließlich Picozellen, Langstrecken-IoT-Netzwerken (wie LoRaWAN) und globalen Netzwerk-Satellitennetzwerken (wie das expandierende Starlink-Breitbandnetzwerk von SpaceX und das satellitengestützte IoT-Internet von Swarm Technologies ), die umfassenden und schnellen Cloud-Zugang bietet (Hinweis: Starlink hat Swarm Technologies im August 2021 übernommen). Diese Kommunikations- und Netzwerktechnologien beschleunigen den aufkommenden Netzwerkrand
. Echtzeitanwendungen am Rand des Netzwerks tolerieren in der Regel keine hohe Latenz, sodass Verarbeitung, Analyse und Entscheidungsfindung auf das Gerät selbst übertragen werden müssen. Zu diesen Netzwerk-Edge-Geräten gehören autonome Fahrzeuge, IoT-Sensoren, Sicherheitskameras, Smartphones, Laptops und PCs. Daher ist das Potenzial von Network Edge Computing enorm.
Unter dem Gewicht der Daten kann die Cloud nicht alles tun
Das exponentielle Wachstum von Smartphones und IoT-Geräten hat die Entwicklung von Edge Computing im Netzwerk gefördert. Diese Geräte sind allgegenwärtig und müssen mit dem Internet verbunden sein, um Informationen in die und aus der Cloud zu senden oder zu empfangen. Einige IoT-Geräte (z. B. Kameras) erzeugen im Betrieb große Datenmengen.
Andere IoT-Geräte, wie zum Beispiel Temperatursensoren, erzeugen eine kleine Datenmenge, aber da die Anzahl solcher Sensoren Milliarden erreichen kann, bringt dies eine große Belastung für die Cloud-Verarbeitung mit sich. Daher ist eine Verarbeitung am Rand des Netzwerks sehr notwendig, nicht nur, um die Kosten für die Netzwerkkommunikation und die Cloud-Speicherung in der Cloud zu senken, sondern auch, um eine Überlastung des Cloud-Datenkanals zu vermeiden.
Entwickler von Netzwerk-Edge-Produkten und -Anwendungen nutzen zunehmend Algorithmen der künstlichen Intelligenz und des maschinellen Lernens (KI/ML), um komplexe Muster abzugleichen und zu erkennen, um Daten zu analysieren und darauf basierend Entscheidungen zu treffen. Tatsächlich der Einsatz von KI/ML Technologie ist extrem schnell gewachsen.
Heutzutage gelten KI/ML-Algorithmen als notwendiges Mittel, um Rohdaten effizient zu verarbeiten, da sie komplexe und mehrdimensionale Datenmuster erkennen können, die von traditionellen Algorithmusprogrammen schwer zu parsen und zu erkennen sind. Einige spezifische KI/ML-Anwendungen umfassen die Erkennung, Erkennung, Identifizierung und Zählung von Personen oder Objekten; Bestands- und Bestandsverfolgung, Umgebungswahrnehmung, Ton- und Spracherkennung und -erkennung, Überwachung des Systemzustands und Planung der Systemwartung. Die Entwicklung von Computergeräten und Anwendungen.
Zu den aufkommenden Netzwerk-Edge-Geräten und -Anwendungen gehören autonome Fahrzeuge, Roboter, automatisierte Produktion, Fernüberwachung, Lieferketten- und Logistiksysteme sowie Videoüberwachung, um die öffentliche und private Sicherheit zu gewährleisten. Die Nachfrage des Marktes nach diesen Netzwerk-Edge-Systemen wächst schnell, da sie die Effizienz steigern, die Betriebskosten senken und die Benutzererfahrung verbessern können. Aber egal, wie viel drahtlose und kabelgebundene Kommunikationsinfrastruktur wir aufbauen, der Aufruhr von überschüssigen Daten kann diese Datenpipelines in die Cloud überfordern oder blockieren.
Die lokalisierte Verarbeitung am Rand des Netzwerks hilft, die Datenpipeline zu entsperren
Diese Trends deuten darauf hin, dass es jetzt notwendig ist, dort, wo Daten am Rand des Netzwerks generiert werden, mehr zu verarbeiten und die Datenmenge zu reduzieren, die in die Cloud übertragen wird. Das explosionsartige Wachstum des Internets der Dinge und anderer mit dem Netzwerk verbundener Geräte ist die Hauptantriebskraft für die Entwicklung neuer Netzwerk-Edge-Geräte, was die Entwicklung neuer Anwendungen weiter anregt und so Rohdaten in nützliche und umsetzbare Informationen umwandelt, um schnelle Entscheidungen zu unterstützen -Machen, Reagieren Sie auf sich ändernde Situationen in Echtzeit.
In den frühen Phasen der Entwicklung von Network Edge Computing konzentrierten sich Unternehmen auf die Kosten für die Datenübertragung zu Rechenzentren über große Entfernungen. Anfangs war ein Hauptmerkmal von Netzwerk-Edge-Anwendungen die Notwendigkeit, auf Daten zuzugreifen, die in der Cloud und anderen mit der Cloud verbundenen Computern gespeichert sind. Diese frühen Anwendungen sind normalerweise keine Echtzeitanwendungen; Reaktionszeiten von Hunderten von Millisekunden oder sogar Sekunden sind akzeptabel. Die Entwicklung von Geräten für das Internet der Dinge und die wachsende Nachfrage nach Echtzeitverarbeitung, -analyse und -reaktion am Netzwerkrand haben jedoch die leistungsstarke Entwicklung der Netzwerkrandtechnologie zusammen mit größeren Designherausforderungen gefördert.
Network Edge Processing bringt Computing und Datenspeicherung immer näher an das Gerät, das Daten sammelt, anstatt in einem Tausende von Kilometern entfernten Rechenzentrum zu analysieren und Entscheidungen zu treffen
Abbildung 1. Trends im Network Edge Computing (Bildquelle: Lattice)
Viele Netzwerk-Edge-Anwendungen, die KI/ML-Funktionen nutzen können, müssen unter extrem strengen Einschränkungen beim Stromverbrauch arbeiten. Diese weit verbreiteten Geräte sind normalerweise auf Batteriestrom angewiesen. Solche Anwendungen gibt es in verschiedenen Netzwerk-Edge-Umgebungen, einschließlich Fabriken, Farmen, Bürogebäuden, Einzelhandelsgeschäften, Krankenhäusern, Lagerhäusern, Straßen und Wohnhäusern. Mit zunehmender Anzahl müssen diese Geräte über einen langen Zeitraum, sogar Monate oder Jahre, mit nur einer einzigen Ladung oder nur auf der Grundlage der Sammlung und Speicherung von Energie betrieben werden.
Daher müssen sich viele Geräte die meiste Zeit im Energiespar- oder Ruhezustand befinden, und die meisten Schaltkreise sollten sich in einem stromsparenden Standby-Modus befinden, wenn sich das Gerät in einem inaktiven Zustand befindet. Dann wird das Aktivierungsereignis das Gerät bei Bedarf starten. Bei dieser Art von Anwendung ist die grundlegende Schaltung System mit extrem niedrigem Stromverbrauch muss im Standby-Modus bleiben, auf ein Aktivierungsereignis warten und dann den Rest des Geräts nach Bedarf mit Strom versorgen.
FPGA realisiert AL/ML mit geringem Stromverbrauch
Die Anforderungen an einen geringen Betriebsstromverbrauch und die Implementierung des KI/ML-Algorithmus scheinen mit den Anforderungen an das Design von Netzwerk-Edge-Geräten mit geringem Stromverbrauch zu kollidieren. Diese beiden komplexen Designanforderungen sind jedoch kein Widerspruch. Lattices neuestes FPGA – die stromsparende, kompakte und hochleistungsfähige CertusPro-NX-Baureihe – ist auf die vielen Designanforderungen von Netzwerk-Edge-Geräten mit geringem Stromverbrauch zugeschnitten. Diese FPGAs können mehrere Sensoren, Displays, hochauflösendes Video, Netzwerkkonnektivität und AI/ML-Verarbeitung am Rand des Netzwerks unterstützen.
Gleichzeitig bietet die neu veröffentlichte Version 4.1 der sensAI-Lösungssammlung von Lattice gebrauchsfertige KI/ML-Tools, IP-Cores, Hardwareplattformen, Referenzdesigns und -demonstrationen sowie maßgeschneiderte Designservices, um Designteams bei der Entwicklung neuer Netzwerk-Edge-Geräte zu unterstützen und schnell auf den Markt bringen. Die neueste Version von sensAI unterstützt CertusPro-NX FPGA.
Die Lattice sensAI-Lösungssammlung beschleunigt das Training, die Verifizierung und die Kompilierung von End-to-End-KI/ML-Modellen. Lattice fügte sensAI 4.0, das Anfang 2021 veröffentlicht wurde, die Designumgebung sensAI Studio hinzu, ein auf grafischer Benutzeroberfläche (GUI) basierendes Tool, das Entwicklern hilft, Anwendungen für maschinelles Lernen schnell zu erstellen. Wenn Sie die Tools in Lattice sensAI 4.1 zum Einrichten des Netzwerk-Edge-Computing-Designs verwenden und Lattice iCE40 UltraPlus, CrossLink-NX, ECP5 und CertusPro-NX FPGA verwenden, können Echtzeit-KI/ML-Funktionen bei extrem niedrigem Stromverbrauch realisiert werden ――Der Stromverbrauch beträgt nur 1mW bis 1W.
Abbildung 2. Die Designumgebung sensAI Studio von Lattice beschleunigt das Training, die Verifizierung und die Kompilierung von End-to-End-KI/ML-Modellen. (Bildquelle: Lattice)
Da sensAI 4.1 Produkte der Lattice CertusPro-NX FPGA-Serie unterstützt, wurde auch die Leistung von sensAI erheblich verbessert. Zusätzlich zu den bestehenden Objekterkennungs- und Verfolgungsanwendungen wurden auch Anwendungen wie die Echtzeitklassifizierung mehrerer Objekte hinzugefügt. Das sensAI 4.1-Lösungsset enthält einen aktualisierten Compiler für neuronale Netzwerke und ist auch mit anderen weit verbreiteten Plattformen für maschinelles Lernen kompatibel, einschließlich der neuesten Versionen von Caffe, Keras, TensorFlow und TensorFlow Lite.
Die IP-Kerne im Lattice sensAI 4.1-Lösungsset umfassen drei Arten von Convolutional Neural Network (CNN)-Beschleunigern – CNN, CNN Plus und CNN Compact – und eine CNN-Coprozessor-Engine. Der CNN-IP-Kern ermöglicht es Entwicklern, verschiedene weit verbreitete CNNs zu verwenden, die von anderen veröffentlicht wurden, wie z. B. Mobilenet v1/v2, Resent, SSD und VGG, oder das CNN-Modell nach Bedarf anzupassen. Der sensAI 4.1 CNN-Beschleuniger nutzt die Parallelverarbeitungsfähigkeiten, den verteilten Speicher und die DSP-Ressourcen von Lattice-FPGAs, um die Implementierung von KI-Designs mit extrem geringem Stromverbrauch erheblich zu vereinfachen. Der Beschleunigerkern verwendet programmierbare FPGA-Logik, um neuronale Netze mit geringem Stromverbrauch zu implementieren, einschließlich extrem effizienter binärer neuronaler Netze (BNN), die CNN mit extrem niedrigem Stromverbrauch im Milliwattbereich implementieren können.
Abbildung 3. Lattice sensAI-Lösungssammlung kann KI/ML-Geräte auf Basis von Lattice FPGA entwickeln. (Bildquelle: Lattice)
Lattice sensAI 4.1 Referenzdesign
Lattice-FPGAs bieten programmierbare I/O, die so konfiguriert werden können, dass sie eine Vielzahl von elektrischen Schnittstellenstandards unterstützen, die üblicherweise in Sensor Schnittstellen. Das Unternehmen bietet auch viele Hard-Core- und Soft-Core-IP-Module an, um verschiedene Sensorkommunikationsprotokolle zu unterstützen. Da FPGAs seit langem erhebliche Vorteile bei der Sensorfusion haben, zielt das Design von Lattice sensAI 4.1 darauf ab, die Entwicklung von AI/ML-Inferenzfunktionen basierend auf mehreren Sensoren in Netzwerk-Edge-Geräten zu vereinfachen und eine intelligente Sensorfusion zu realisieren. Die Lösungssammlung von sensAI 4.1 umfasst viele Referenzdesignbeispiele, die eine Vielzahl von Anwendungsfällen für intelligente Sensorfusion demonstrieren, die gleichzeitig ausgeführt werden können, um ein tiefgreifendes Situationsbewusstsein zu erreichen. Zu diesen Referenzdesigns gehören:
• Gestenerkennung
Dieses Referenzdesign verwendet einen IR-Bildsensor, um ein KI-basiertes Gestenerkennungssystem mit geringem Stromverbrauch zu implementieren. Das Referenzdesign bietet einen Trainingsdatensatz, Skripte, die mit häufig verwendeten Trainingstools für neuronale Netzwerke trainiert werden können, und ein neuronales Netzwerkmodell, das Benutzer modifizieren können.
•Keyword-Erkennung
Dieses Referenzdesign verwendet ein digitales MEMS-Mikrofon, um kontinuierlich Schlüsselwortäußerungen zu erkennen. Designer können Deep-Learning-Frameworks (wie Caffe, Tensorflow oder Keras) verwenden, um den bereitgestellten Trainingsdatensatz zu aktualisieren, um dem System Wake-Word-Funktionen hinzuzufügen. Das Referenzdesign umfasst einen Trainingsdatensatz, Skripte, die unter Verwendung allgemein verwendeter Trainingstools für neuronale Netzwerke trainiert werden können, und ein neuronales Netzwerkmodell, das Benutzer modifizieren können.
•Gesichtserkennung
Dieses Referenzdesign verwendet Bildsensoren, um eine CNN-basierte Gesichtserkennung zu implementieren, und kann die Trainingsdatenbank modifizieren, um andere Arten von Zielen zu erkennen.
•Personalerkennung
Dieses Referenzdesign verwendet CMOS-Bildsensoren, um die Anwesenheit von Personen kontinuierlich zu erkennen. Das auf diesem Design basierende KI-System kann ein Deep-Learning-Framework (wie Caffe oder Tensorflow) verwenden, um das bereitgestellte Trainingsmodell zu aktualisieren, um jedes interessierende Ziel zu erkennen und zu lokalisieren. Das Referenzdesign umfasst ein neuronales Netzmodell, einen Trainingsdatensatz und Skripte, die mit gängigen Trainingstools trainiert werden können.
•Zielerkennung, -klassifizierung, -verfolgung und -zählung
Dieses Referenzdesign bietet Beispiele für die Erkennung, Klassifizierung, Verfolgung und Zählung von Zielen. Es verfügt über ein vollständiges Design, einschließlich FPGA-RTL für Lattice-Entwicklungsboards, neuronale Netzwerkmodelle, Beispiel-Trainingsdatensätze und Neuerstellung und Aktualisierung des Designskripts.
Häufige und potenzielle Netzwerk-Edge-Anwendungen, bei denen KI eingesetzt werden kann
Die Verwendung von KI/ML-Algorithmen zur Verbesserung der Leistung vieler Netzwerk-Edge-Geräte (z . Lattice arbeitet mit Partnern und Kunden zusammen, um durch den Einsatz von Multimode, Smart Sensor Fusion und AI/ML-Technologie die Erfahrung von PC-/Laptop-Benutzern kontinuierlich zu verbessern und den Betriebsstromverbrauch von Laptops deutlich zu reduzieren. Bei einigen Anwendungen hat sich die Akkulaufzeit um bis zu 28% erhöht.
Welche Ausstattungsmerkmale haben Potenzial?
Die Nutzung von PCs und Laptops innerhalb von 24 Stunden ist sehr unterschiedlich und sie werden in der Regel tagsüber während der Arbeitszeit intensiv genutzt. Sie haben jedoch auch während der Arbeitszeit einen Ruhezustand. Die Leute machen gelegentlich Pausen und essen mittags. Während dieser Zeiten halten sie den Computer normalerweise am Laufen, um sicherzustellen, dass die verschiedenen Anwendungen, die sie öffnen, nicht geschlossen werden.
Kombinieren Sie die KI/ML-Analyse und die Entscheidungsfindung mit den vorhandenen Sensoren des Computers (Kameras und Mikrofone), um eine intelligente Sensorfusion zu erreichen, die es PCs oder Laptops ermöglicht, die Umgebung wahrzunehmen, um zu entscheiden, wann Display und CPU ausgeschaltet und wann sie geben sollen wieder mit Strom versorgt.
Die einfachste Anwendung der Anwesenheitserkennung besteht darin, den Computer herunterzufahren, wenn niemand in der Nähe ist. Wenn der Benutzer nicht im Bildschirm Für lange Zeit kann die Aufmerksamkeitsverfolgungsfunktion den Computerbildschirm dimmen und den Energiesparmodus aktivieren. Das stromsparende, kleine FPGA, das als Zentrum des intelligenten Sensors fungiert, kann Eingaben von Computersensoren empfangen und dann je nach Situation entscheiden, welche Komponenten mit Strom versorgt werden.
Lösen Sie Datenschutz- und Sicherheitsprobleme
In ähnlicher Weise können diese Funktionen auch die Privatsphäre und Sicherheit des Computers verbessern. Die eingebaute Konferenzkamera des Computers kann verwendet werden, um den Hintergrund hinter dem Benutzer zu überwachen und zu erkennen, ob jemand hinter der Schulter des Benutzers lugt. Wenn der Computer so konfiguriert ist, dass er die Privatsphäre schützt, kann eine Warnung angezeigt werden, um den Benutzer zu erinnern, wenn der Verdacht besteht, dass jemand hinter einem autorisierten Benutzer auf den Computerbildschirm guckt, und den Bildschirm sogar automatisch abdunkeln. Zu beachten ist, dass bei diesen Lösungen alle Inferenzdaten lokal im FPGA gespeichert werden. Nur die Metadaten werden an das SoC übergeben, was den Datenschutz weiter verbessert und die Sicherheit verbessert.
Benutzererfahrung optimieren
KI/ML-Funktionen können auch das Gesamterlebnis von Computerbenutzern verbessern. Die KI/ML-basierte Gesichtssucherfunktion kann beispielsweise die höhere Auflösung der integrierten Videokonferenzkamera nutzen, um den Avatar des Benutzers zuzuschneiden und zu zentrieren und so ein besseres Bild für die Videokonferenz zu liefern. Teilnehmer können sich während des Meetings auch bewegen, während ihre Bilder zentriert bleiben. In ähnlicher Weise kann die Gestenerkennung Laptops oder PCs oder anderen videofähigen IoT-Geräten berührungslose Bedienfunktionen hinzufügen.
Nutzen für die Gesundheit
Viele Unternehmen machen mittlerweile deutlich, dass sie die Gesundheit ihrer Mitarbeiter schützen wollen. KI/ML-basierte Wahrnehmungsfunktionen können durch Pop-up-Erinnerungen und andere Maßnahmen dabei helfen, sich wiederholende Belastungsverletzungen zu vermeiden und mithilfe von Computer-Videosensoren sicherzustellen, dass Mitarbeiter die gegebenen Ruheempfehlungen tatsächlich angenommen haben.
KI/ML-Anwendungen können auch verwendet werden, um die Körperhaltung des Benutzers zu erkennen, was ein weiterer Faktor sein kann, der wiederholte Belastungsverletzungen verursachen kann. Diese Funktionen, die aktives Sensor-Feedback verwenden, können zur Entwicklung von Gesundheitsanwendungen verwendet werden, die deutlich besser sind als die einfachen Timing-Erinnerungen, die derzeit in Unternehmen verwendet werden, und stressbedingte Arbeitsunfälle effektiv behandeln können.
Alle diese durch KI/ML implementierten Funktionen können Lieferanten dabei helfen, PCs und Laptops zu entwickeln, die für Unternehmenskäufer attraktiver sind.
Die Verwendung dieser Art von FPGA übertrifft die ikonische Funktion der FPGA-Entwicklung für eine Langzeit-Sensor-Verbindung und -Fusion und fügt basierend auf ausgereiften KI/ML-Algorithmen Sensorsignalanalyse- und Entscheidungsfindungsfunktionen hinzu. Die Hinzufügung von AI/ML macht FPGA zu einem Systemcontroller mit geringem Stromverbrauch, der Systemfunktionen verwalten, die Benutzererfahrung verbessern und die Batterielebensdauer erheblich verlängern kann, indem der Gesamtstromverbrauch des Systems reduziert wird.
Fazit: Ein riesiger Markt mit Milliarden von Netzwerk-Edge-Geräten muss noch entwickelt werden
Mit seinen zahlreichen Produkten der FPGA-Serie mit geringem Stromverbrauch und einer Sammlung von sensAI 4.1-Lösungen, die diese Produktserien unterstützen, hat sich Lattice zum Ziel gesetzt, die KI/ML-Technologie für Milliarden von Netzwerk-Edge-Geräten bereitzustellen. Daher sind Netzwerk-Edge-Anwendungen ein sehr potenzieller Zielmarkt.
Verschiedenen Schätzungen zufolge werden in einem weiten Teil der Welt zig Milliarden Netzwerk-Edge-Geräte benötigt, um den Bedarf einer Vielzahl von Netzwerk-Edge-Märkten zu decken, was für das FPGA-Geschäft sehr attraktiv ist – diese Größenordnung ist natürlich auf diese Weise für jede Branche geeignet. Lattices Veröffentlichung des sensAI 4.1-Lösungssets und seiner stromsparenden, kleinen FPGA-Serie richtet sich direkt an Netzwerk-Edge-Anwendungen und -Märkte. Die Lösungssammlung sensAI 4.1 von Lattice ist ein innovatives Entwicklungswerkzeug für Netzwerk-Edge-Anwendungen, das es Systementwicklern ermöglicht, flexible, anwendungsspezifische, FPGA-basierte KI/ML-Inferenzlösungen für verschiedene Märkte zu entwickeln.