U heeft er ongetwijfeld over gelezen of gehoord, aangezien het aantal netwerkrandapparaten is toegenomen, is een enorme hoeveelheid gegevensstroom voortdurend toegenomen. Deze apparaten omvatten zelfrijdende auto's, Internet of Things-apparaten, consumentenelektronica en zelfs laptops en pc's. Volgens meerdere schattingen zullen er tegen 2025 tientallen miljarden IoT-apparaten in gebruik zijn. Deze apparaten sturen verschillende vormen van data naar de cloud in de vorm van continue datastromen, en de datasnelheden lopen sterk uiteen. Over het algemeen zullen deze apparaten een grote hoeveelheid onbewerkte gegevens genereren en de hoeveelheid gegevens zal in de loop van de tijd blijven toenemen.
Videorecorders in beveiligingscamera's, zelfrijdende auto's en pc's genereren videostreams met een hoge snelheid en een hoge resolutie. IoT-apparaten genereren gegevens met een gemiddelde bitsnelheid en voegen deze samen tot grote gegevensstromen. Veel andere soorten IoT-sensoren (meettemperatuur, druk, locatie, lichtniveau, enz.) zullen datastromen met een lage bitsnelheid genereren, maar binnenkort zal het aantal van dergelijke sensoren miljarden bereiken. Daarom kunnen zelfs deze gegevensstromen met een lage bitsnelheid worden samengevoegd tot grotere gegevensstromen met een hoge bitsnelheid voordat ze de cloud binnenkomen.
De opkomst van draadloze 5G-netwerken en andere hogesnelheidsnetwerktechnologieën, waaronder picocells, langeafstands-IoT-netwerken (zoals LoRaWAN) en wereldwijde netwerksatellietnetwerken (zoals het groeiende Starlink-breedbandnetwerk van SpaceX en het op satellieten gebaseerde IoT-internet van Swarm Technologies ), die uitgebreide en snelle cloudtoegang biedt (Opmerking: Starlink heeft Swarm Technologies in augustus 2021 overgenomen). Deze communicatie- en netwerktechnologieën versnellen de opkomende netwerkrand
. Realtime-applicaties aan de rand van het netwerk tolereren meestal geen hoge latentie, dus verwerking, analyse en besluitvorming moeten worden overgedragen aan het apparaat zelf. Deze netwerkrandapparaten omvatten autonome voertuigen, IoT-sensoren, beveiligingscamera's, smartphones, laptops en pc's. Daarom is het potentieel van network edge computing enorm.
Onder het gewicht van gegevens kan de cloud niet alles doen
De exponentiële groei van smartphones en IoT-apparaten heeft de ontwikkeling van edge computing op het netwerk gestimuleerd. Deze apparaten zijn alomtegenwoordig en moeten met internet zijn verbonden om informatie van en naar de cloud te kunnen verzenden of ontvangen. Sommige IoT-apparaten (zoals camera's) genereren tijdens het gebruik grote hoeveelheden gegevens.
Andere IoT-apparaten, zoals temperatuursensoren, genereren een kleine hoeveelheid gegevens, maar aangezien het aantal van dergelijke sensoren miljarden kan bereiken, brengt dit een grote belasting met zich mee voor de cloudverwerking. Daarom is verwerking op basis van de rand van het netwerk zeer noodzakelijk, niet alleen om de kosten van netwerkcommunicatie en cloudopslag in de cloud te verlagen, maar ook om overbelasting van het clouddatakanaal te voorkomen.
Ontwikkelaars van netwerkrandproducten en -applicaties maken steeds meer gebruik van algoritmen voor kunstmatige intelligentie en machine learning (AI/ML) om complexe patronen te matchen en te herkennen, zodat ze gegevens kunnen analyseren en op basis daarvan beslissingen kunnen nemen. Sterker nog, het gebruik van AI/ML technologie is enorm snel gegroeid.
Tegenwoordig worden AI/ML-algoritmen beschouwd als noodzakelijke middelen om onbewerkte gegevens efficiënt te verwerken, omdat ze complexe en multidimensionale gegevenspatronen kunnen identificeren die moeilijk te ontleden en te herkennen zijn door traditionele algoritmeprogramma's. Enkele specifieke AI/ML-toepassingen zijn onder meer het detecteren, herkennen, identificeren en tellen van mensen of objecten; het volgen van activa en inventaris, omgevingsperceptie, geluids- en stemdetectie en -herkenning, monitoring van de systeemgezondheid en planning van systeemonderhoud. De ontwikkeling van computerapparatuur en applicaties.
Opkomende netwerkrandapparatuur en -toepassingen omvatten autonome voertuigen, robots, geautomatiseerde productie, bewaking op afstand, supply chain- en logistieke systemen en videobewaking om openbare en particuliere beveiliging te garanderen. De vraag van de markt naar deze netwerk edge-systemen groeit snel omdat ze de efficiëntie kunnen verhogen, de bedrijfskosten kunnen verlagen en de gebruikerservaring kunnen verbeteren. Maar hoeveel draadloze en bekabelde communicatie-infrastructuur we ook bouwen, de onrust van overtollige data kan deze datapijplijnen naar de cloud overweldigen of blokkeren.
Gelokaliseerde verwerking aan de rand van het netwerk helpt bij het deblokkeren van de datapijplijn
Deze trends geven aan dat het nu nodig is om meer verwerking te doen waar gegevens aan de rand van het netwerk worden gegenereerd en de hoeveelheid gegevens die naar de cloud wordt verzonden, te verminderen. De explosieve groei van het internet der dingen en andere op het netwerk aangesloten apparaten is de belangrijkste drijvende kracht achter de ontwikkeling van nieuwe netwerkrandapparatuur, die de ontwikkeling van nieuwe toepassingen verder stimuleert, waardoor onbewerkte gegevens worden omgezet in bruikbare en bruikbare informatie om snelle beslissingen te ondersteunen -maken, Reageren op veranderende situaties in realtime.
In de vroege stadia van de ontwikkeling van network edge computing, richtten bedrijven zich op de kosten van het over lange afstanden van data naar datacenters verzenden. Aanvankelijk was een belangrijk kenmerk van netwerkedge-applicaties de noodzaak om toegang te krijgen tot gegevens die zijn opgeslagen in de cloud en andere computers die met de cloud zijn verbonden. Deze vroege toepassingen zijn meestal geen realtime toepassingen; responstijden van honderden milliseconden of zelfs seconden zijn acceptabel. De ontwikkeling van Internet of Things-apparaten en de groeiende vraag naar realtime verwerking, analyse en respons aan de netwerkrand hebben echter de krachtige ontwikkeling van netwerkrandtechnologie bevorderd, samen met grotere ontwerpuitdagingen.
Netwerkrandverwerking maakt computergebruik en gegevensopslag steeds dichter bij het apparaat dat gegevens verzamelt, in plaats van te analyseren en beslissingen te nemen in een datacenter duizenden kilometers verderop
Figuur 1. Trends in network edge computing (Bron afbeelding: Lattice)
Veel netwerk-edge-applicaties die kunnen profiteren van AI/ML-mogelijkheden, moeten werken onder extreem strenge beperkingen op het gebied van stroomverbruik. Deze wijdverspreide apparaten zijn meestal afhankelijk van batterijvermogen. Dergelijke toepassingen zijn er in overvloed in verschillende netwerkrandomgevingen, waaronder fabrieken, boerderijen, kantoorgebouwen, winkels, ziekenhuizen, magazijnen, straten en woningen. Naarmate hun aantal toeneemt, moeten deze apparaten lange tijd, zelfs maanden of jaren, werken met slechts een enkele lading of alleen afhankelijk van het verzamelen en opslaan van energie.
Daarom moeten veel apparaten het grootste deel van de tijd in een slaap- of slaapstand staan, en de meeste circuits moeten in een energiezuinige stand-bymodus staan wanneer het apparaat inactief is. Vervolgens zal de activeringsgebeurtenis het apparaat starten wanneer dat nodig is. In dit type toepassing is de basis circuit systeem dat werkt met een ultralaag stroomverbruik, moet stand-by blijven, wachtend op een activeringsgebeurtenis, en vervolgens de rest van het apparaat van stroom voorzien als dat nodig is.
FPGA realiseert AL/ML met een laag stroomverbruik
De vereisten voor een laag energieverbruik in bedrijf en de implementatie van AI/ML-algoritmen lijken in strijd met de vereisten voor het ontwerp van netwerkrandapparaten met een laag stroomverbruik. Deze twee complexe ontwerpvereisten zijn echter niet tegenstrijdig. Lattice's nieuwste FPGA - de energiezuinige, kleine, krachtige CertusPro-NX-serie apparaten - is afgestemd op de vele ontwerpvereisten van netwerkedge-apparaten met een laag stroomverbruik. Deze FPGA's kunnen meerdere sensoren, schermen, video met hoge resolutie, netwerkconnectiviteit en AI/ML-verwerking aan de rand van het netwerk ondersteunen.
Tegelijkertijd biedt Lattice's nieuw uitgebrachte versie 4.1 van de sensAI-oplossingscollectie kant-en-klare AI/ML-tools, IP-cores, hardwareplatforms, referentieontwerpen en demonstraties, en aangepaste ontwerpservices om ontwerpteams te helpen bij het ontwikkelen van nieuwe netwerkrandapparatuur en snel op de markt brengen. De nieuwste versie van sensAI ondersteunt CertusPro-NX FPGA.
De collectie Lattice sensAI-oplossingen versnelt end-to-end training, verificatie en compilatie van AI/ML-modellen. Lattice heeft de sensAI Studio-ontwerpomgeving toegevoegd aan sensAI 4.0 die begin 2021 werd uitgebracht, een op een grafische gebruikersinterface (GUI) gebaseerde tool waarmee ontwikkelaars snel machine learning-applicaties kunnen bouwen. Bij gebruik van de tools in Lattice sensAI 4.1 om het netwerk edge computing-ontwerp in te stellen, en bij gebruik van Lattice iCE40 UltraPlus, CrossLink-NX, ECP5 en CertusPro-NX FPGA, kunnen realtime AI/ML-functies worden gerealiseerd bij een ultralaag stroomverbruik ――Het stroomverbruik is zo laag als 1mW tot 1W.
Afbeelding 2. De sensAI Studio-ontwerpomgeving van Lattice versnelt de training, verificatie en compilatie van end-to-end AI/ML-modellen. (Bron afbeelding: Lattice)
Met sensAI 4.1 die producten uit de Lattice CertusPro-NX FPGA-serie ondersteunt, zijn de prestaties van sensAI ook sterk verbeterd. Naast de bestaande objectdetectie- en tracking-applicaties zijn er ook applicaties toegevoegd zoals realtime classificatie van meerdere objecten. De sensAI 4.1-oplossingenset bevat een bijgewerkte neurale netwerkcompiler en is ook compatibel met andere veelgebruikte machine learning-platforms, waaronder de nieuwste versies van Caffe, Keras, TensorFlow en TensorFlow Lite.
De IP-cores in de Lattice sensAI 4.1-oplossingenset bevatten drie soorten convolutionele neurale netwerkversnellers (CNN) - CNN, CNN Plus en CNN Compact - en een CNN-coprocessor-engine. Met de CNN IP-core kunnen ontwikkelaars verschillende veelgebruikte CNN's gebruiken die door anderen zijn uitgebracht, zoals Mobilenet v1/v2, Resent, SSD en VGG, of het CNN-model naar behoefte aanpassen. De sensAI 4.1 CNN-versneller maakt gebruik van de parallelle verwerkingsmogelijkheden, het gedistribueerde geheugen en de DSP-bronnen van Lattice FPGA's om de implementatie van ultra-low power AI-ontwerpen aanzienlijk te vereenvoudigen. De versnellerkern gebruikt FPGA-programmeerbare logica om neurale netwerken met een laag vermogen te implementeren, waaronder extreem efficiënte binaire neurale netwerken (BNN), die CNN kunnen implementeren met een ultralaag stroomverbruik in het milliwatt-bereik.
Afbeelding 3. Lattice sensAI-oplossingscollectie kan AI/ML-apparaten ontwikkelen op basis van Lattice FPGA. (Bron afbeelding: Lattice)
Lattice sensAI 4.1 referentieontwerp
Lattice FPGA's bieden programmeerbare I/O, die kan worden geconfigureerd om een verscheidenheid aan elektrische interfacestandaarden te ondersteunen die gewoonlijk worden gebruikt in sensor interfaces. Het bedrijf levert ook veel hard-core en soft-core IP-modules ter ondersteuning van verschillende sensorcommunicatieprotocollen. Omdat FPGA's lange tijd aanzienlijke voordelen hebben gehad bij sensorfusie, heeft het ontwerp van Lattice sensAI 4.1 tot doel de ontwikkeling van AI/ML-inferentiefuncties op basis van meerdere sensoren in netwerkrandapparaten te vereenvoudigen en intelligente sensorfusie te realiseren. De collectie van sensAI 4.1-oplossingen bevat veel referentieontwerpvoorbeelden, die een verscheidenheid aan toepassingen van slimme sensorfusie demonstreren, die tegelijkertijd kunnen worden uitgevoerd om een diepgaand situationeel bewustzijn te bereiken. Deze referentieontwerpen omvatten:
• Gebaardetectie
Dit referentieontwerp maakt gebruik van een IR-beeldsensor om een AI-gebaseerd low-power bewegingsdetectiesysteem te implementeren. Het referentieontwerp biedt een trainingsgegevensset, scripts die kunnen worden getraind met veelgebruikte trainingshulpmiddelen voor neurale netwerken en een neuraal netwerkmodel dat gebruikers kunnen aanpassen.
•Zoekwoorddetectie
Dit referentieontwerp maakt gebruik van een digitale MEMS-microfoon om continu trefwoorduitingen te detecteren. Ontwerpers kunnen deep learning-frameworks (zoals Caffe, Tensorflow of Keras) gebruiken om de verstrekte trainingsgegevensset bij te werken om wake-word-functies aan het systeem toe te voegen. Het referentieontwerp omvat een trainingsdataset, scripts die kunnen worden getraind met behulp van veelgebruikte neurale netwerktrainingstools en een neuraal netwerkmodel dat gebruikers kunnen aanpassen.
•Gezichtsherkenning
Dit referentieontwerp maakt gebruik van beeldsensoren om op CNN gebaseerde gezichtsherkenning te implementeren en kan de trainingsdatabase aanpassen om andere soorten doelen te herkennen.
•Personeelsdetectie
Dit referentieontwerp maakt gebruik van CMOS-beeldsensoren om continu de aanwezigheid van mensen te detecteren. Het AI-systeem op basis van dit ontwerp kan een diepgaand leerraamwerk (zoals Caffe of Tensorflow) gebruiken om het verstrekte trainingsmodel bij te werken om elk interessant doelwit te detecteren en te lokaliseren. Het referentieontwerp omvat een neuraal netwerkmodel, een trainingsgegevensset en scripts die kunnen worden getraind met behulp van algemene trainingstools.
•Doeldetectie, classificatie, volgen en tellen
Dit referentieontwerp biedt voorbeelden van doeldetectie, classificatie, volgen en tellen. Het heeft een compleet ontwerp, inclusief FPGA RTL voor Lattice-ontwikkelingsborden, neurale netwerkmodellen, voorbeeldtrainingsdatasets en het opnieuw maken en bijwerken van het ontwerpscript.
Veelvoorkomende en potentiële netwerk-edge-applicaties waar AI kan worden gebruikt
Het gebruik van AI/ML-algoritmen om de prestaties van veel netwerkrandapparaten (zoals autonome robots, omgevingscontrole en videobeveiligingscamera's) te verbeteren heeft duidelijke voordelen, terwijl andere typen netwerkrandapparaten er ook van kunnen profiteren, zoals pc's en laptops . Lattice werkt samen met partners en klanten om multi-mode, slimme sensorfusie en AI/ML-technologie te gebruiken om de ervaring van pc-/laptopgebruikers continu te verbeteren en het energieverbruik van laptops aanzienlijk te verminderen. In sommige toepassingen is de levensduur van de batterij tot 28% verlengd.
Welke uitrustingskenmerken hebben potentiële waarde?
Het gebruik van pc's en laptops binnen 24 uur is heel anders, en ze worden over het algemeen intensief gebruikt tijdens werkuren gedurende de dag. Maar zelfs tijdens de werkuren zullen ze een rusttoestand hebben. Mensen nemen af en toe een pauze en eten 's middags. Gedurende deze tijden houden ze de computer meestal draaiende om ervoor te zorgen dat de verschillende applicaties die ze openen niet worden gesloten.
Combineer AI/ML-analyse en besluitvorming met de bestaande sensoren van de computer (camera's en microfoons) om slimme sensorfusie te bereiken, zodat pc's of laptops de omgeving kunnen waarnemen om te beslissen wanneer het scherm en de CPU moeten worden uitgeschakeld en wanneer ze opnieuw van stroom voorzien.
Het eenvoudigste gebruik van aanwezigheidsdetectie is om de computer af te sluiten als er niemand in de buurt is. Wanneer de gebruiker weg is van de scherm voor een lange tijd kan de aandachtsvolgfunctie het computerscherm dimmen en de energiebesparende modus activeren. De energiezuinige, kleine FPGA die fungeert als het centrum van de slimme sensor, kan input ontvangen van computersensoren en vervolgens beslissen welke componenten afhankelijk van de situatie van stroom moeten worden voorzien.
Los privacy- en beveiligingsproblemen op
Evenzo kunnen deze functies ook de privacy en beveiliging van de computer verbeteren. De ingebouwde conferentiecamera van de computer kan worden gebruikt om de achtergrond achter de gebruiker in de gaten te houden en te detecteren of er iemand achter de schouder van de gebruiker gluurt. Als de computer is geconfigureerd om de privacy te beschermen en er wordt vermoed dat iemand achter een geautoriseerde gebruiker op het computerscherm gluurt, kan deze een waarschuwing weergeven om de gebruiker eraan te herinneren en zelfs het scherm automatisch dimmen. Opgemerkt moet worden dat bij deze oplossingen alle inferentiegegevens lokaal in de FPGA worden opgeslagen. Alleen de metadata wordt doorgegeven aan de SoC, wat de privacy verder verbetert en de veiligheid verbetert.
Optimaliseer gebruikerservaring
AI/ML-functies kunnen ook de algehele ervaring van computergebruikers verbeteren. De op AI/ML gebaseerde gezichtszoekerfunctie kan bijvoorbeeld de hogere resolutie van de ingebouwde videoconferentiecamera gebruiken om de avatar van de gebruiker bij te snijden en te centreren, wat een beter beeld oplevert voor de videoconferentie. Deelnemers kunnen ook tijdens de vergadering bewegen terwijl hun afbeeldingen gecentreerd blijven. Op dezelfde manier kan gebarenherkenning contactloze bedieningsmogelijkheden toevoegen aan laptops of pc's of andere video-enabled IoT-apparaten.
Gezondheidsvoordelen
Veel bedrijven maken inmiddels duidelijk dat ze de gezondheid van hun medewerkers willen beschermen. Op AI/ML gebaseerde waarnemingsfuncties kunnen repetitieve stressverwondingen helpen voorkomen door middel van pop-upherinneringen en andere maatregelen, en computervideosensoren gebruiken om ervoor te zorgen dat werknemers de gegeven rustaanbevelingen daadwerkelijk hebben overgenomen.
AI/ML-toepassingen kunnen ook worden gebruikt om de houding van de gebruiker te detecteren, wat een andere factor kan zijn die RSI kan veroorzaken. Deze functies die gebruik maken van actieve sensorfeedback kunnen worden gebruikt om gezondheidstoepassingen te ontwikkelen, die aanzienlijk beter zijn dan de eenvoudige timingherinneringen die momenteel in ondernemingen worden gebruikt, en kunnen effectief omgaan met stressgerelateerd werkletsel.
Al deze functies die via AI/ML worden geïmplementeerd, kunnen leveranciers helpen om pc's en laptops te maken die aantrekkelijker zijn voor zakelijke kopers, en al deze functies kunnen worden bereikt door de sensAI 4.1-oplossingsverzameling en Lattice low-power FPGA's-functies te bereiken.
Het gebruik van dit soort FPGA overtreft de iconische functie van FPGA-ontwikkeling voor een langdurige sensorverbinding en fusie, en op basis van volwassen AI/ML-algoritmen voegt het sensorsignaalanalyse en besluitvormingsfuncties toe. De toevoeging van AI/ML maakt van FPGA een energiezuinige systeemcontroller die systeemfuncties kan beheren, de gebruikerservaring kan verbeteren en de levensduur van de batterij aanzienlijk kan verlengen door het totale stroomverbruik van het systeem te verminderen.
Conclusie: er moet nog een enorme markt van miljarden netwerkrandapparaten worden ontwikkeld
Met zijn meerdere low-power FPGA-producten en een verzameling sensAI 4.1-oplossingen die deze productreeksen ondersteunen, zet Lattice zich in om AI/ML-technologie naar miljarden netwerkrandapparaten te brengen. Daarom zijn netwerkrandtoepassingen een zeer potentiële doelmarkt.
Volgens verschillende schattingen zijn er in een groot deel van de wereld tientallen miljarden netwerkrandapparaten nodig om te voldoen aan de behoeften van een groot aantal netwerkrandmarkten, wat zeer aantrekkelijk is voor de FPGA-business - natuurlijk is deze schaal op deze manier geschikt voor elke branche. Lattice's release van de sensAI 4.1-oplossingenset en de energiezuinige, kleine FPGA-serie is direct gericht op netwerkrandtoepassingen en -markten. Lattice's sensAI 4.1-oplossingencollectie is een innovatief ontwikkelingshulpmiddel voor netwerkrandtoepassingen, waarmee systeemontwikkelaars flexibele, toepassingsspecifieke, op FPGA gebaseerde AI/ML-inferentieoplossingen voor verschillende markten kunnen ontwikkelen.