Indubbiamente, ne avrete letto o sentito parlare, poiché il numero di dispositivi perimetrali di rete è proliferato, un'enorme quantità di flusso di dati è stata continuamente aumentata. Questi dispositivi includono auto a guida autonoma, dispositivi Internet of Things, elettronica di consumo e persino laptop e personal computer. Secondo molteplici stime, entro il 2025 saranno in funzione decine di miliardi di dispositivi IoT. Questi dispositivi inviano varie forme di dati al cloud sotto forma di flussi di dati continui e le velocità dei dati variano notevolmente. In generale, questi dispositivi genereranno una grande quantità di dati grezzi e la quantità di dati continuerà ad aumentare nel tempo.
I videoregistratori nelle telecamere di sicurezza, nelle auto a guida autonoma e nei PC generano flussi video ad alta velocità e ad alta risoluzione. I dispositivi IoT generano dati a bit rate medio e li aggregano in flussi di big data. Molti altri tipi di sensori IoT (misurano temperatura, pressione, posizione, livello di luce, ecc.) genereranno flussi di dati a bassa velocità in bit, ma presto il numero di tali sensori raggiungerà miliardi. Pertanto, anche questi flussi di dati a bassa velocità in bit possono essere aggregati in flussi di dati più grandi e ad alta velocità prima di entrare nel cloud.
L'ascesa delle reti wireless 5G e di altre tecnologie di rete ad alta velocità, tra cui picocelle, reti IoT a lunga distanza (come LoRaWAN) e reti satellitari globali di rete (come la rete a banda larga Starlink in espansione di SpaceX e Internet IoT basato su satellite di Swarm Technologies ), che fornisce un accesso cloud ampio e veloce (Nota: Starlink ha acquisito Swarm Technologies nell'agosto 2021). Queste tecnologie di comunicazione e di rete accelerano l'emergente rete perimetrale
. Le applicazioni in tempo reale ai margini della rete di solito non tollerano un'elevata latenza, quindi l'elaborazione, l'analisi e il processo decisionale devono essere trasferiti al dispositivo stesso. Questi dispositivi perimetrali di rete includono veicoli autonomi, sensori IoT, telecamere di sicurezza, smartphone, laptop e personal computer. Pertanto, il potenziale del network edge computing è enorme.
Sotto il peso dei dati, il cloud non può fare tutto
La crescita esponenziale di smartphone e dispositivi IoT ha favorito lo sviluppo dell'edge computing in rete. Questi dispositivi sono onnipresenti e devono essere connessi a Internet per inviare o ricevere informazioni da e verso il cloud. Alcuni dispositivi IoT (come le fotocamere) generano grandi quantità di dati durante il funzionamento.
Altri dispositivi IoT, come i sensori di temperatura, generano una piccola quantità di dati, ma poiché il numero di tali sensori può raggiungere miliardi, comporta un grande onere per l'elaborazione del cloud. Pertanto, l'elaborazione basata sull'edge della rete è molto necessaria, non solo per ridurre il costo della comunicazione di rete e dell'archiviazione cloud nel cloud, ma anche per evitare il sovraccarico del canale dati cloud.
Gli sviluppatori di prodotti e applicazioni periferici di rete stanno adottando sempre più algoritmi di intelligenza artificiale e apprendimento automatico (AI/ML) per abbinare e riconoscere modelli complessi per aiutare ad analizzare i dati e prendere decisioni basate su di essi. In effetti, l'uso di AI/ML la tecnologia è cresciuto in modo estremamente rapido.
Al giorno d'oggi, gli algoritmi AI/ML sono considerati mezzi necessari per elaborare i dati grezzi in modo efficiente, perché possono identificare modelli di dati complessi e multidimensionali che sono difficili da analizzare e riconoscere dai programmi algoritmici tradizionali. Alcune applicazioni AI/ML specifiche includono il rilevamento, il riconoscimento, l'identificazione e il conteggio di persone o oggetti; monitoraggio delle risorse e dell'inventario, percezione ambientale, rilevamento e riconoscimento di suoni e voci, monitoraggio dello stato di salute del sistema e pianificazione della manutenzione del sistema. Lo sviluppo di dispositivi e applicazioni informatiche.
I dispositivi e le applicazioni perimetrali di rete emergenti includono veicoli autonomi, robot, produzione automatizzata, monitoraggio remoto, catena di approvvigionamento e sistemi logistici e videosorveglianza per garantire la sicurezza pubblica e privata. La domanda del mercato per questi sistemi perimetrali di rete sta crescendo rapidamente perché possono aumentare l'efficienza, ridurre i costi operativi e migliorare l'esperienza dell'utente. Ma non importa quanta infrastruttura di comunicazione wireless e cablata costruiamo, il tumulto dei dati in eccesso può sopraffare o bloccare queste pipeline di dati verso il cloud.
L'elaborazione localizzata ai margini della rete aiuta a sbloccare la pipeline dei dati
Queste tendenze indicano che ora è necessario eseguire più elaborazioni laddove i dati vengono generati ai margini della rete e ridurre la quantità di dati trasmessi al cloud. La crescita esplosiva dell'Internet of Things e di altri dispositivi connessi alla rete è la principale forza trainante per lo sviluppo di nuovi dispositivi perimetrali di rete, che stimola ulteriormente lo sviluppo di nuove applicazioni, trasformando così i dati grezzi in informazioni utili e fruibili per supportare decisioni rapide -making , Rispondere alle mutevoli situazioni in tempo reale.
Nelle prime fasi dello sviluppo del network edge computing, le aziende si sono concentrate sui costi di trasmissione dei dati ai data center su lunghe distanze. Inizialmente, una delle principali caratteristiche delle applicazioni perimetrali di rete era la necessità di accedere ai dati archiviati nel cloud e ad altri computer collegati al cloud. Queste prime applicazioni di solito non sono applicazioni in tempo reale; sono accettabili tempi di risposta di centinaia di millisecondi o addirittura di secondi. Tuttavia, lo sviluppo dei dispositivi Internet of Things e la crescente domanda di elaborazione, analisi e risposta in tempo reale all'estremità della rete hanno promosso il potente sviluppo della tecnologia all'estremità della rete, insieme a maggiori sfide di progettazione.
L'elaborazione perimetrale di rete rende l'elaborazione e l'archiviazione dei dati sempre più vicine al dispositivo che raccoglie i dati, invece di analizzare e prendere decisioni in un data center a migliaia di chilometri di distanza
Figura 1. Tendenze nell'edge computing di rete (origine immagine: Lattice)
Molte applicazioni perimetrali di rete che possono sfruttare le funzionalità AI/ML devono operare con vincoli di consumo energetico estremamente rigorosi. Questi dispositivi ampiamente distribuiti di solito si basano sull'alimentazione a batteria. Tali applicazioni abbondano in vari ambienti perimetrali di rete, tra cui fabbriche, fattorie, edifici per uffici, negozi al dettaglio, ospedali, magazzini, strade e residenze. All'aumentare del loro numero, questi dispositivi devono funzionare a lungo, anche mesi o anni, con una sola carica o basandosi solo sulla raccolta e lo stoccaggio di energia.
Pertanto, molti dispositivi devono essere in uno stato di sospensione o ibernazione per la maggior parte del tempo e la maggior parte dei circuiti dovrebbe essere in modalità standby a basso consumo quando il dispositivo è inattivo. Quindi l'evento di attivazione avvierà il dispositivo quando necessario. In questo tipo di applicazione, la base circuito il sistema funzionante a bassissimo consumo energetico deve rimanere in standby, in attesa di un evento di attivazione, quindi alimentare il resto del dispositivo secondo necessità.
FPGA realizza AL/ML a basso consumo energetico
I requisiti per un basso consumo energetico operativo e l'implementazione dell'algoritmo AI/ML sembrano essere in conflitto con i requisiti per la progettazione di dispositivi perimetrali di rete a bassa potenza. Tuttavia, questi due complessi requisiti di progettazione non sono contraddittori. L'ultimo FPGA di Lattice, la serie di dispositivi CertusPro-NX a bassa potenza, dimensioni ridotte e alte prestazioni, è stato progettato per soddisfare i numerosi requisiti di progettazione dei dispositivi perimetrali di rete a bassa potenza. Questi FPGA possono supportare più sensori, display, video ad alta risoluzione, connettività di rete ed elaborazione AI/ML ai margini della rete.
Allo stesso tempo, la nuova versione 4.1 di Lattice della raccolta di soluzioni sensAI fornisce strumenti AI/ML pronti all'uso, core IP, piattaforme hardware, progetti di riferimento e dimostrazioni e servizi di progettazione personalizzati per aiutare i team di progettazione a sviluppare nuove apparecchiature perimetrali di rete e portarlo rapidamente sul mercato. L'ultima versione di sensAI supporta CertusPro-NX FPGA.
La raccolta di soluzioni Lattice sensAI accelera la formazione, la verifica e la compilazione del modello AI/ML end-to-end. Lattice ha aggiunto l'ambiente di progettazione sensAI Studio a sensAI 4.0 rilasciato all'inizio del 2021, uno strumento basato sull'interfaccia utente grafica (GUI) che aiuta gli sviluppatori a creare rapidamente applicazioni di apprendimento automatico. Quando si utilizzano gli strumenti in Lattice sensAI 4.1 per configurare il progetto di edge computing di rete e si utilizza Lattice iCE40 UltraPlus, CrossLink-NX, ECP5 e CertusPro-NX FPGA, le funzioni AI/ML in tempo reale possono essere realizzate con un consumo energetico estremamente basso ――Il consumo energetico è compreso tra 1 mW e 1 W.
Figura 2. L'ambiente di progettazione sensAI Studio di Lattice accelera il training, la verifica e la compilazione del modello AI/ML end-to-end. (Fonte immagine: Reticolo)
Con sensAI 4.1 che supporta i prodotti della serie FPGA Lattice CertusPro-NX, anche le prestazioni di sensAI sono state notevolmente migliorate. Oltre alle applicazioni di rilevamento e tracciamento degli oggetti esistenti, sono state aggiunte anche applicazioni come la classificazione in tempo reale di più oggetti. Il set di soluzioni sensAI 4.1 include un compilatore di rete neurale aggiornato ed è anche compatibile con altre piattaforme di machine learning ampiamente utilizzate, comprese le ultime versioni di Caffe, Keras, TensorFlow e TensorFlow Lite.
I core IP nel set di soluzioni Lattice sensAI 4.1 includono tre tipi di acceleratori di reti neurali convoluzionali (CNN), CNN, CNN Plus e CNN Compact, e un motore di coprocessore CNN. Il core IP della CNN consente agli sviluppatori di utilizzare varie CNN ampiamente utilizzate rilasciate da altri, come Mobilenet v1/v2, Resent, SSD e VGG, o personalizzare il modello CNN secondo necessità. L'acceleratore sensAI 4.1 CNN utilizza le capacità di elaborazione parallela, la memoria distribuita e le risorse DSP degli FPGA Lattice per semplificare notevolmente l'implementazione di progetti di intelligenza artificiale a bassissima potenza. Il core dell'acceleratore utilizza la logica programmabile FPGA per implementare reti neurali a bassa potenza, comprese le reti neurali binarie (BNN) estremamente efficienti, che possono implementare la CNN con un consumo energetico estremamente basso nell'intervallo dei milliwatt.
Figura 3. La raccolta di soluzioni Lattice sensAI può sviluppare dispositivi AI/ML basati su Lattice FPGA. (Fonte immagine: Reticolo)
Progetto di riferimento Lattice sensAI 4.1
Gli FPGA Lattice forniscono I/O programmabili, che possono essere configurati per supportare una varietà di standard di interfaccia elettrica comunemente usati in sensore interfacce. L'azienda fornisce anche molti moduli IP hard-core e soft-core per supportare diversi protocolli di comunicazione dei sensori. Poiché gli FPGA hanno da tempo vantaggi significativi nella fusione dei sensori, il design di Lattice sensAI 4.1 mira a semplificare lo sviluppo di funzioni di inferenza AI/ML basate su più sensori nei dispositivi periferici della rete e realizzare la fusione intelligente dei sensori. La raccolta di soluzioni sensAI 4.1 include molti esempi di progettazione di riferimento, che dimostrano una varietà di casi applicativi di fusione di sensori intelligenti, che possono essere eseguiti contemporaneamente per ottenere una consapevolezza situazionale approfondita. Questi progetti di riferimento includono:
• Rilevamento dei gesti
Questo progetto di riferimento utilizza un sensore di immagine IR per implementare un sistema di rilevamento dei gesti a bassa potenza basato sull'intelligenza artificiale. Il progetto di riferimento fornisce un set di dati di addestramento, script che possono essere addestrati con strumenti di addestramento della rete neurale comunemente usati e un modello di rete neurale che gli utenti possono modificare.
•Rilevamento delle parole chiave
Questo progetto di riferimento utilizza un microfono MEMS digitale per rilevare continuamente le parole chiave. I progettisti possono utilizzare framework di deep learning (come Caffe, Tensorflow o Keras) per aggiornare il set di dati di training fornito per aggiungere funzioni di parole di riattivazione al sistema. Il progetto di riferimento include un set di dati di addestramento, script che possono essere addestrati utilizzando strumenti di addestramento della rete neurale comunemente usati e un modello di rete neurale che gli utenti possono modificare.
•Riconoscimento facciale
Questo progetto di riferimento utilizza sensori di immagine per implementare il riconoscimento facciale basato sulla CNN e può modificare il database di addestramento per riconoscere altri tipi di obiettivi.
•Rilevamento del personale
Questo progetto di riferimento utilizza sensori di immagine CMOS per rilevare continuamente la presenza di persone. Il sistema di intelligenza artificiale basato su questo design può utilizzare un framework di deep learning (come Caffe o Tensorflow) per aggiornare il modello di addestramento fornito per rilevare e localizzare qualsiasi obiettivo di interesse. Il progetto di riferimento include un modello di rete neurale, un set di dati di addestramento e script che possono essere addestrati utilizzando strumenti di addestramento comuni.
•Rilevamento, classificazione, tracciamento e conteggio dei bersagli
Questo progetto di riferimento fornisce esempi di rilevamento, classificazione, tracciamento e conteggio del target. Ha un design completo, tra cui FPGA RTL per schede di sviluppo Lattice, modelli di rete neurale, set di dati di addestramento di esempio e ricreazione e aggiornamento dello script di progettazione.
Applicazioni perimetrali di rete comuni e potenziali in cui è possibile utilizzare l'intelligenza artificiale
L'utilizzo di algoritmi AI/ML per migliorare le prestazioni di molti dispositivi perimetrali di rete (come robot autonomi, controllo ambientale e telecamere di sicurezza video) presenta ovvi vantaggi, mentre possono trarne vantaggio anche altri tipi di dispositivi periferici di rete, come PC e laptop . Lattice sta lavorando con partner e clienti per utilizzare la fusione di sensori intelligenti multimodali e la tecnologia AI/ML per migliorare continuamente l'esperienza degli utenti di PC/laptop e ridurre significativamente il consumo energetico operativo dei laptop. In alcune applicazioni, la durata della batteria è aumentata fino al 28%.
Quali caratteristiche dell'attrezzatura hanno un valore potenziale?
L'utilizzo di PC e laptop entro 24 ore è molto diverso e generalmente vengono utilizzati in modo intensivo durante l'orario di lavoro durante il giorno. Tuttavia, anche durante l'orario di lavoro, avranno uno stato di riposo. Le persone fanno pause occasionali e mangiano a mezzogiorno. Durante questi periodi, di solito mantengono il computer in esecuzione per garantire che le varie applicazioni che aprono non vengano chiuse.
Combina l'analisi AI/ML e il processo decisionale con i sensori esistenti del computer (fotocamere e microfoni) per ottenere una fusione intelligente dei sensori, consentendo a PC o laptop di percepire l'ambiente circostante per decidere quando spegnere il display e la CPU e quando dare ri-alimentato.
L'uso più semplice del rilevamento della presenza è spegnere il computer quando non c'è nessuno in giro. Quando l'utente è lontano dal allo per lungo tempo, la funzione di tracciamento dell'attenzione può oscurare lo schermo del computer e attivare la modalità a basso consumo. L'FPGA a bassa potenza e di piccole dimensioni che funge da centro del sensore intelligente può ricevere input dai sensori del computer e quindi decidere quali componenti fornire alimentazione in base alla situazione.
Risolvi i problemi di privacy e sicurezza
Allo stesso modo, queste funzioni possono anche migliorare la privacy e la sicurezza del computer. La telecamera per conferenze integrata del computer può essere utilizzata per monitorare lo sfondo dietro l'utente e rilevare se qualcuno sta sbirciando da dietro la spalla dell'utente. Se il computer è configurato per proteggere la privacy, quando si sospetta che qualcuno dietro un utente autorizzato stia sbirciando sullo schermo del computer, può apparire un avviso per ricordare all'utente e persino oscurare automaticamente lo schermo. Va notato che, con queste soluzioni, tutti i dati di inferenza sono archiviati localmente nell'FPGA. Solo i metadati vengono passati al SoC, che migliora ulteriormente la privacy e migliora la sicurezza.
Ottimizza l'esperienza utente
Le funzioni AI/ML possono anche migliorare l'esperienza complessiva degli utenti di computer. Ad esempio, la funzione del mirino facciale basata su AI/ML può utilizzare la risoluzione più elevata della videocamera per videoconferenza integrata per ritagliare e centrare l'avatar dell'utente, fornendo un'immagine migliore per la videoconferenza. I partecipanti possono anche spostarsi durante la riunione mentre le loro immagini rimangono centrate. Allo stesso modo, il riconoscimento dei gesti può aggiungere funzionalità operative senza contatto a laptop o PC o qualsiasi altro dispositivo IoT abilitato per il video.
Benefici alla salute
Molte aziende ora chiariscono di voler proteggere la salute dei propri dipendenti. Le funzioni di percezione basate su AI/ML possono aiutare a evitare lesioni da stress ripetitivo attraverso promemoria pop-up e altre misure e utilizzare sensori video per computer per garantire che i dipendenti abbiano effettivamente adottato le raccomandazioni di riposo fornite.
Le applicazioni AI/ML possono anche essere utilizzate per rilevare la postura dell'utente, che potrebbe essere un altro fattore che causa lesioni da stress ripetitivo. Queste funzionalità che utilizzano il feedback attivo del sensore possono essere utilizzate per sviluppare applicazioni sanitarie, che è significativamente migliore rispetto ai semplici promemoria temporali attualmente utilizzati nelle imprese e possono affrontare efficacemente gli infortuni sul lavoro legati allo stress.
Tutte queste funzioni implementate tramite AI/ML possono aiutare i fornitori a creare PC e laptop più attraenti per gli acquirenti aziendali e tutte queste funzioni possono essere ottenute tramite la raccolta di soluzioni sensAI 4.1 e le funzionalità FPGA a bassa potenza Lattice da raggiungere.
L'uso di questo tipo di FPGA supera la funzione iconica dello sviluppo di FPGA per una lunga connessione e fusione di sensori temporali e, basato su algoritmi AI/ML maturi, aggiunge analisi del segnale del sensore e funzioni decisionali. L'aggiunta di AI/ML rende l'FPGA un controller di sistema a basso consumo in grado di gestire le funzioni di sistema, migliorare l'esperienza utente e prolungare notevolmente la durata della batteria riducendo il consumo energetico complessivo del sistema.
Conclusione: un enorme mercato di miliardi di dispositivi perimetrali di rete deve ancora essere sviluppato
Con i suoi molteplici prodotti della serie FPGA a bassa potenza e una raccolta di soluzioni sensAI 4.1 che supportano queste serie di prodotti, Lattice si impegna a portare la tecnologia AI/ML a miliardi di dispositivi perimetrali di rete. Pertanto, le applicazioni perimetrali di rete sono un mercato di destinazione altamente potenziale.
Secondo varie stime, sono necessarie decine di miliardi di dispositivi periferici di rete in una vasta area del mondo per soddisfare le esigenze di un gran numero di mercati periferici di rete, il che è molto interessante per il business FPGA, ovviamente questa scala è adatto a qualsiasi settore in questo modo. Il rilascio da parte di Lattice del set di soluzioni sensAI 4.1 e la sua serie FPGA a bassa potenza e di piccole dimensioni è diretta direttamente alle applicazioni e ai mercati perimetrali di rete. La raccolta di soluzioni sensAI 4.1 di Lattice è uno strumento di sviluppo innovativo per applicazioni perimetrali di rete, che consente agli sviluppatori di sistemi di sviluppare soluzioni di inferenza AI/ML flessibili, specifiche per l'applicazione e basate su FPGA per vari mercati.