의심할 여지 없이 네트워크 에지 장치의 수가 증가함에 따라 엄청난 양의 데이터 흐름이 지속적으로 증가했습니다. 이러한 장치에는 자율 주행 자동차, 사물 인터넷 장치, 소비자 전자 제품, 심지어 노트북과 개인용 컴퓨터가 포함됩니다. 여러 추정에 따르면 2025년까지 수백억 개의 IoT 장치가 작동할 것입니다. 이러한 장치는 다양한 형태의 데이터를 연속적인 데이터 스트림의 형태로 클라우드에 전송하며 데이터 속도는 매우 다양합니다. 일반적으로 이러한 장치는 많은 양의 원시 데이터를 생성하고 데이터의 양은 시간이 지남에 따라 계속 증가할 것입니다.
보안 카메라, 자율 주행 자동차 및 PC의 비디오 레코더는 고속, 고해상도 비디오 스트림을 생성합니다. IoT 장치는 중간 비트 전송률 데이터를 생성하고 이를 빅 데이터 스트림으로 집계합니다. 다른 많은 유형의 IoT 센서(온도, 압력, 위치, 조도 등 측정)는 낮은 비트 전송률 데이터 스트림을 생성하지만 곧 그러한 센서의 수는 수십억 개에 달할 것입니다. 따라서 이러한 낮은 비트 전송률 데이터 스트림도 클라우드에 들어가기 전에 더 크고 높은 비트 전송률 데이터 스트림으로 집계할 수 있습니다.
피코셀, 장거리 IoT 네트워크(예: LoRaWAN), 글로벌 네트워킹 위성 네트워크(예: SpaceX의 확장 Starlink 광대역 네트워크 및 Swarm Technologies의 위성 기반 IoT 인터넷 등)를 포함한 5G 무선 네트워크 및 기타 고속 네트워크 기술의 부상 ), 광범위하고 빠른 클라우드 액세스를 제공합니다(참고: Starlink는 2021년 XNUMX월 Swarm Technologies를 인수했습니다). 이러한 통신 및 네트워크 기술은 신흥 네트워크 에지를 가속화합니다.
. 네트워크 가장자리의 실시간 애플리케이션은 일반적으로 높은 대기 시간을 허용하지 않으므로 처리, 분석 및 의사 결정을 장치 자체로 전송해야 합니다. 이러한 네트워크 에지 장치에는 자율주행차, IoT 센서, 보안 카메라, 스마트폰, 노트북 및 개인용 컴퓨터가 포함됩니다. 따라서 네트워크 에지 컴퓨팅의 잠재력은 엄청납니다.
데이터의 무게로 인해 클라우드가 모든 작업을 수행할 수 없음
스마트폰과 IoT 장치의 기하급수적인 성장은 네트워크에서 에지 컴퓨팅의 개발을 촉진했습니다. 이러한 장치는 유비쿼터스이며 클라우드와 정보를 주고 받으려면 인터넷에 연결해야 합니다. 일부 IoT 장치(예: 카메라)는 작동 중에 많은 양의 데이터를 생성합니다.
온도 센서와 같은 다른 IoT 장치는 소량의 데이터를 생성하지만 이러한 센서의 수가 수십억 개에 달할 수 있으므로 클라우드 처리에 큰 부담을 줍니다. 따라서 네트워크 에지 기반 처리는 클라우드에서 네트워크 통신 및 클라우드 스토리지 비용을 절감할 뿐만 아니라 클라우드 데이터 채널의 과부하를 방지하기 위해 매우 필요합니다.
네트워크 에지 제품 및 애플리케이션 개발자는 복잡한 패턴을 일치시키고 인식하여 데이터를 분석하고 이를 기반으로 의사 결정을 내리는 데 도움이 되는 인공 지능 및 기계 학습(AI/ML) 알고리즘을 점점 더 많이 채택하고 있습니다. 실제로 AI/ML을 사용하면 technology 매우 빠르게 성장했습니다.
오늘날 AI/ML 알고리즘은 기존 알고리즘 프로그램으로 구문 분석 및 인식하기 어려운 복잡하고 다차원적인 데이터 패턴을 식별할 수 있기 때문에 원시 데이터를 효율적으로 처리하는 데 필요한 수단으로 간주됩니다. 일부 특정 AI/ML 애플리케이션에는 사람 또는 물체의 감지, 인식, 식별 및 계산이 포함됩니다. 자산 및 재고 추적, 환경 인식, 소리 및 음성 감지 및 인식, 시스템 상태 모니터링, 시스템 유지 관리 일정. 컴퓨팅 장치 및 응용 프로그램의 개발.
새로운 네트워크 에지 장치 및 애플리케이션에는 자율 차량, 로봇, 자동화된 생산, 원격 모니터링, 공급망 및 물류 시스템, 공공 및 민간 보안을 보장하는 비디오 감시가 포함됩니다. 이러한 네트워크 에지 시스템에 대한 시장 수요는 효율성을 높이고 운영 비용을 절감하며 사용자 경험을 개선할 수 있기 때문에 빠르게 증가하고 있습니다. 그러나 우리가 아무리 많은 유무선 통신 인프라를 구축하더라도 과도한 데이터의 혼란은 클라우드로의 이러한 데이터 파이프라인을 압도하거나 차단할 수 있습니다.
네트워크 에지에서의 현지화된 처리는 데이터 파이프라인의 차단을 해제하는 데 도움이 됩니다.
이러한 추세는 이제 네트워크 에지에서 데이터가 생성되는 곳에서 더 많은 처리를 수행하고 클라우드로 전송되는 데이터의 양을 줄여야 함을 나타냅니다. 사물 인터넷 및 기타 네트워크 연결 장치의 폭발적인 성장은 새로운 네트워크 에지 장치 개발의 주요 원동력이며, 이는 새로운 응용 프로그램 개발을 더욱 자극하여 원시 데이터를 유용하고 실행 가능한 정보로 변환하여 신속한 의사 결정을 지원합니다. -making , 실시간으로 변화하는 상황에 대응합니다.
네트워크 에지 컴퓨팅 개발의 초기 단계에서 기업은 장거리 데이터 센터로 데이터를 전송하는 비용에 집중했습니다. 초기에 네트워크 에지 애플리케이션의 주요 기능은 클라우드 및 클라우드에 연결된 다른 컴퓨터에 저장된 데이터에 액세스해야 한다는 것이었습니다. 이러한 초기 애플리케이션은 일반적으로 실시간 애플리케이션이 아닙니다. 수백 밀리초 또는 몇 초의 응답 시간도 허용됩니다. 그러나 사물 인터넷 장치의 개발과 네트워크 에지에서의 실시간 처리, 분석 및 응답에 대한 수요 증가로 인해 네트워크 에지 기술의 강력한 개발이 촉진되었으며 더 큰 설계 문제가 발생했습니다.
네트워크 에지 프로세싱은 수천 마일 떨어진 데이터 센터에서 분석하고 결정하는 대신 데이터를 수집하는 장치에 컴퓨팅 및 데이터 스토리지를 점점 더 가깝게 만듭니다.
그림 1. 네트워크 에지 컴퓨팅 트렌드 (이미지 출처: Lattice)
AI/ML 기능을 활용할 수 있는 많은 네트워크 에지 애플리케이션은 매우 엄격한 전력 소비 제약 조건에서 작동해야 합니다. 널리 배포된 이러한 장치는 일반적으로 배터리 전원에 의존합니다. 이러한 응용 프로그램은 공장, 농장, 사무실 건물, 소매점, 병원, 창고, 거리 및 거주지를 비롯한 다양한 네트워크 에지 환경에 풍부합니다. 그 수가 증가함에 따라 이러한 장치는 단 한 번의 충전으로 또는 에너지 수집 및 저장에만 의존하여 장기간, 심지어 몇 달 또는 몇 년 동안 작동해야 합니다.
따라서 많은 장치가 대부분의 시간 동안 절전 또는 최대 절전 상태에 있어야 하며 장치가 비활성 상태일 때 대부분의 회로는 저전력 대기 모드에 있어야 합니다. 그런 다음 필요할 때 활성화 이벤트가 장치를 시작합니다. 이러한 유형의 응용 프로그램에서는 기본 회로 초저전력 소모로 작동하는 시스템은 대기 상태를 유지하고 활성화 이벤트를 기다린 다음 필요에 따라 나머지 장치에 전원을 공급해야 합니다.
FPGA 저소비전력으로 AL/ML 구현
낮은 작동 전력 소비 및 AI/ML 알고리즘 구현에 대한 요구 사항은 저전력 네트워크 에지 장치 설계에 대한 요구 사항과 충돌하는 것 같습니다. 그러나 이 두 가지 복잡한 설계 요구 사항은 상충되지 않습니다. Lattice의 최신 FPGA(저전력, 소형, 고성능 CertusPro-NX 시리즈 장치)는 저전력 네트워크 에지 장치의 다양한 설계 요구 사항을 충족하도록 맞춤 제작되었습니다. 이러한 FPGA는 네트워크 에지에서 다중 센서, 디스플레이, 고해상도 비디오, 네트워크 연결 및 AI/ML 처리를 지원할 수 있습니다.
동시에 Lattice가 새로 출시한 sensAI 솔루션 컬렉션 버전 4.1은 즉시 사용 가능한 AI/ML 도구, IP 코어, 하드웨어 플랫폼, 참조 설계 및 데모, 맞춤형 설계 서비스를 제공하여 설계 팀이 새로운 네트워크 에지 장비를 개발할 수 있도록 지원합니다. 빨리 시장에 내놓으십시오. sensAI의 최신 버전은 CertusPro-NX FPGA를 지원합니다.
Lattice sensAI 솔루션 컬렉션은 종단 간 AI/ML 모델 교육, 검증 및 컴파일을 가속화합니다. 래티스는 4.0년 초에 출시된 sensAI 2021에 sensAI Studio 설계 환경을 추가했습니다. Lattice sensAI 4.1의 도구를 사용하여 네트워크 에지 컴퓨팅 설계를 설정하고 Lattice iCE40 UltraPlus, CrossLink-NX, ECP5 및 CertusPro-NX FPGA를 사용하면 초저전력 소모로 실시간 AI/ML 기능을 구현할 수 있습니다. ――소비 전력은 1mW~1W 정도로 낮습니다.
그림 2. Lattice의 sensAI Studio 설계 환경은 종단 간 AI/ML 모델 교육, 검증 및 컴파일을 가속화합니다. (이미지 출처: 래티스)
Lattice CertusPro-NX FPGA 시리즈 제품을 지원하는 sensAI 4.1을 통해 sensAI의 성능도 크게 향상되었습니다. 기존의 물체 감지 및 추적 응용 프로그램 외에도 여러 물체의 실시간 분류와 같은 응용 프로그램도 추가되었습니다. sensAI 4.1 솔루션 세트에는 업데이트된 신경망 컴파일러가 포함되어 있으며 최신 버전의 Caffe, Keras, TensorFlow 및 TensorFlow Lite를 포함하여 널리 사용되는 다른 기계 학습 플랫폼과도 호환됩니다.
Lattice sensAI 4.1 솔루션 세트의 IP 코어에는 세 가지 유형의 CNN(Convolutional Neural Network) 가속기(CNN, CNN Plus 및 CNN Compact)와 CNN 보조 프로세서 엔진이 포함됩니다. CNN IP 코어를 통해 개발자는 Mobilenet v1/v2, Resent, SSD 및 VGG와 같이 타사에서 출시한 널리 사용되는 다양한 CNN을 사용하거나 필요에 따라 CNN 모델을 사용자 지정할 수 있습니다. sensAI 4.1 CNN 가속기는 Lattice FPGA의 병렬 처리 기능, 분산 메모리 및 DSP 리소스를 활용하여 초저전력 AI 설계의 구현을 크게 단순화합니다. 가속기 코어는 FPGA 프로그래밍 가능 로직을 사용하여 밀리와트 범위의 초저전력 소비로 CNN을 구현할 수 있는 매우 효율적인 BNN(이진 신경망)을 비롯한 저전력 신경망을 구현합니다.
그림 3. Lattice sensAI 솔루션 컬렉션은 Lattice FPGA를 기반으로 AI/ML 장치를 개발할 수 있습니다. (이미지 출처: 래티스)
Lattice sensAI 4.1 레퍼런스 디자인
Lattice FPGA는 일반적으로 사용되는 다양한 전기 인터페이스 표준을 지원하도록 구성할 수 있는 프로그래밍 가능한 I/O를 제공합니다. 감지기 인터페이스. 이 회사는 또한 다양한 센서 통신 프로토콜을 지원하기 위해 많은 하드 코어 및 소프트 코어 IP 모듈을 제공합니다. FPGA는 오랫동안 센서 융합에서 상당한 이점을 가지고 있기 때문에 Lattice sensAI 4.1의 설계는 네트워크 에지 장치의 다중 센서를 기반으로 하는 AI/ML 추론 기능의 개발을 단순화하고 지능형 센서 융합을 실현하는 것을 목표로 합니다. sensAI 4.1 솔루션 컬렉션에는 심층적인 상황 인식을 달성하기 위해 동시에 실행할 수 있는 다양한 스마트 센서 융합 애플리케이션 사례를 보여주는 많은 참조 설계 예제가 포함되어 있습니다. 이러한 참조 설계에는 다음이 포함됩니다.
• 제스처 감지
이 레퍼런스 디자인은 IR 이미지 센서를 사용하여 AI 기반 저전력 제스처 감지 시스템을 구현합니다. 참조 디자인은 훈련 데이터 세트, 일반적으로 사용되는 신경망 훈련 도구로 훈련할 수 있는 스크립트 및 사용자가 수정할 수 있는 신경망 모델을 제공합니다.
•키워드 감지
이 참조 디자인은 디지털 MEMS 마이크를 사용하여 키워드 발화를 지속적으로 감지합니다. 설계자는 딥 러닝 프레임워크(예: Caffe, Tensorflow 또는 Keras)를 사용하여 시스템에 깨우기 단어 기능을 추가하기 위해 제공된 교육 데이터 세트를 업데이트할 수 있습니다. 참조 설계에는 훈련 데이터 세트, 일반적으로 사용되는 신경망 훈련 도구를 사용하여 훈련할 수 있는 스크립트 및 사용자가 수정할 수 있는 신경망 모델이 포함됩니다.
•얼굴 인식
이 참조 디자인은 이미지 센서를 사용하여 CNN 기반 얼굴 인식을 구현하고 훈련 데이터베이스를 수정하여 다른 유형의 표적을 인식할 수 있습니다.
•인사탐지
이 레퍼런스 디자인은 CMOS 이미지 센서를 사용하여 사람의 존재를 지속적으로 감지합니다. 이 설계를 기반으로 하는 AI 시스템은 딥 러닝 프레임워크(예: Caffe 또는 Tensorflow)를 사용하여 제공된 교육 모델을 업데이트하여 관심 대상을 감지하고 찾을 수 있습니다. 참조 디자인에는 신경망 모델, 훈련 데이터 세트 및 일반적인 훈련 도구를 사용하여 훈련할 수 있는 스크립트가 포함됩니다.
• 표적 탐지, 분류, 추적 및 카운팅
이 참조 디자인은 표적 탐지, 분류, 추적 및 카운팅의 예를 제공합니다. Lattice 개발 보드용 FPGA RTL, 신경망 모델, 예제 교육 데이터 세트, 설계 스크립트 재생성 및 업데이트를 포함한 완벽한 설계를 갖추고 있습니다.
AI를 사용할 수 있는 일반적이고 잠재적인 네트워크 에지 애플리케이션
AI/ML 알고리즘을 사용하여 많은 네트워크 에지 장치(예: 자율 로봇, 환경 제어 및 비디오 보안 카메라)의 성능을 향상시키는 것은 명백한 이점이 있는 반면, PC 및 랩톱과 같은 다른 유형의 네트워크 에지 장치도 이점을 얻을 수 있습니다. . Lattice는 파트너 및 고객과 협력하여 다중 모드, 스마트 센서 융합 및 AI/ML 기술을 사용하여 PC/노트북 사용자의 경험을 지속적으로 개선하고 노트북의 작동 전력 소비를 크게 줄입니다. 일부 응용 프로그램에서는 배터리 수명이 최대 28% 증가했습니다.
잠재적 가치가 있는 장비 기능은 무엇입니까?
24시간 내 PC와 노트북의 사용은 매우 다르며, 일반적으로 낮에는 근무시간에 집중적으로 사용됩니다. 단, 근무시간에도 휴식상태가 됩니다. 사람들은 가끔 휴식을 취하고 정오에 식사를 합니다. 이 시간 동안 일반적으로 컴퓨터를 계속 실행하여 자신이 여는 다양한 응용 프로그램이 닫히지 않도록 합니다.
AI/ML 분석 및 의사 결정을 컴퓨터의 기존 센서(카메라 및 마이크)와 결합하여 스마트 센서 융합을 달성하여 PC 또는 랩톱이 주변 환경을 인식하여 디스플레이 및 CPU를 언제 끄고 언제 전원을 꺼야 하는지 결정할 수 있습니다. 다시 전원.
존재 감지의 가장 간단한 용도는 주변에 아무도 없을 때 컴퓨터를 종료하는 것입니다. 사용자가 멀리 있을 때 화면 오랫동안 주의 추적 기능은 컴퓨터 화면을 어둡게 하고 저전력 모드를 활성화할 수 있습니다. 스마트 센서의 중심 역할을 하는 저전력, 소형 FPGA는 컴퓨터 센서로부터 입력을 받아 상황에 따라 전원을 공급할 부품을 결정할 수 있다.
개인 정보 및 보안 문제 해결
마찬가지로, 이러한 기능은 컴퓨터의 개인 정보 보호 및 보안을 강화할 수도 있습니다. 컴퓨터에 내장된 회의 카메라를 사용하여 사용자 뒤의 배경을 모니터링하고 누군가 사용자의 어깨 뒤에서 엿보고 있는지 감지할 수 있습니다. 컴퓨터가 개인 정보를 보호하도록 구성된 경우 승인된 사용자 뒤에 있는 누군가가 컴퓨터 화면을 엿보는 것으로 의심되면 경고를 표시하여 사용자에게 상기시키고 자동으로 화면을 어둡게 할 수도 있습니다. 이러한 솔루션을 사용하면 모든 추론 데이터가 FPGA에 로컬로 저장됩니다. 메타 데이터만 SoC로 전달되어 개인 정보를 더욱 강화하고 보안을 강화합니다.
사용자 경험 최적화
AI/ML 기능은 또한 컴퓨터 사용자의 전반적인 경험을 향상시킬 수 있습니다. 예를 들어 AI/ML 기반 안면 뷰파인더 기능은 내장된 화상 회의 카메라의 고해상도를 사용하여 사용자의 아바타를 자르고 중앙에 배치하여 화상 회의에 더 나은 사진을 제공할 수 있습니다. 참가자는 이미지가 중앙에 있는 동안 회의 중에 이동할 수도 있습니다. 마찬가지로 제스처 인식은 노트북이나 PC 또는 기타 비디오 지원 IoT 장치에 비접촉 작동 기능을 추가할 수 있습니다.
건강 혜택
많은 회사들이 이제 직원들의 건강을 보호하기를 원한다는 것을 분명히 합니다. AI/ML 기반 인식 기능은 팝업 알림 및 기타 조치를 통해 반복적인 스트레스 부상을 방지하고 컴퓨터 비디오 센서를 사용하여 직원이 실제로 주어진 휴식 권장 사항을 채택했는지 확인할 수 있습니다.
AI/ML 애플리케이션은 사용자의 자세를 감지하는 데에도 사용할 수 있으며, 이는 반복적인 스트레스 부상을 유발하는 또 다른 요인일 수 있습니다. 능동 센서 피드백을 사용하는 이러한 기능은 현재 기업에서 사용되는 간단한 타이밍 알림보다 훨씬 우수하고 스트레스 관련 작업 부상을 효과적으로 처리할 수 있는 건강 응용 프로그램을 개발하는 데 사용할 수 있습니다.
AI/ML을 통해 구현된 이러한 모든 기능은 공급업체가 기업 구매자에게 더 매력적인 PC 및 랩톱을 만드는 데 도움이 될 수 있으며 이러한 모든 기능은 sensAI 4.1 솔루션 컬렉션 및 Lattice 저전력 FPGA 기능을 통해 달성할 수 있습니다.
이러한 FPGA의 사용은 오랜 시간 센서 연결 및 융합을 위한 FPGA 개발의 상징적인 기능을 능가하고 성숙한 AI/ML 알고리즘을 기반으로 센서 신호 분석 및 의사 결정 기능을 추가합니다. AI/ML의 추가로 FPGA는 시스템 기능을 관리하고 사용자 경험을 향상시키며 전체 시스템 작동 전력 소비를 줄여 배터리 수명을 크게 연장할 수 있는 저전력 시스템 컨트롤러가 됩니다.
결론: 수십억 개의 네트워크 에지 장치가 있는 거대한 시장은 아직 개발되지 않았습니다.
여러 저전력 FPGA 시리즈 제품과 이러한 제품 시리즈를 지원하는 sensAI 4.1 솔루션 모음을 통해 Lattice는 수십억 개의 네트워크 에지 장치에 AI/ML 기술을 제공하기 위해 최선을 다하고 있습니다. 따라서 네트워크 에지 애플리케이션은 잠재적인 목표 시장입니다.
다양한 추정에 따르면 수많은 네트워크 에지 시장의 요구를 충족시키기 위해 전 세계의 넓은 지역에서 수백억 개의 네트워크 에지 장치가 필요하며 이는 FPGA 비즈니스에 매우 매력적입니다. 물론 이 규모는 이러한 방식으로 모든 산업에 적합합니다. Lattice의 sensAI 4.1 솔루션 세트와 저전력, 소형 FPGA 시리즈 출시는 네트워크 에지 애플리케이션 및 시장을 직접 겨냥하고 있습니다. Lattice의 sensAI 4.1 솔루션 컬렉션은 네트워크 에지 애플리케이션을 위한 혁신적인 개발 도구로, 이를 통해 시스템 개발자는 다양한 시장을 위한 유연한 애플리케이션별 FPGA 기반 AI/ML 추론 솔루션을 개발할 수 있습니다.