Không còn nghi ngờ gì nữa, bạn đã từng đọc hoặc đã nghe về nó, khi số lượng thiết bị biên mạng ngày càng gia tăng, một lượng dữ liệu khổng lồ liên tục được gia tăng. Những thiết bị này bao gồm ô tô tự lái, thiết bị Internet of Things, thiết bị điện tử tiêu dùng, thậm chí cả máy tính xách tay và máy tính cá nhân. Theo nhiều ước tính, đến năm 2025, sẽ có hàng chục tỷ thiết bị IoT hoạt động. Các thiết bị này gửi các dạng dữ liệu khác nhau lên đám mây dưới dạng các luồng dữ liệu liên tục và tốc độ dữ liệu rất khác nhau. Nhìn chung, các thiết bị này sẽ tạo ra một lượng lớn dữ liệu thô và lượng dữ liệu sẽ tiếp tục tăng lên theo thời gian.
Máy ghi video trong camera an ninh, ô tô tự lái và PC tạo ra các luồng video có tốc độ cao, độ phân giải cao. Các thiết bị IoT tạo ra dữ liệu tốc độ bit trung bình và tổng hợp chúng thành các luồng dữ liệu lớn. Nhiều loại cảm biến IoT khác (đo nhiệt độ, áp suất, vị trí, mức độ ánh sáng, v.v.) sẽ tạo ra các luồng dữ liệu tốc độ bit thấp, nhưng chẳng bao lâu nữa số lượng cảm biến như vậy sẽ lên đến hàng tỷ. Do đó, ngay cả các luồng dữ liệu tốc độ bit thấp này cũng có thể được tổng hợp thành các luồng dữ liệu tốc độ bit cao, lớn hơn trước khi đi vào đám mây.
Sự gia tăng của mạng không dây 5G và các công nghệ mạng tốc độ cao khác, bao gồm picocell, mạng IoT đường dài (như LoRaWAN) và mạng vệ tinh mạng toàn cầu (chẳng hạn như mạng băng thông rộng Starlink đang mở rộng của SpaceX và Internet IoT dựa trên vệ tinh của Swarm Technologies ), cung cấp khả năng truy cập đám mây rộng rãi và nhanh chóng (Lưu ý: Starlink đã mua lại Swarm Technologies vào tháng 2021 năm XNUMX).
. Các ứng dụng thời gian thực ở rìa mạng thường không chịu được độ trễ cao, do đó quá trình xử lý, phân tích và ra quyết định phải được chuyển cho chính thiết bị. Các thiết bị biên mạng này bao gồm xe tự hành, cảm biến IoT, camera an ninh, điện thoại thông minh, máy tính xách tay và máy tính cá nhân. Do đó, tiềm năng của điện toán biên mạng là rất lớn.
Dưới sức nặng của dữ liệu, đám mây không thể làm mọi thứ
Sự phát triển theo cấp số nhân của điện thoại thông minh và các thiết bị IoT đã thúc đẩy sự phát triển của điện toán biên trên mạng. Các thiết bị này có mặt ở khắp mọi nơi và phải được kết nối với Internet để gửi hoặc nhận thông tin đến và từ đám mây. Một số thiết bị IoT (chẳng hạn như máy ảnh) tạo ra một lượng lớn dữ liệu trong quá trình hoạt động.
Các thiết bị IoT khác, chẳng hạn như cảm biến nhiệt độ, tạo ra một lượng nhỏ dữ liệu, nhưng vì số lượng cảm biến như vậy có thể lên tới hàng tỷ, nên nó mang lại gánh nặng lớn cho quá trình xử lý đám mây. Vì vậy, việc xử lý dựa trên biên của mạng là rất cần thiết, không chỉ giúp giảm chi phí truyền thông mạng và lưu trữ trên nền tảng đám mây mà còn tránh quá tải cho kênh dữ liệu đám mây.
Các nhà phát triển sản phẩm và ứng dụng biên mạng đang ngày càng áp dụng thuật toán trí tuệ nhân tạo và máy học (AI/ML) để khớp và nhận dạng các mẫu phức tạp nhằm giúp phân tích dữ liệu và đưa ra quyết định dựa trên đó. Trên thực tế, việc sử dụng AI/ML công nghệ đã phát triển cực kỳ nhanh chóng.
Ngày nay, các thuật toán AI / ML được coi là phương tiện cần thiết để xử lý dữ liệu thô một cách hiệu quả, vì chúng có thể xác định các mẫu dữ liệu đa chiều và phức tạp mà các chương trình thuật toán truyền thống khó phân tích và nhận ra. Một số ứng dụng AI / ML cụ thể bao gồm phát hiện, nhận dạng, xác định và đếm người hoặc đồ vật; theo dõi tài sản và hàng tồn kho, nhận thức về môi trường, phát hiện và nhận dạng âm thanh và giọng nói, giám sát sức khỏe hệ thống và lập lịch bảo trì hệ thống. Sự phát triển của các thiết bị và ứng dụng máy tính.
Các thiết bị và ứng dụng mạng mới nổi bao gồm xe tự hành, rô bốt, sản xuất tự động, giám sát từ xa, chuỗi cung ứng và hệ thống hậu cần cũng như giám sát video để đảm bảo an ninh công cộng và tư nhân. Nhu cầu của thị trường đối với các hệ thống biên mạng này đang tăng lên nhanh chóng vì chúng có thể tăng hiệu quả, giảm chi phí vận hành và cải thiện trải nghiệm người dùng. Nhưng cho dù chúng ta xây dựng bao nhiêu cơ sở hạ tầng truyền thông không dây và có dây, thì sự hỗn loạn của dữ liệu dư thừa có thể lấn át hoặc chặn các đường ống dẫn dữ liệu này lên đám mây.
Xử lý cục bộ ở rìa mạng giúp bỏ chặn đường ống dữ liệu
Những xu hướng này chỉ ra rằng bây giờ cần phải xử lý nhiều hơn ở những nơi dữ liệu được tạo ra ở rìa mạng và giảm lượng dữ liệu được truyền lên đám mây. Sự phát triển bùng nổ của Internet vạn vật và các thiết bị kết nối mạng khác là động lực chính cho sự phát triển của các thiết bị biên mạng mới, tiếp tục kích thích sự phát triển của các ứng dụng mới, từ đó chuyển đổi dữ liệu thô thành thông tin hữu ích và có thể hành động để hỗ trợ ra quyết định nhanh chóng -làm việc, phản ứng với các tình huống thay đổi trong thời gian thực.
Trong giai đoạn đầu của sự phát triển của điện toán biên mạng, các công ty tập trung vào chi phí truyền dữ liệu đến các trung tâm dữ liệu trên một khoảng cách dài. Ban đầu, đặc điểm chính của các ứng dụng biên mạng là nhu cầu truy cập dữ liệu được lưu trữ trên đám mây và các máy tính khác được kết nối với đám mây. Các ứng dụng ban đầu này thường không phải là ứng dụng thời gian thực; thời gian phản hồi hàng trăm mili giây hoặc thậm chí vài giây có thể chấp nhận được. Tuy nhiên, sự phát triển của các thiết bị Internet of Things và nhu cầu ngày càng tăng về xử lý, phân tích và phản hồi theo thời gian thực ở biên mạng đã thúc đẩy sự phát triển mạnh mẽ của công nghệ biên mạng, cùng với những thách thức lớn hơn về thiết kế.
Xử lý biên mạng giúp cho việc tính toán và lưu trữ dữ liệu ngày càng gần hơn với thiết bị thu thập dữ liệu, thay vì phân tích và đưa ra quyết định trong một trung tâm dữ liệu cách xa hàng nghìn dặm
Hình 1. Các xu hướng trong tính toán biên mạng (Nguồn ảnh: Lattice)
Nhiều ứng dụng biên mạng có thể tận dụng khả năng AI / ML cần phải hoạt động trong điều kiện tiêu thụ điện năng cực kỳ nghiêm ngặt. Các thiết bị được phân phối rộng rãi này thường dựa vào nguồn pin. Các ứng dụng như vậy có rất nhiều trong các môi trường biên mạng khác nhau, bao gồm nhà máy, trang trại, tòa nhà văn phòng, cửa hàng bán lẻ, bệnh viện, nhà kho, đường phố và khu dân cư. Khi số lượng của chúng tăng lên, các thiết bị này cần phải hoạt động trong một thời gian dài, thậm chí hàng tháng hoặc hàng năm chỉ với một lần sạc hoặc chỉ dựa vào việc thu thập và tích trữ năng lượng.
Do đó, nhiều thiết bị cần phải ở trạng thái ngủ hoặc ngủ đông hầu hết thời gian, và hầu hết các mạch phải ở chế độ chờ công suất thấp khi thiết bị ở trạng thái không hoạt động. Sau đó sự kiện kích hoạt sẽ khởi động thiết bị khi cần thiết. Trong loại ứng dụng này, cơ bản mạch hệ thống hoạt động ở mức tiêu thụ điện năng cực thấp phải ở chế độ chờ, chờ sự kiện kích hoạt, sau đó cấp nguồn cho phần còn lại của thiết bị nếu cần.
FPGA nhận ra AL / ML với mức tiêu thụ điện năng thấp
Các yêu cầu về mức tiêu thụ điện năng hoạt động thấp và triển khai thuật toán AI / ML dường như mâu thuẫn với các yêu cầu về thiết kế thiết bị biên mạng công suất thấp. Tuy nhiên, hai yêu cầu thiết kế phức tạp này không mâu thuẫn với nhau. FPGA mới nhất của Lattice - dòng thiết bị CertusPro-NX hiệu suất cao, kích thước nhỏ, công suất thấp - được điều chỉnh để đáp ứng nhiều yêu cầu thiết kế của các thiết bị biên mạng công suất thấp. Các FPGA này có thể hỗ trợ nhiều cảm biến, màn hình, video độ phân giải cao, kết nối mạng và xử lý AI / ML ở rìa mạng.
Đồng thời, phiên bản 4.1 mới được phát hành của Lattice của bộ sưu tập giải pháp sensAI cung cấp các công cụ AI / ML sẵn sàng sử dụng, lõi IP, nền tảng phần cứng, thiết kế tham chiếu và trình diễn cũng như các dịch vụ thiết kế tùy chỉnh để giúp các nhóm thiết kế phát triển thiết bị biên mạng mới và nhanh chóng đưa nó ra thị trường. Phiên bản mới nhất của sensAI hỗ trợ CertusPro-NX FPGA.
Bộ sưu tập giải pháp Lattice sensAI tăng tốc đào tạo, xác minh và biên dịch mô hình AI / ML end-to-end. Lattice đã thêm môi trường thiết kế sensAI Studio vào sensAI 4.0 được phát hành vào đầu năm 2021, đây là một công cụ dựa trên giao diện người dùng đồ họa (GUI) giúp các nhà phát triển nhanh chóng xây dựng các ứng dụng học máy. Khi sử dụng các công cụ trong Lattice sensAI 4.1 để thiết lập thiết kế tính toán biên mạng và sử dụng Lattice iCE40 UltraPlus, CrossLink-NX, ECP5 và CertusPro-NX FPGA, các chức năng AI / ML thời gian thực có thể được thực hiện với mức tiêu thụ điện năng cực thấp ―― Công suất tiêu thụ thấp từ 1mW đến 1W.
Hình 2. Môi trường thiết kế sensAI Studio của Lattice tăng tốc quá trình đào tạo, xác minh và biên dịch mô hình AI / ML end-to-end. (Nguồn ảnh: Lattice)
Với sensAI 4.1 hỗ trợ các sản phẩm dòng Lattice CertusPro-NX FPGA, hiệu suất của sensAI cũng đã được cải thiện đáng kể. Ngoài các ứng dụng theo dõi và phát hiện đối tượng hiện có, các ứng dụng như phân loại theo thời gian thực của nhiều đối tượng cũng đã được thêm vào. Bộ giải pháp sensAI 4.1 bao gồm một trình biên dịch mạng thần kinh được cập nhật và cũng tương thích với các nền tảng máy học được sử dụng rộng rãi khác, bao gồm các phiên bản mới nhất của Caffe, Keras, TensorFlow và TensorFlow Lite.
Các lõi IP trong bộ giải pháp Lattice sensAI 4.1 bao gồm ba loại máy gia tốc mạng nơ-ron phức hợp (CNN)-CNN, CNN Plus và CNN Compact-và một công cụ đồng xử lý CNN. Lõi IP CNN cho phép các nhà phát triển sử dụng các CNN được sử dụng rộng rãi khác nhau do những người khác phát hành, chẳng hạn như Mobilenet v1 / v2, Resent, SSD và VGG hoặc tùy chỉnh mô hình CNN nếu cần. Bộ gia tốc sensAI 4.1 CNN sử dụng khả năng xử lý song song, bộ nhớ phân tán và tài nguyên DSP của Lattice FPGA để đơn giản hóa đáng kể việc triển khai các thiết kế AI công suất cực thấp. Lõi bộ gia tốc sử dụng logic có thể lập trình FPGA để triển khai mạng nơ-ron công suất thấp, bao gồm mạng nơ-ron nhị phân cực kỳ hiệu quả (BNN), có thể triển khai CNN với mức tiêu thụ điện năng cực thấp trong phạm vi miliwatt.
Hình 3. Bộ sưu tập giải pháp Lattice sensAI có thể phát triển các thiết bị AI / ML dựa trên Lattice FPGA. (Nguồn ảnh: Lattice)
Thiết kế tham chiếu mạng lưới sensAI 4.1
Mạng lưới FPGA cung cấp I / O có thể lập trình, có thể được định cấu hình để hỗ trợ nhiều tiêu chuẩn giao diện điện thường được sử dụng trong cảm biến các giao diện. Công ty cũng cung cấp nhiều mô-đun IP lõi cứng và lõi mềm để hỗ trợ các giao thức truyền thông cảm biến khác nhau. Vì FPGA từ lâu đã có những lợi thế đáng kể trong việc hợp nhất cảm biến, thiết kế của Lattice sensAI 4.1 nhằm mục đích đơn giản hóa việc phát triển các chức năng suy luận AI / ML dựa trên nhiều cảm biến trong các thiết bị biên mạng và thực hiện hợp nhất cảm biến thông minh. Bộ sưu tập giải pháp sensAI 4.1 bao gồm nhiều ví dụ thiết kế tham khảo, thể hiện nhiều trường hợp ứng dụng kết hợp cảm biến thông minh, có thể chạy cùng lúc để đạt được nhận thức tình huống chuyên sâu. Các thiết kế tham khảo này bao gồm:
• Phát hiện cử chỉ
Thiết kế tham khảo này sử dụng cảm biến hình ảnh IR để triển khai hệ thống phát hiện cử chỉ năng lượng thấp dựa trên AI. Thiết kế tham chiếu cung cấp tập dữ liệu huấn luyện, các tập lệnh có thể được huấn luyện bằng các công cụ huấn luyện mạng nơ-ron thường được sử dụng và mô hình mạng nơ-ron để người dùng sửa đổi.
• Phát hiện từ khóa
Thiết kế tham chiếu này sử dụng micrô MEMS kỹ thuật số để liên tục phát hiện các từ khóa. Các nhà thiết kế có thể sử dụng các khuôn khổ học tập sâu (chẳng hạn như Caffe, Tensorflow hoặc Keras) để cập nhật tập dữ liệu đào tạo được cung cấp nhằm thêm các hàm đánh thức vào hệ thống. Thiết kế tham chiếu bao gồm tập dữ liệu huấn luyện, các tập lệnh có thể được huấn luyện bằng cách sử dụng các công cụ huấn luyện mạng nơ-ron thường được sử dụng và mô hình mạng nơ-ron để người dùng sửa đổi.
•Phát hiện khuôn mặt
Thiết kế tham chiếu này sử dụng cảm biến hình ảnh để triển khai nhận dạng khuôn mặt dựa trên CNN và có thể sửa đổi cơ sở dữ liệu đào tạo để nhận ra các loại mục tiêu khác.
• Phát hiện nhân sự
Thiết kế tham khảo này sử dụng cảm biến hình ảnh CMOS để liên tục phát hiện sự hiện diện của con người. Hệ thống AI dựa trên thiết kế này có thể sử dụng khuôn khổ học tập sâu (chẳng hạn như Caffe hoặc Tensorflow) để cập nhật mô hình đào tạo được cung cấp nhằm phát hiện và định vị bất kỳ mục tiêu quan tâm nào. Thiết kế tham chiếu bao gồm mô hình mạng nơ ron, tập dữ liệu đào tạo và các tập lệnh có thể được đào tạo bằng các công cụ đào tạo thông thường.
• Phát hiện, phân loại, theo dõi và đếm mục tiêu
Thiết kế tham chiếu này cung cấp các ví dụ về phát hiện, phân loại, theo dõi và đếm mục tiêu. Nó có một thiết kế hoàn chỉnh, bao gồm FPGA RTL cho bảng phát triển mạng lưới, mô hình mạng nơ-ron, tập dữ liệu đào tạo mẫu, tái tạo và cập nhật kịch bản thiết kế.
Các ứng dụng biên mạng tiềm năng và phổ biến trong đó AI có thể được sử dụng
Sử dụng thuật toán AI / ML để cải thiện hiệu suất của nhiều thiết bị biên mạng (chẳng hạn như rô bốt tự động, kiểm soát môi trường và camera an ninh video) có những lợi thế rõ ràng, trong khi các loại thiết bị biên mạng khác cũng có thể hưởng lợi từ nó, chẳng hạn như PC và máy tính xách tay . Lattice đang làm việc với các đối tác và khách hàng để sử dụng đa chế độ, kết hợp cảm biến thông minh và công nghệ AI / ML để liên tục cải thiện trải nghiệm của người dùng PC / laptop và giảm đáng kể điện năng tiêu thụ của máy tính xách tay. Trong một số ứng dụng, thời lượng pin đã tăng lên đến 28%.
Những tính năng thiết bị nào có giá trị tiềm năng?
Việc sử dụng PC và máy tính xách tay trong vòng 24 giờ rất khác nhau và chúng thường được sử dụng nhiều trong giờ làm việc trong ngày. Tuy nhiên, ngay cả trong giờ làm việc, họ sẽ có trạng thái nghỉ ngơi. Mọi người thỉnh thoảng nghỉ giải lao và dùng bữa vào buổi trưa. Trong thời gian này, họ thường giữ cho máy tính chạy để đảm bảo rằng các ứng dụng khác nhau mà họ mở không bị đóng.
Kết hợp phân tích AI / ML và ra quyết định với các cảm biến hiện có của máy tính (máy ảnh và micrô) để đạt được sự kết hợp cảm biến thông minh, cho phép PC hoặc máy tính xách tay nhận biết môi trường xung quanh để quyết định khi nào nên tắt màn hình và CPU, và khi nào thì cho phép chúng được cấp điện lại.
Việc sử dụng đơn giản nhất để phát hiện sự hiện diện là tắt máy tính khi không có ai ở xung quanh. Khi người dùng không ở Màn trong thời gian dài, chức năng theo dõi sự chú ý có thể làm mờ màn hình máy tính và kích hoạt chế độ năng lượng thấp. FPGA công suất thấp, kích thước nhỏ hoạt động như trung tâm của cảm biến thông minh có thể nhận đầu vào từ các cảm biến máy tính, sau đó quyết định thành phần nào sẽ cung cấp năng lượng tùy theo tình huống.
Giải quyết các vấn đề về quyền riêng tư và bảo mật
Tương tự, các chức năng này cũng có thể nâng cao tính riêng tư và bảo mật của máy tính. Máy ảnh hội nghị tích hợp của máy tính có thể được sử dụng để theo dõi hậu cảnh phía sau người dùng và phát hiện liệu có ai đó đang nhìn trộm từ phía sau vai của người dùng hay không. Nếu máy tính được định cấu hình để bảo vệ quyền riêng tư, khi nghi ngờ ai đó đứng sau người dùng được ủy quyền nhìn trộm màn hình máy tính, nó có thể bật lên cảnh báo để nhắc nhở người dùng và thậm chí tự động làm mờ màn hình. Cần lưu ý rằng, với các giải pháp này, tất cả dữ liệu suy luận được lưu trữ cục bộ trong FPGA. Chỉ siêu dữ liệu được chuyển tới SoC, điều này giúp tăng cường hơn nữa quyền riêng tư và cải thiện bảo mật.
Tối ưu hóa trải nghiệm người dùng
Các chức năng AI / ML cũng có thể nâng cao trải nghiệm tổng thể của người dùng máy tính. Ví dụ: chức năng kính ngắm khuôn mặt dựa trên AI / ML có thể sử dụng độ phân giải cao hơn của camera hội nghị video tích hợp để cắt và căn giữa hình đại diện của người dùng, mang lại hình ảnh đẹp hơn cho hội nghị truyền hình. Những người tham gia cũng có thể di chuyển trong cuộc họp trong khi hình ảnh của họ vẫn ở giữa. Tương tự, nhận dạng cử chỉ có thể bổ sung khả năng hoạt động không tiếp xúc cho máy tính xách tay hoặc PC hoặc bất kỳ thiết bị IoT hỗ trợ video nào khác.
Lợi ích sức khỏe
Nhiều công ty hiện nay nói rõ rằng họ muốn bảo vệ sức khỏe của nhân viên. Các chức năng nhận thức dựa trên AI / ML có thể giúp tránh chấn thương căng thẳng lặp đi lặp lại thông qua lời nhắc bật lên và các biện pháp khác, đồng thời sử dụng cảm biến video máy tính để đảm bảo rằng nhân viên đã thực sự chấp nhận các khuyến nghị nghỉ ngơi nhất định.
Các ứng dụng AI / ML cũng có thể được sử dụng để phát hiện tư thế của người dùng, đây có thể là một yếu tố khác gây ra chấn thương căng thẳng lặp đi lặp lại. Các tính năng sử dụng phản hồi cảm biến chủ động này có thể được sử dụng để phát triển các ứng dụng sức khỏe, tốt hơn đáng kể so với nhắc nhở thời gian đơn giản hiện đang được sử dụng trong doanh nghiệp và có thể giải quyết hiệu quả các chấn thương liên quan đến căng thẳng trong công việc.
Tất cả các chức năng này được triển khai thông qua AI / ML có thể giúp các nhà cung cấp tạo ra PC và máy tính xách tay hấp dẫn hơn đối với người mua là doanh nghiệp và tất cả các chức năng này có thể đạt được thông qua bộ sưu tập giải pháp sensAI 4.1 và các Tính năng FPGA công suất thấp của mạng để đạt được.
Việc sử dụng loại FPGA này vượt qua chức năng mang tính biểu tượng của sự phát triển FPGA đối với kết nối và hợp nhất cảm biến trong thời gian dài, đồng thời dựa trên các thuật toán AI / ML thuần thục, nó bổ sung các chức năng phân tích và ra quyết định tín hiệu cảm biến. Việc bổ sung AI / ML làm cho FPGA trở thành một bộ điều khiển hệ thống tiêu thụ điện năng thấp có thể quản lý các chức năng của hệ thống, nâng cao trải nghiệm người dùng và kéo dài thời lượng pin đáng kể bằng cách giảm mức tiêu thụ điện năng tổng thể của hệ thống.
Kết luận: Một thị trường khổng lồ với hàng tỷ thiết bị biên mạng vẫn chưa được phát triển
Với nhiều sản phẩm dòng FPGA công suất thấp và bộ sưu tập các giải pháp sensAI 4.1 hỗ trợ các dòng sản phẩm này, Lattice cam kết mang công nghệ AI / ML đến hàng tỷ thiết bị biên mạng. Do đó, các ứng dụng biên mạng là một thị trường mục tiêu rất tiềm năng.
Theo các ước tính khác nhau, hàng chục tỷ thiết bị biên mạng là cần thiết trong một khu vực rộng lớn trên thế giới để đáp ứng nhu cầu của một số lượng lớn các thị trường biên mạng, điều này rất hấp dẫn đối với hoạt động kinh doanh của FPGA - tất nhiên quy mô này là phù hợp với bất kỳ ngành nào theo cách này. Việc phát hành bộ giải pháp sensAI 4.1 và dòng FPGA kích thước nhỏ, công suất thấp của Lattice nhắm trực tiếp vào các ứng dụng và thị trường biên mạng. Bộ sưu tập giải pháp sensAI 4.1 của Lattice là một công cụ phát triển sáng tạo cho các ứng dụng biên mạng, cho phép các nhà phát triển hệ thống phát triển các giải pháp suy luận AI / ML dựa trên FPGA linh hoạt, dành riêng cho ứng dụng cho các thị trường khác nhau.