Tidak diragukan lagi, Anda telah membaca atau mendengarnya, karena jumlah perangkat tepi jaringan telah berkembang biak, sejumlah besar aliran data terus meningkat. Perangkat ini termasuk mobil self-driving, perangkat Internet of Things, elektronik konsumen, dan bahkan laptop dan komputer pribadi. Menurut beberapa perkiraan, pada tahun 2025, akan ada puluhan miliar perangkat IoT yang beroperasi. Perangkat ini mengirim berbagai bentuk data ke cloud dalam bentuk aliran data terus menerus, dan kecepatan data sangat bervariasi. Secara umum, perangkat ini akan menghasilkan sejumlah besar data mentah, dan jumlah data akan terus meningkat seiring waktu.
Perekam video di kamera keamanan, mobil self-driving, dan PC menghasilkan aliran video resolusi tinggi dengan kecepatan tinggi. Perangkat IoT menghasilkan data kecepatan bit menengah dan menggabungkannya ke dalam aliran data besar. Banyak jenis sensor IoT lainnya (mengukur suhu, tekanan, lokasi, tingkat cahaya, dll.) akan menghasilkan aliran data bit rate rendah, tetapi segera jumlah sensor tersebut akan mencapai miliaran. Oleh karena itu, bahkan aliran data kecepatan bit rendah ini dapat digabungkan menjadi aliran data kecepatan bit tinggi yang lebih besar sebelum memasuki cloud.
Munculnya jaringan nirkabel 5G dan teknologi jaringan berkecepatan tinggi lainnya, termasuk picocells, jaringan IoT jarak jauh (seperti LoRaWAN), dan jaringan satelit jaringan global (seperti jaringan broadband Starlink SpaceX yang berkembang dan Internet IoT berbasis satelit dari Swarm Technologies ), yang menyediakan akses cloud yang luas dan cepat (Catatan: Starlink mengakuisisi Swarm Technologies pada Agustus 2021). Teknologi komunikasi dan jaringan ini mempercepat munculnya network edge
. Aplikasi waktu nyata di tepi jaringan biasanya tidak mentolerir latensi tinggi, sehingga pemrosesan, analisis, dan pengambilan keputusan harus ditransfer ke perangkat itu sendiri. Perangkat tepi jaringan ini termasuk kendaraan otonom, sensor IoT, kamera keamanan, ponsel pintar, laptop, dan komputer pribadi. Oleh karena itu, potensi komputasi tepi jaringan sangat besar.
Di bawah beban data, cloud tidak dapat melakukan segalanya
Pertumbuhan eksponensial dari smartphone dan perangkat IoT telah mendorong pengembangan edge computing di jaringan. Perangkat ini ada di mana-mana dan harus terhubung ke Internet untuk mengirim atau menerima informasi ke dan dari cloud. Beberapa perangkat IoT (seperti kamera) menghasilkan data dalam jumlah besar selama pengoperasian.
Perangkat IoT lainnya, seperti sensor suhu, menghasilkan sejumlah kecil data, tetapi karena jumlah sensor tersebut dapat mencapai miliaran, hal itu membawa beban besar bagi pemrosesan cloud. Oleh karena itu, pemrosesan berdasarkan tepi jaringan sangat diperlukan, tidak hanya untuk mengurangi biaya komunikasi jaringan dan penyimpanan cloud di cloud, tetapi juga untuk menghindari kelebihan saluran data cloud.
Pengembang produk dan aplikasi tepi jaringan semakin banyak yang mengadopsi algoritme kecerdasan buatan dan pembelajaran mesin (AI/ML) untuk mencocokkan dan mengenali pola kompleks guna membantu menganalisis data dan mengambil keputusan berdasarkan hal ini. Faktanya, penggunaan AI/ML teknologi telah berkembang dengan sangat pesat.
Saat ini, algoritme AI/ML dianggap sebagai sarana yang diperlukan untuk memproses data mentah secara efisien, karena mereka dapat mengidentifikasi pola data yang kompleks dan multidimensi yang sulit diuraikan dan dikenali oleh program algoritme tradisional. Beberapa aplikasi AI/ML tertentu mencakup deteksi, pengenalan, identifikasi, dan penghitungan orang atau objek; pelacakan aset dan inventaris, persepsi lingkungan, deteksi dan pengenalan suara dan suara, pemantauan kesehatan sistem, dan penjadwalan pemeliharaan sistem. Perkembangan perangkat dan aplikasi komputasi.
Perangkat dan aplikasi tepi jaringan yang muncul termasuk kendaraan otonom, robot, produksi otomatis, pemantauan jarak jauh, rantai pasokan dan sistem logistik, dan pengawasan video untuk memastikan keamanan publik dan swasta. Permintaan pasar untuk sistem tepi jaringan ini berkembang pesat karena dapat meningkatkan efisiensi, mengurangi biaya pengoperasian, dan meningkatkan pengalaman pengguna. Namun, tidak peduli seberapa banyak infrastruktur komunikasi nirkabel dan kabel yang kami bangun, gejolak kelebihan data dapat membanjiri atau memblokir jalur pipa data ini ke cloud.
Pemrosesan yang dilokalkan di tepi jaringan membantu membuka blokir pipa data
Tren ini menunjukkan bahwa sekarang perlu melakukan lebih banyak pemrosesan di mana data dihasilkan di tepi jaringan dan mengurangi jumlah data yang dikirimkan ke cloud. Pertumbuhan eksplosif Internet of Things dan perangkat lain yang terhubung ke jaringan adalah kekuatan pendorong utama untuk pengembangan perangkat tepi jaringan baru, yang selanjutnya merangsang pengembangan aplikasi baru, sehingga mengubah data mentah menjadi informasi yang berguna dan dapat ditindaklanjuti untuk mendukung keputusan yang cepat. -membuat , Menanggapi situasi yang berubah secara real time.
Pada tahap awal pengembangan komputasi tepi jaringan, perusahaan berfokus pada biaya transmisi data ke pusat data jarak jauh. Awalnya, fitur utama dari aplikasi tepi jaringan adalah kebutuhan untuk mengakses data yang disimpan di cloud dan komputer lain yang terhubung ke cloud. Aplikasi awal ini biasanya bukan aplikasi waktu nyata; waktu respons ratusan milidetik atau bahkan detik dapat diterima. Namun, perkembangan perangkat Internet of Things dan meningkatnya permintaan untuk pemrosesan, analisis, dan respons real-time di tepi jaringan telah mendorong pengembangan teknologi tepi jaringan yang kuat, bersama dengan tantangan desain yang lebih besar.
Pemrosesan tepi jaringan membuat komputasi dan penyimpanan data semakin dekat ke perangkat yang mengumpulkan data, alih-alih menganalisis dan membuat keputusan di pusat data yang jaraknya ribuan mil
Gambar 1. Tren komputasi tepi jaringan (Sumber gambar: Lattice)
Banyak aplikasi tepi jaringan yang dapat memanfaatkan kemampuan AI/ML perlu beroperasi di bawah batasan konsumsi daya yang sangat ketat. Perangkat yang didistribusikan secara luas ini biasanya mengandalkan daya baterai. Aplikasi semacam itu berlimpah di berbagai lingkungan tepi jaringan, termasuk pabrik, pertanian, gedung perkantoran, toko ritel, rumah sakit, gudang, jalan, dan tempat tinggal. Seiring bertambahnya jumlah mereka, perangkat ini perlu beroperasi untuk waktu yang lama, bahkan berbulan-bulan atau bertahun-tahun, hanya dengan sekali pengisian daya atau hanya mengandalkan pengumpulan dan penyimpanan energi.
Oleh karena itu, banyak perangkat harus dalam keadaan tidur atau hibernasi hampir sepanjang waktu, dan sebagian besar sirkuit harus berada dalam mode siaga berdaya rendah saat perangkat dalam keadaan tidak aktif. Kemudian acara aktivasi akan memulai perangkat saat dibutuhkan. Dalam jenis aplikasi ini, dasar sirkit sistem yang beroperasi dengan konsumsi daya yang sangat rendah harus tetap dalam keadaan siaga, menunggu peristiwa aktivasi, dan kemudian memberi daya pada perangkat lainnya sesuai kebutuhan.
FPGA menyadari AL/ML dengan konsumsi daya yang rendah
Persyaratan untuk konsumsi daya pengoperasian yang rendah dan penerapan algoritme AI/ML tampaknya bertentangan dengan persyaratan untuk desain perangkat tepi jaringan berdaya rendah. Namun, dua persyaratan desain yang kompleks ini tidak bertentangan. FPGA terbaru Lattice - perangkat seri CertusPro-NX berdaya rendah, berukuran kecil, berkinerja tinggi - dirancang untuk memenuhi banyak persyaratan desain perangkat tepi jaringan berdaya rendah. FPGA ini dapat mendukung banyak sensor, tampilan, video resolusi tinggi, konektivitas jaringan, dan pemrosesan AI/ML di tepi jaringan.
Pada saat yang sama, koleksi solusi sensAI versi 4.1 yang baru dirilis menyediakan alat AI/ML yang siap pakai, inti IP, platform perangkat keras, desain dan demonstrasi referensi, dan layanan desain yang disesuaikan untuk membantu tim desain mengembangkan peralatan tepi Jaringan baru. dan segera membawanya ke pasar. Versi terbaru dari sensAI mendukung CertusPro-NX FPGA.
Kumpulan solusi sensAI Lattice mempercepat pelatihan, verifikasi, dan kompilasi model AI/ML end-to-end. Lattice menambahkan lingkungan desain sensAI Studio ke sensAI 4.0 yang dirilis pada awal 2021, yang merupakan alat berbasis antarmuka pengguna grafis (GUI) yang membantu pengembang membangun aplikasi pembelajaran mesin dengan cepat. Saat menggunakan alat di Lattice sensAI 4.1 untuk menyiapkan desain komputasi tepi jaringan, dan menggunakan Lattice iCE40 UltraPlus, CrossLink-NX, ECP5, dan CertusPro-NX FPGA, fungsi AI/ML real-time dapat direalisasikan dengan konsumsi daya yang sangat rendah Konsumsi daya serendah 1mW hingga 1W.
Gambar 2. Lingkungan desain sensAI Studio Lattice mempercepat pelatihan, verifikasi, dan kompilasi model AI/ML end-to-end. (Sumber gambar: Lattice)
Dengan sensAI 4.1 yang mendukung produk seri Lattice CertusPro-NX FPGA, kinerja sensAI juga telah sangat ditingkatkan. Selain aplikasi deteksi dan pelacakan objek yang ada, aplikasi seperti klasifikasi real-time dari beberapa objek juga telah ditambahkan. Rangkaian solusi sensAI 4.1 mencakup kompiler jaringan saraf yang diperbarui dan juga kompatibel dengan platform pembelajaran mesin lain yang banyak digunakan, termasuk versi terbaru Caffe, Keras, TensorFlow, dan TensorFlow Lite.
Inti IP dalam rangkaian solusi Lattice sensAI 4.1 mencakup tiga jenis akselerator convolutional neural network (CNN)-CNN, CNN Plus dan CNN Compact-dan mesin koprosesor CNN. Inti CNN IP memungkinkan pengembang untuk menggunakan berbagai CNN yang banyak digunakan yang dirilis oleh orang lain, seperti Mobilenet v1/v2, Resent, SSD dan VGG, atau menyesuaikan model CNN sesuai kebutuhan. Akselerator CNN sensAI 4.1 memanfaatkan kemampuan pemrosesan paralel, memori terdistribusi, dan sumber daya DSP dari Lattice FPGA untuk sangat menyederhanakan implementasi desain AI berdaya sangat rendah. Inti akselerator menggunakan logika yang dapat diprogram FPGA untuk mengimplementasikan jaringan saraf berdaya rendah, termasuk jaringan saraf biner yang sangat efisien (BNN), yang dapat mengimplementasikan CNN dengan konsumsi daya sangat rendah dalam kisaran miliwatt.
Gambar 3. Kumpulan solusi Lattice sensAI dapat mengembangkan perangkat AI/ML berdasarkan Lattice FPGA. (Sumber gambar: Lattice)
Desain referensi kisi sensAI 4.1
Lattice FPGA menyediakan I/O yang dapat diprogram, yang dapat dikonfigurasi untuk mendukung berbagai standar antarmuka listrik yang biasa digunakan dalam Sensor antarmuka. Perusahaan juga menyediakan banyak modul IP hard-core dan soft-core untuk mendukung protokol komunikasi sensor yang berbeda. Karena FPGA telah lama memiliki keunggulan signifikan dalam fusi sensor, desain Lattice sensAI 4.1 bertujuan untuk menyederhanakan pengembangan fungsi inferensi AI/ML berdasarkan beberapa sensor di perangkat tepi jaringan dan mewujudkan fusi sensor cerdas. Kumpulan solusi sensAI 4.1 mencakup banyak contoh desain referensi, yang menunjukkan berbagai kasus aplikasi fusi sensor pintar, yang dapat berjalan pada saat yang sama untuk mencapai kesadaran situasional yang mendalam. Desain referensi ini meliputi:
• Deteksi gerakan
Desain referensi ini menggunakan sensor gambar IR untuk menerapkan sistem deteksi gerakan berdaya rendah berbasis AI. Desain referensi menyediakan kumpulan data pelatihan, skrip yang dapat dilatih dengan alat pelatihan jaringan saraf yang umum digunakan, dan model jaringan saraf bagi pengguna untuk dimodifikasi.
•Deteksi kata kunci
Desain referensi ini menggunakan mikrofon MEMS digital untuk terus mendeteksi ucapan kata kunci. Desainer dapat menggunakan kerangka kerja pembelajaran mendalam (seperti Caffe, Tensorflow, atau Keras) untuk memperbarui kumpulan data pelatihan yang disediakan guna menambahkan fungsi kata bangun ke sistem. Desain referensi mencakup kumpulan data pelatihan, skrip yang dapat dilatih menggunakan alat pelatihan jaringan saraf yang umum digunakan, dan model jaringan saraf bagi pengguna untuk dimodifikasi.
•Deteksi wajah
Desain referensi ini menggunakan sensor gambar untuk mengimplementasikan pengenalan wajah berbasis CNN, dan dapat memodifikasi database pelatihan untuk mengenali jenis target lainnya.
•Deteksi personel
Desain referensi ini menggunakan sensor gambar CMOS untuk terus mendeteksi keberadaan orang. Sistem AI berdasarkan desain ini dapat menggunakan kerangka kerja pembelajaran mendalam (seperti Caffe atau Tensorflow) untuk memperbarui model pelatihan yang disediakan guna mendeteksi dan menemukan target apa pun yang diminati. Desain referensi mencakup model jaringan saraf, kumpulan data pelatihan, dan skrip yang dapat dilatih menggunakan alat pelatihan umum.
• Deteksi target, klasifikasi, pelacakan, dan penghitungan
Desain referensi ini memberikan contoh deteksi target, klasifikasi, pelacakan, dan penghitungan. Ini memiliki desain yang lengkap, termasuk FPGA RTL untuk papan pengembangan Lattice, model jaringan saraf, contoh set data pelatihan, dan pembuatan ulang dan pembaruan skrip desain.
Aplikasi tepi jaringan umum dan potensial di mana AI dapat digunakan
Menggunakan algoritme AI/ML untuk meningkatkan kinerja banyak perangkat tepi jaringan (seperti robot otonom, kontrol lingkungan, dan kamera keamanan video) memiliki keuntungan yang jelas, sementara jenis perangkat tepi jaringan lainnya juga dapat memanfaatkannya, seperti PC dan laptop . Lattice bekerja sama dengan mitra dan pelanggan untuk menggunakan multi-mode, fusi sensor cerdas, dan teknologi AI/ML untuk terus meningkatkan pengalaman pengguna PC/laptop dan secara signifikan mengurangi konsumsi daya pengoperasian laptop. Dalam beberapa aplikasi, masa pakai baterai telah meningkat hingga 28%.
Fitur peralatan mana yang memiliki nilai potensial?
Penggunaan PC dan laptop dalam waktu 24 jam sangat berbeda, dan umumnya digunakan secara intensif pada jam kerja di siang hari. Namun, bahkan selama jam kerja, mereka akan memiliki status istirahat. Orang-orang mengambil istirahat sesekali dan makan di siang hari. Selama waktu ini, mereka biasanya menjaga komputer tetap berjalan untuk memastikan bahwa berbagai aplikasi yang mereka buka tidak ditutup.
Menggabungkan analisis AI/ML dan pengambilan keputusan dengan sensor komputer yang ada (kamera dan mikrofon) untuk mencapai fusi sensor cerdas, memungkinkan PC atau laptop memahami lingkungan sekitar untuk memutuskan kapan harus mematikan layar dan CPU, dan kapan harus memberikannya kembali bertenaga.
Penggunaan deteksi kehadiran yang paling sederhana adalah mematikan komputer saat tidak ada orang di sekitar. Saat pengguna jauh dari Layar untuk waktu yang lama, fungsi pelacakan perhatian dapat meredupkan layar komputer dan mengaktifkan mode daya rendah. FPGA berukuran kecil dan berdaya rendah yang bertindak sebagai pusat sensor pintar dapat menerima input dari sensor komputer, dan kemudian memutuskan komponen mana yang akan memasok daya sesuai dengan situasinya.
Memecahkan masalah privasi dan keamanan
Demikian pula, fungsi-fungsi ini juga dapat meningkatkan privasi dan keamanan komputer. Kamera konferensi internal komputer dapat digunakan untuk memantau latar belakang di belakang pengguna dan mendeteksi apakah seseorang mengintip dari belakang bahu pengguna. Jika komputer dikonfigurasi untuk melindungi privasi, ketika seseorang di belakang pengguna yang berwenang dicurigai mengintip di layar komputer, itu dapat memunculkan peringatan untuk mengingatkan pengguna dan bahkan secara otomatis meredupkan layar. Perlu dicatat bahwa, dengan solusi ini, semua data inferensi disimpan secara lokal di FPGA. Hanya metadata yang diteruskan ke SoC, yang selanjutnya meningkatkan privasi dan meningkatkan keamanan.
Optimalkan pengalaman pengguna
Fungsi AI/ML juga dapat meningkatkan pengalaman pengguna komputer secara keseluruhan. Misalnya, fungsi jendela bidik wajah berbasis AI/ML dapat menggunakan resolusi yang lebih tinggi dari kamera konferensi video internal untuk memotong dan memusatkan avatar pengguna, memberikan gambar yang lebih baik untuk konferensi video. Peserta juga dapat bergerak selama rapat sementara gambar mereka tetap di tengah. Demikian pula, pengenalan gerakan dapat menambahkan kemampuan operasi non-kontak ke laptop atau PC atau perangkat IoT lain yang mendukung video.
Keuntungan sehat
Banyak perusahaan sekarang memperjelas bahwa mereka ingin melindungi kesehatan karyawan mereka. Fungsi persepsi berbasis AI/ML dapat membantu menghindari cedera stres berulang melalui pengingat pop-up dan tindakan lainnya, dan menggunakan sensor video komputer untuk memastikan bahwa karyawan telah benar-benar mengadopsi rekomendasi istirahat yang diberikan.
Aplikasi AI/ML juga dapat digunakan untuk mendeteksi postur pengguna, yang mungkin merupakan faktor lain yang menyebabkan cedera stres berulang. Fitur-fitur ini menggunakan umpan balik sensor aktif dapat digunakan untuk mengembangkan aplikasi kesehatan, yang secara signifikan lebih baik daripada pengingat waktu sederhana yang saat ini digunakan di perusahaan, dan dapat secara efektif menangani cedera kerja terkait stres.
Semua fungsi yang diimplementasikan melalui AI/ML dapat membantu pemasok membuat PC dan laptop yang lebih menarik bagi pembeli korporat, dan semua fungsi ini dapat dicapai melalui kumpulan solusi sensAI 4.1 dan Fitur FPGA berdaya rendah Lattice untuk dicapai.
Penggunaan FPGA semacam ini melampaui fungsi ikonik pengembangan FPGA untuk koneksi dan fusi sensor yang lama, dan berdasarkan algoritme AI/ML yang matang, ia menambahkan fungsi analisis sinyal sensor dan pengambilan keputusan. Penambahan AI/ML menjadikan FPGA sebagai pengontrol sistem berdaya rendah yang dapat mengelola fungsi sistem, meningkatkan pengalaman pengguna, dan sangat memperpanjang masa pakai baterai dengan mengurangi konsumsi daya pengoperasian sistem secara keseluruhan.
Kesimpulan: Pasar besar miliaran perangkat tepi jaringan belum dikembangkan
Dengan beberapa produk seri FPGA berdaya rendah dan kumpulan solusi sensAI 4.1 yang mendukung seri produk ini, Lattice berkomitmen untuk menghadirkan teknologi AI/ML ke miliaran perangkat tepi jaringan. Oleh karena itu, aplikasi tepi jaringan adalah target pasar yang sangat potensial.
Menurut berbagai perkiraan, dibutuhkan puluhan miliar perangkat network edge di wilayah yang luas di dunia untuk memenuhi kebutuhan sejumlah besar pasar network edge, yang sangat menarik bagi bisnis FPGA-tentu saja skala ini sangat besar. cocok untuk industri apa pun dengan cara ini. Rilis set solusi sensAI 4.1 dari Lattice dan seri FPGA berdaya rendah dan berukuran kecil secara langsung ditujukan untuk aplikasi dan pasar tepi jaringan. Kumpulan solusi sensAI 4.1 Lattice adalah alat pengembangan inovatif untuk aplikasi tepi jaringan, yang memungkinkan pengembang sistem mengembangkan solusi inferensi AI/ML berbasis FPGA yang fleksibel, khusus aplikasi untuk berbagai pasar.