Alat sensAI 4.1 Lattice dan IP menjadikan FPGA menjadi enjin pengkomputeran AI/ML yang pintar di pinggir rangkaian

Kemas kini: 12 Disember 2023
pengenalan

Tidak dinafikan, anda telah membaca atau mendengar tentangnya, memandangkan bilangan peranti tepi rangkaian telah berkembang pesat, sejumlah besar aliran data telah terus meningkat. Peranti ini termasuk kereta pandu sendiri, peranti Internet of Things, elektronik pengguna, dan juga komputer riba dan komputer peribadi. Menurut pelbagai anggaran, menjelang 2025, akan terdapat berpuluh bilion peranti IoT yang beroperasi. Peranti ini menghantar pelbagai bentuk data ke awan dalam bentuk aliran data berterusan, dan kadar data berbeza-beza secara meluas. Secara umum, peranti ini akan menjana sejumlah besar data mentah, dan jumlah data akan terus meningkat dari semasa ke semasa.

Perakam video dalam kamera keselamatan, kereta pandu sendiri dan PC menjana strim video beresolusi tinggi berkadar tinggi. Peranti IoT menjana data kadar bit sederhana dan mengagregatkannya ke dalam aliran data besar. Banyak jenis penderia IoT lain (mengukur suhu, tekanan, lokasi, tahap cahaya, dll.) akan menjana aliran data kadar bit yang rendah, tetapi tidak lama lagi bilangan penderia tersebut akan mencecah berbilion-bilion. Oleh itu, walaupun aliran data kadar bit rendah ini boleh diagregatkan ke dalam aliran data kadar bit yang lebih besar dan tinggi sebelum memasuki awan.

Peningkatan rangkaian wayarles 5G dan teknologi rangkaian berkelajuan tinggi yang lain, termasuk picocells, rangkaian IoT jarak jauh (seperti LoRaWAN) dan rangkaian satelit rangkaian global (seperti rangkaian jalur lebar Starlink SpaceX yang berkembang dan Internet IoT berasaskan satelit Swarm Technologies ), yang menyediakan akses awan yang luas dan pantas (Nota: Starlink memperoleh Swarm Technologies pada Ogos 2021). Teknologi komunikasi dan rangkaian ini mempercepatkan kelebihan rangkaian yang sedang muncul
. Aplikasi masa nyata di pinggir rangkaian biasanya tidak bertolak ansur dengan kependaman yang tinggi, jadi pemprosesan, analisis dan membuat keputusan mesti dipindahkan ke peranti itu sendiri. Peranti kelebihan rangkaian ini termasuk kenderaan autonomi, penderia IoT, kamera keselamatan, telefon pintar, komputer riba dan komputer peribadi. Oleh itu, potensi pengkomputeran tepi rangkaian adalah besar.

Di bawah berat data, awan tidak boleh melakukan segala-galanya

Pertumbuhan eksponen telefon pintar dan peranti IoT telah menggalakkan pembangunan pengkomputeran tepi pada rangkaian. Peranti ini ada di mana-mana dan mesti disambungkan ke Internet untuk menghantar atau menerima maklumat ke dan dari awan. Sesetengah peranti IoT (seperti kamera) menjana sejumlah besar data semasa operasi.

Peranti IoT lain, seperti penderia suhu, menjana sejumlah kecil data, tetapi memandangkan bilangan penderia tersebut boleh mencecah berbilion-bilion, ia membawa beban besar kepada pemprosesan awan. Oleh itu, pemprosesan berdasarkan pinggir rangkaian sangat diperlukan, bukan sahaja untuk mengurangkan kos komunikasi rangkaian dan penyimpanan awan di awan, tetapi juga untuk mengelakkan beban saluran data awan.

Pembangun produk dan aplikasi kelebihan rangkaian semakin menggunakan algoritma kecerdasan buatan dan pembelajaran mesin (AI/ML) untuk memadankan dan mengenali corak kompleks untuk membantu menganalisis data dan membuat keputusan berdasarkan perkara ini. Malah, penggunaan AI/ML teknologi telah berkembang dengan sangat pesat.

Pada masa kini, algoritma AI/ML dianggap sebagai cara yang diperlukan untuk memproses data mentah dengan cekap, kerana ia boleh mengenal pasti corak data yang kompleks dan berbilang dimensi yang sukar untuk dihuraikan dan dikenali oleh program algoritma tradisional. Beberapa aplikasi AI/ML khusus termasuk pengesanan, pengecaman, pengecaman dan pengiraan orang atau objek; pengesanan aset dan inventori, persepsi alam sekitar, pengesanan dan pengecaman bunyi dan suara, pemantauan kesihatan sistem dan penjadualan penyelenggaraan sistem. Pembangunan peranti dan aplikasi pengkomputeran.

Peranti dan aplikasi kelebihan rangkaian yang muncul termasuk kenderaan autonomi, robot, pengeluaran automatik, pemantauan jarak jauh, rantaian bekalan dan sistem logistik, dan pengawasan video untuk memastikan keselamatan awam dan swasta. Permintaan pasaran untuk sistem kelebihan rangkaian ini berkembang pesat kerana ia boleh meningkatkan kecekapan, mengurangkan kos operasi dan menambah baik pengalaman pengguna. Tetapi tidak kira berapa banyak infrastruktur komunikasi wayarles dan berwayar yang kami bina, kegawatan data yang berlebihan mungkin menenggelamkan atau menyekat saluran paip data ini ke awan.

Pemprosesan setempat di pinggir rangkaian membantu menyahsekat saluran paip data

Trend ini menunjukkan bahawa kini perlu melakukan lebih banyak pemprosesan di mana data dijana di pinggir rangkaian dan mengurangkan jumlah data yang dihantar ke awan. Pertumbuhan pesat Internet Perkara dan peranti lain yang disambungkan ke rangkaian adalah penggerak utama untuk pembangunan peranti pinggir rangkaian baharu, yang seterusnya merangsang pembangunan aplikasi baharu, seterusnya mengubah data mentah kepada maklumat yang berguna dan boleh diambil tindakan untuk menyokong keputusan pantas. -membuat , Bertindak balas kepada situasi yang berubah dalam masa nyata.

Pada peringkat awal pembangunan pengkomputeran tepi rangkaian, syarikat memberi tumpuan kepada kos penghantaran data ke pusat data dalam jarak yang jauh. Pada mulanya, ciri utama aplikasi kelebihan rangkaian ialah keperluan untuk mengakses data yang disimpan dalam awan dan komputer lain yang disambungkan ke awan. Aplikasi awal ini biasanya bukan aplikasi masa nyata; masa tindak balas ratusan milisaat atau bahkan saat boleh diterima. Walau bagaimanapun, pembangunan peranti Internet of Things dan permintaan yang semakin meningkat untuk pemprosesan, analisis dan tindak balas masa nyata di pinggir rangkaian telah menggalakkan pembangunan teknologi kelebihan rangkaian yang berkuasa, bersama-sama dengan cabaran reka bentuk yang lebih besar.

Pemprosesan tepi rangkaian menjadikan pengkomputeran dan penyimpanan data lebih dekat dan lebih dekat dengan peranti yang mengumpul data, bukannya menganalisis dan membuat keputusan di pusat data beribu batu jauhnya


Rajah 1. Trend dalam pengkomputeran tepi rangkaian (Sumber imej: Lattice)

Banyak aplikasi kelebihan rangkaian yang boleh memanfaatkan keupayaan AI/ML perlu beroperasi di bawah kekangan penggunaan kuasa yang sangat ketat. Peranti yang diedarkan secara meluas ini biasanya bergantung pada kuasa bateri. Aplikasi sedemikian banyak terdapat dalam pelbagai persekitaran kelebihan rangkaian, termasuk kilang, ladang, bangunan pejabat, kedai runcit, hospital, gudang, jalan dan kediaman. Apabila bilangannya bertambah, peranti ini perlu beroperasi dalam jangka masa yang lama, malah berbulan-bulan atau bertahun-tahun, dengan hanya sekali cas atau hanya bergantung pada pengumpulan dan penyimpanan tenaga.

Oleh itu, banyak peranti perlu berada dalam keadaan tidur atau hibernasi pada kebanyakan masa, dan kebanyakan litar harus berada dalam mod siap sedia berkuasa rendah apabila peranti berada dalam keadaan tidak aktif. Kemudian acara pengaktifan akan memulakan peranti apabila diperlukan. Dalam jenis aplikasi ini, asas litar sistem yang beroperasi pada penggunaan kuasa ultra-rendah mesti kekal dalam keadaan siap sedia, menunggu acara pengaktifan, dan kemudian kuasakan seluruh peranti seperti yang diperlukan.

FPGA merealisasikan AL/ML dengan penggunaan kuasa yang rendah

Keperluan untuk penggunaan kuasa operasi rendah dan pelaksanaan algoritma AI/ML nampaknya bercanggah dengan keperluan untuk reka bentuk peranti kelebihan rangkaian berkuasa rendah. Walau bagaimanapun, kedua-dua keperluan reka bentuk yang kompleks ini tidak bercanggah. FPGA terbaru Lattice-peranti CertusPro-NX yang berkuasa rendah, saiz kecil, berprestasi tinggi-disesuaikan untuk memenuhi banyak keperluan reka bentuk peranti kelebihan rangkaian berkuasa rendah. FPGA ini boleh menyokong berbilang penderia, paparan, video resolusi tinggi, ketersambungan rangkaian dan pemprosesan AI/ML di pinggir rangkaian.

Pada masa yang sama, versi 4.1 koleksi penyelesaian sensAI Lattice yang baru dikeluarkan menyediakan alatan AI/ML sedia untuk digunakan, teras IP, platform perkakasan, reka bentuk rujukan dan demonstrasi serta perkhidmatan reka bentuk tersuai untuk membantu pasukan reka bentuk membangunkan peralatan kelebihan Rangkaian baharu dan cepat bawa ke pasaran. Versi terkini sensAI menyokong CertusPro-NX FPGA.

Koleksi penyelesaian sensAI Lattice mempercepatkan latihan, pengesahan dan penyusunan model AI/ML hujung ke hujung. Lattice menambah persekitaran reka bentuk sensAI Studio kepada sensAI 4.0 yang dikeluarkan pada awal 2021, yang merupakan alat berasaskan antara muka pengguna grafik (GUI) yang membantu pembangun membina aplikasi pembelajaran mesin dengan cepat. Apabila menggunakan alatan dalam Lattice sensAI 4.1 untuk menyediakan reka bentuk pengkomputeran tepi rangkaian, dan menggunakan Lattice iCE40 UltraPlus, CrossLink-NX, ECP5 dan CertusPro-NX FPGA, fungsi AI/ML masa nyata boleh direalisasikan pada penggunaan kuasa ultra rendah ――Penggunaan kuasa adalah serendah 1mW hingga 1W.


Rajah 2. Persekitaran reka bentuk sensAI Studio Lattice mempercepatkan latihan, pengesahan dan penyusunan model AI/ML hujung ke hujung. (Sumber imej: Lattice)

Dengan sensAI 4.1 yang menyokong produk siri FPGA Lattice CertusPro-NX, prestasi sensAI juga telah dipertingkatkan dengan ketara. Selain aplikasi pengesanan dan penjejakan objek sedia ada, aplikasi seperti pengelasan masa nyata berbilang objek juga telah ditambah. Set penyelesaian sensAI 4.1 termasuk pengkompil rangkaian saraf yang dikemas kini dan juga serasi dengan platform pembelajaran mesin lain yang digunakan secara meluas, termasuk versi terkini Caffe, Keras, TensorFlow dan TensorFlow Lite.

Teras IP dalam set penyelesaian Lattice sensAI 4.1 termasuk tiga jenis pemecut rangkaian neural konvolusi (CNN)-CNN, CNN Plus dan CNN Compact-dan enjin coprocessor CNN. Teras IP CNN membolehkan pembangun menggunakan pelbagai CNN yang digunakan secara meluas yang dikeluarkan oleh orang lain, seperti Mobilenet v1/v2, Resent, SSD dan VGG, atau menyesuaikan model CNN mengikut keperluan. Pemecut sensAI 4.1 CNN menggunakan keupayaan pemprosesan selari, memori teragih dan sumber DSP Lattice FPGAs untuk memudahkan pelaksanaan reka bentuk AI kuasa ultra rendah. Teras pemecut menggunakan logik boleh atur cara FPGA untuk melaksanakan rangkaian saraf berkuasa rendah, termasuk rangkaian saraf binari (BNN) yang sangat cekap, yang boleh melaksanakan CNN dengan penggunaan kuasa ultra rendah dalam julat milliwatt.


Rajah 3. Koleksi penyelesaian Lattice sensAI boleh membangunkan peranti AI/ML berdasarkan Lattice FPGA. (Sumber imej: Lattice)

Reka bentuk rujukan sensAI 4.1 kekisi

FPGA Kekisi menyediakan I/O boleh atur cara, yang boleh dikonfigurasikan untuk menyokong pelbagai piawaian antara muka elektrik yang biasa digunakan dalam sensor antara muka. Syarikat itu juga menyediakan banyak modul IP teras tegar dan teras lembut untuk menyokong protokol komunikasi sensor yang berbeza. Oleh kerana FPGA telah lama mempunyai kelebihan ketara dalam gabungan sensor, reka bentuk Lattice sensAI 4.1 bertujuan untuk memudahkan pembangunan fungsi inferens AI/ML berdasarkan berbilang penderia dalam peranti tepi rangkaian dan merealisasikan gabungan sensor pintar. Koleksi penyelesaian sensAI 4.1 merangkumi banyak contoh reka bentuk rujukan, menunjukkan pelbagai kes aplikasi gabungan sensor pintar, yang boleh berjalan pada masa yang sama untuk mencapai kesedaran situasi yang mendalam. Reka bentuk rujukan ini termasuk:

• Pengesanan gerak isyarat

Reka bentuk rujukan ini menggunakan penderia imej IR untuk melaksanakan sistem pengesanan gerak isyarat berkuasa rendah berasaskan AI. Reka bentuk rujukan menyediakan set data latihan, skrip yang boleh dilatih dengan alat latihan rangkaian saraf yang biasa digunakan, dan model rangkaian saraf untuk pengguna mengubah suai.

•Pengesanan kata kunci

Reka bentuk rujukan ini menggunakan mikrofon MEMS digital untuk mengesan sebutan kata kunci secara berterusan. Pereka bentuk boleh menggunakan rangka kerja pembelajaran mendalam (seperti Caffe, Tensorflow atau Keras) untuk mengemas kini set data latihan yang disediakan untuk menambah fungsi kata bangun pada sistem. Reka bentuk rujukan termasuk set data latihan, skrip yang boleh dilatih menggunakan alat latihan rangkaian saraf yang biasa digunakan dan model rangkaian saraf untuk pengguna mengubah suai.

•Pengesanan Muka

Reka bentuk rujukan ini menggunakan penderia imej untuk melaksanakan pengecaman muka berasaskan CNN dan boleh mengubah suai pangkalan data latihan untuk mengecam jenis sasaran lain.

•Pengesanan kakitangan

Reka bentuk rujukan ini menggunakan penderia imej CMOS untuk mengesan kehadiran orang secara berterusan. Sistem AI berdasarkan reka bentuk ini boleh menggunakan rangka kerja pembelajaran mendalam (seperti Caffe atau Tensorflow) untuk mengemas kini model latihan yang disediakan untuk mengesan dan mengesan sebarang sasaran yang diminati. Reka bentuk rujukan termasuk model rangkaian saraf, set data latihan dan skrip yang boleh dilatih menggunakan alat latihan biasa.

• Pengesanan sasaran, pengelasan, pengesanan dan pengiraan

Reka bentuk rujukan ini menyediakan contoh pengesanan sasaran, pengelasan, penjejakan dan pengiraan. Ia mempunyai reka bentuk yang lengkap, termasuk FPGA RTL untuk papan pembangunan Lattice, model rangkaian saraf, contoh set data latihan, dan penciptaan semula dan kemas kini skrip reka bentuk.

Aplikasi kelebihan rangkaian yang biasa dan berpotensi di mana AI boleh digunakan

Menggunakan algoritma AI/ML untuk meningkatkan prestasi banyak peranti tepi rangkaian (seperti robot autonomi, kawalan alam sekitar dan kamera keselamatan video) mempunyai kelebihan yang jelas, manakala jenis peranti tepi rangkaian lain juga boleh mendapat manfaat daripadanya, seperti PC dan komputer riba . Lattice sedang bekerjasama dengan rakan kongsi dan pelanggan untuk menggunakan pelbagai mod, gabungan sensor pintar dan teknologi AI/ML untuk terus meningkatkan pengalaman pengguna PC/komputer riba dan mengurangkan penggunaan kuasa operasi komputer riba dengan ketara. Dalam sesetengah aplikasi, Hayat bateri telah meningkat sehingga 28%.

Ciri peralatan yang manakah mempunyai nilai potensi?

Penggunaan PC dan komputer riba dalam tempoh 24 jam adalah sangat berbeza, dan ia biasanya digunakan secara intensif semasa waktu bekerja pada siang hari. Walau bagaimanapun, walaupun pada waktu bekerja, mereka akan mempunyai keadaan rehat. Orang ramai berehat sekali-sekala dan makan pada waktu tengah hari. Pada masa ini, mereka biasanya memastikan komputer berjalan untuk memastikan bahawa pelbagai aplikasi yang mereka buka tidak ditutup.

Gabungkan analisis AI/ML dan membuat keputusan dengan penderia sedia ada komputer (kamera dan mikrofon) untuk mencapai gabungan penderia pintar, membolehkan PC atau komputer riba melihat persekitaran sekeliling untuk memutuskan masa untuk mematikan paparan dan CPU, dan masa untuk memberikan Mereka dikuasakan semula.

Penggunaan pengesanan kehadiran yang paling mudah adalah untuk mematikan komputer apabila tiada sesiapa di sekeliling. Apabila pengguna berada jauh dari Skrin untuk masa yang lama, fungsi penjejakan perhatian boleh meredupkan skrin komputer dan mengaktifkan mod kuasa rendah. FPGA berkuasa rendah, bersaiz kecil yang bertindak sebagai pusat penderia pintar boleh menerima input daripada penderia komputer, dan kemudian memutuskan komponen untuk membekalkan kuasa mengikut situasi.

Selesaikan isu privasi dan keselamatan

Begitu juga, fungsi ini juga boleh meningkatkan privasi dan keselamatan komputer. Kamera persidangan terbina dalam komputer boleh digunakan untuk memantau latar belakang di belakang pengguna dan mengesan sama ada seseorang mengintip dari belakang bahu pengguna. Jika komputer dikonfigurasikan untuk melindungi privasi, apabila seseorang di belakang pengguna yang dibenarkan disyaki mengintip pada skrin komputer, ia boleh memunculkan amaran untuk mengingatkan pengguna malah meredupkan skrin secara automatik. Perlu diingat bahawa, dengan penyelesaian ini, semua data inferens disimpan secara tempatan dalam FPGA. Hanya metadata dihantar ke SoC, yang meningkatkan lagi privasi dan meningkatkan keselamatan.

Optimumkan pengalaman pengguna

Fungsi AI/ML juga boleh meningkatkan pengalaman keseluruhan pengguna komputer. Sebagai contoh, fungsi pemidang tilik muka berasaskan AI/ML boleh menggunakan resolusi lebih tinggi bagi kamera persidangan video terbina dalam untuk memangkas dan memusatkan avatar pengguna, memberikan gambaran yang lebih baik untuk persidangan video. Peserta juga boleh bergerak semasa mesyuarat sementara imej mereka kekal di tengah. Begitu juga, pengecaman gerak isyarat boleh menambah keupayaan operasi bukan hubungan pada komputer riba atau PC atau mana-mana peranti IoT berdaya video lain.

manfaat kesihatan

Banyak syarikat kini menyatakan dengan jelas bahawa mereka mahu melindungi kesihatan pekerja mereka. Fungsi persepsi berasaskan AI/ML boleh membantu mengelakkan kecederaan tekanan berulang melalui peringatan pop timbul dan langkah lain, dan menggunakan penderia video komputer untuk memastikan bahawa pekerja benar-benar menerima cadangan rehat yang diberikan.

Aplikasi AI/ML juga boleh digunakan untuk mengesan postur pengguna, yang mungkin merupakan faktor lain yang menyebabkan kecederaan tekanan berulang. Ciri yang menggunakan maklum balas penderia aktif ini boleh digunakan untuk membangunkan aplikasi kesihatan, yang jauh lebih baik daripada peringatan masa mudah yang digunakan pada masa ini dalam perusahaan, dan boleh menangani kecederaan kerja berkaitan tekanan dengan berkesan.

Semua fungsi ini yang dilaksanakan melalui AI/ML boleh membantu pembekal mencipta PC dan komputer riba yang lebih menarik kepada pembeli korporat, dan semua fungsi ini boleh dicapai melalui koleksi penyelesaian sensAI 4.1 dan Ciri FPGA berkuasa rendah Lattice untuk dicapai.

Penggunaan FPGA jenis ini mengatasi fungsi ikonik pembangunan FPGA untuk sambungan dan gabungan sensor masa yang lama, dan berdasarkan algoritma AI/ML yang matang, ia menambah analisis isyarat sensor dan fungsi membuat keputusan. Penambahan AI/ML menjadikan FPGA sebagai pengawal sistem berkuasa rendah yang boleh mengurus fungsi sistem, meningkatkan pengalaman pengguna dan memanjangkan hayat bateri dengan mengurangkan penggunaan kuasa pengendalian sistem secara keseluruhan.

Kesimpulan: Pasaran besar berbilion-bilion peranti tepi rangkaian masih belum dibangunkan

Dengan pelbagai produk siri FPGA berkuasa rendah dan koleksi penyelesaian sensAI 4.1 yang menyokong siri produk ini, Lattice komited untuk membawa teknologi AI/ML kepada berbilion-bilion peranti kelebihan rangkaian. Oleh itu, aplikasi kelebihan rangkaian adalah pasaran sasaran yang sangat berpotensi.

Mengikut pelbagai anggaran, berpuluh bilion peranti tepi rangkaian diperlukan di kawasan yang luas di dunia untuk memenuhi keperluan sejumlah besar pasaran kelebihan rangkaian, yang sangat menarik untuk perniagaan FPGA-sudah tentu skala ini adalah sesuai untuk mana-mana industri dengan cara ini. Keluaran Lattice bagi set penyelesaian sensAI 4.1 dan siri FPGA bersaiz kecil berkuasa rendah secara langsung ditujukan kepada aplikasi dan pasaran kelebihan rangkaian. Koleksi penyelesaian sensAI 4.1 Lattice ialah alat pembangunan inovatif untuk aplikasi pinggir rangkaian, yang membolehkan pembangun sistem membangunkan penyelesaian inferens AI/ML berasaskan FPGA yang fleksibel, khusus aplikasi, untuk pelbagai pasaran.