AI: ne kadar aşağıya inebilirsin?

Piyasalar geçici modalara tabidir ve yerleşik kontrol sektörü bunlardan etkilenmez. 1990'larda bulanık mantık ileriye giden yol gibi görünüyordu ve mikrodenetleyici (MCU) satıcıları tekliflerine destek sağlamak için çabaladılar ancak bunun söndüğünü gördüler.

Yerleşik MCU oyuncuları ve yapay zeka hızlandırma start-up'ları, çoğunlukla TinyML bayrağı altında yer alan bu fikre olan bağlılıklarını göstermeye çalıştıkça, yerleşik makine öğrenimi (ML) çok daha büyük bir beslenme çılgınlığına tanık oluyor.

Daniel Situnayake, yazılım araçları şirketi Edge Impulse'ta TinyML'in kurucu mühendisi ve teknoloji, bugünkü durumun 1990'lı yıllardan çok farklı olduğunu söylüyor.

“Gömülü makine öğrenimi ile ilgili heyecan verici olan şey, makine öğrenimi ve derin öğrenmenin yeni, kanıtlanmamış teknolojiler olmaması; aslında sunucu sınıfı bilgisayarlara nispeten uzun bir süredir başarılı bir şekilde uygulanmış olmaları ve birçok başarılı uygulamanın kalbinde yer almalarıdır. ürünler. Gömülü ML, daha önce mümkün olmayan birçok yeni uygulamayı mümkün kılacak, kanıtlanmış bir dizi teknolojiyi yeni bir bağlama uygulamakla ilgilidir."

ABI Research, TinyML pazarına yönelik düşük güçlü yapay zeka destekli MCU'lar ve hızlandırıcılar pazarının, bu yılki yıllık 30 milyon doların altındaki gelirinden, önümüzdeki on yılın başında 2 milyar doların üzerine çıkacağını öngörüyor.

Hızlı büyümeye rağmen ABI analisti Lian Jye Su, Bosch gibi büyük şirketlerin pazara girmesiyle rekabetin daha da kızışacağını düşünüyor. Zaten Eta Compute gibi bazı start-up'lar silikondan yazılım araçlarına geçti.

“Bir miktar konsolidasyon görüyoruz. Aynı zamanda, IoT pazarındaki büyük parçalanma, genel olarak MCU veya IoT yonga seti pazarları gibi önemli sayıda sağlayıcının hayatta kalacağı anlamına geliyor” diyor ve belirli dikey pazarlara odaklanan çok sayıda tedarikçiye işaret ediyor.

TinyML ciddi kısıtlamalarla karşı karşıyadır. Arama motoru devinde TensorFlow Micro çerçevesinin teknik lideri ve Situnayake'nin "TinyML: Arduino ve Ultra Düşük Güçlü Mikrodenetleyicilerde TensorFlow Lite ile Makine Öğrenimi" konulu makalenin ortak yazarı Pete Warden, Linley Grubunun Sonbahar İşlemci Konferansında şunları söyledi: amaç, derin öğrenme modellerini alıp "20 KB kadar az RAM'e sahip cihazlarda çalıştırmalarını sağlamaktır. Bu son teknolojiyi kullanarak inşa edilen modelleri almak istiyoruz teknoloji ve çok düşük güçlü işlemcilerle çalışacak şekilde onları ezin.

"Açık kaynaklı bir yazılım olduğundan, yalnızca Google'daki ürün ekipleriyle etkileşimde bulunmakla kalmıyoruz, aynı zamanda dünyanın her yerindeki ilginç ürünler oluşturmaya çalışan ürün ekiplerinden de çok sayıda talep alıyoruz. Ve sıklıkla şunu söylemek zorundayız: Hayır, bu henüz mümkün değil. Toplamda pek çok karşılanmamış gereksinimi görüyoruz," diyor Warden.

Temel sorun, sunucu ortamından taşınan derin öğrenme modellerinin, nispeten basit modeller için bile kısa bir süre içinde milyonlarca hatta milyarlarca çoklu toplama (MAC) işlevinin gerçekleştirilmesini gerektirmesidir. Linley Grubu başkanı Linley Gwennap, ses tanımayı etkinleştirebilen konuşmadaki kelimeleri almak gibi nispeten basit ses uygulamalarının saniyede yaklaşık 2 milyon MAC gerektirdiğini söylüyor. Videonun çok daha fazlasına ihtiyacı var.

Silikon satıcıları, çıkarım yaparken bireysel hesaplamalarda nispeten düşük doğruluk gereksiniminden yararlanarak MAC sayısını artırmayı başardılar. Sunucularda eğitim genellikle tek veya çift duyarlıklı kayan noktalı aritmetik gerektirirken, bayt çapında tamsayı (int8) hesaplamaları çoğu uygulama için yeterli görünmektedir.

Bir modelde seçilen katmanlar için int8 MAC'lerin bile gereksiz olduğuna dair göstergeler var. Birkaç kapıdan biraz daha fazlası kullanılarak gerçekleştirilebilen ikili veya üçlü hesaplamaların her biri çoğu durumda genel doğruluğa zarar vermez. Situnayake, performans kazanımlarının potansiyel olarak çok büyük olduğunu ancak bunlardan tam anlamıyla yararlanmak için gereken donanım ve yazılım desteğinin birleşiminden yoksun olduğunu söylüyor.

TensorFlow Lite çerçevesinin araçları tipik olarak int8 ağırlıklarını desteklese de, daha düşük çözünürlüklere yönelik destek yaygın olmaktan uzaktır. Situnayake, "Bu hızla değişiyor" diye belirtiyor ve ikili, 2 bit ve 4 bit ağırlıkları destekleyen Syntiant gibi hızlandırıcıların yanı sıra ikili sinir ağlarını doğrudan eğitmek için Plumerai tarafından çalıştığını belirtiyor.

"Bu teknolojiler hâlâ en ileri düzeyde olmasına ve yerleşik makine öğrenimi geliştiricileri için henüz ana akım haline gelmemiş olmasına rağmen, standart araç setinin bir parçası olmaları çok uzun sürmeyecek" diye ekliyor.

Aritmetik yükün azaltılması

TinyML çalışması için aritmetik yükü azaltan başka seçenekler de var. Geçtiğimiz yılın sonlarında TinyML Asya konferansında konuşan Edge Impulse'un kurucu ortağı ve CTO'su Jan Jongboom, ML'nin en önemli çekiciliğinin verilerde geleneksel algoritmaların seçmediği korelasyonları bulma yeteneği olduğunu söyledi. Sorun, girdilerin ham örnekler olması durumunda çoğu geleneksel modelin bu korelasyonları bulmak için işlemesi gereken parametrelerin çokluğunda yatmaktadır.

Jongboom, "Makine öğrenimi algoritmanıza hayatını kolaylaştırmak için yardım etmek istiyorsunuz" diyor. Tipik gerçek zamanlı sinyaller için en yararlı teknik, özellik çıkarmanın kullanılmasıdır: verileri, daha az sayıda parametreye sahip sinir ağları oluşturmayı mümkün kılan temsillere dönüştürmek.

Konuşmayı örnek olarak alırsak, mel-cepstrum uzayına yapılan bir dönüşüm, sesteki değişiklikleri verimli bir şekilde kodlayabilen parametrelerin sayısını büyük ölçüde azaltır.

Dönen makinelerde titreşim tespiti için kullanılan bir ivmeölçerden gelen besleme gibi diğer sensör verilerinde, ortak zaman-frekans gösterimlerinin diğer biçimleri sıklıkla işe yarayacaktır.

Bu yaklaşım, Sigma Numerix'te danışman ve DSP mühendisi olan ve Oxford Üniversitesi'nde misafir öğretim görevlisi olan John Edwards tarafından bir titreşim analizi projesinde kullanılmaktadır.

Bu durumda, kısa bir Fourier dönüşümü, değişken hızlı motorları telafi eden dönüşümlerle birlikte en iyi dengeyi sağladı. Özellik çıkarma, modelin boyutunu, Arm Cortex-M55 çekirdeklerini bir DSP hızlandırıcıyla birleştiren bir NXP LPC69C33'da kolayca işlenebilecek yalnızca iki katmana indirdi.

Jongboom, derin öğrenme yoluna gitmenin cazip gelse de diğer makine öğrenimi algoritmalarının sonuç verebileceğini söylüyor. "En iyi anormallik tespit modelimiz bir sinir ağı değil: onun temel k-ortalama kümelemesi."

Derin öğrenmenin bir gereklilik olduğu durumlarda seyreklik, model yükünün daha da azaltılmasını sağlar. Bu, model çıktısı üzerinde çok az etkisi olan ağırlıkların basitçe boru hattından kaldırıldığı budama biçimini alabilir. Diğer bir seçenek ise çabayı veri akışının zaman içindeki değişiklikleri gösteren kısımlarına odaklamaktır. Örneğin, gözetim videolarında bu, işlenen pikselleri bir modele beslemeden önce hareketli nesneleri tespit etmek ve bunları arka plandan ayırmak için görüntü işlemenin kullanılması anlamına gelebilir.

Bu Jongboom ve diğerleri için bir öğrenme deneyimi oldu. 2017 yazında TinyML aşamaları boyunca kaydettiği ilerlemeyi anlatırken tüm konseptin imkansız olduğunu düşünüyordu. 2020 yazına gelindiğinde, uygulama ve model tasarımını birlikte optimize etmenin yollarını aradıktan sonra tutumu, düşük güçlü donanımda gerçek zamanlı görüntü sınıflandırmanın mümkün olduğuna inanmaya dönüştü. Düşük hassasiyeti ve seyrekliği destekleyen düşük güçlü hızlandırıcılar daha verimli bir şekilde ortaya çıktıkça, mikro güçte çalışabilen modellerin yelpazesi genişlemelidir.

Situnayake'ye göre sonuç muhtemelen şu olacaktır: "ML, diğer herhangi bir iş yükü türünden daha büyük bir kısmı temsil edecek. Cihaz üzerinde ML'nin avantajları, sektörü dünyadaki tüm yerleşik bilgi işlemin çoğunluğunu temsil edecek daha hızlı, daha yetenekli, düşük güçlü çipler oluşturmaya ve dağıtmaya yönlendirecek. Bu iş yüklerini çalıştırmayan çok sayıda cihaz olmasına rağmen, model boyutları kaçınılmaz olarak büyüdükçe hız ihtiyacı, uygulamalar takip edildiği sürece dikkatin ihtiyaçlarına odaklanacak ve yazılım ve donanım mimarilerinin geliştirilmesinde hakim olmaya başlayacak.