AI: כמה נמוך אתה יכול לרדת?

שווקים כפופים לאופנות ותחום הבקרה המשובץ רחוק מלהיות חסין כלפיהם. בשנות התשעים נראה שההיגיון המטושטש היה הדרך קדימה וספקי המיקרו-בקר (MCU) התחבטו בכדי להכניס תמיכה בהיצע שלהם רק כדי לראות שהוא מתלקח.

למידת מכונה משובצת (ML) רואה טירוף הזנה גדול בהרבה כששחקני MCU מבוססים וסטארט-אפים להאצת AI מנסים להפגין את מחויבותם לרעיון, שנמצא בעיקר בסימן TinyML.

דניאל סיטונאייק, מייסד מהנדס TinyML בחברת כלי התוכנה Edge Impulse ומחבר שותף לספר בעל שם בנושא טֶכנוֹלוֹגִיָה, אומר שהמצב כיום שונה מאוד מזה של שנות התשעים.

"הדבר המרגש ב- ML משובץ הוא שלמידת מכונה ולמידה עמוקה אינן טכנולוגיות חדשות ולא מוכחות - הן למעשה נפרסו בהצלחה במחשבים ברמת השרת במשך זמן רב יחסית, והם עומדים בלב המון מצליחים מוצרים. Embedded ML עוסק ביישום מערך טכנולוגיות מוכח בהקשר חדש שיאפשר יישומים חדשים רבים שלא היו אפשריים בעבר. "

ABI Research צופה כי השוק עבור MCUs מאיצים בעלי יכולת AI נמוכה בהספק נמוך ומאיצים לשוק TinyML יעלה מפחות מ -30 מיליון דולר בהכנסות שנתיות השנה ליותר מ -2 מיליארד דולר בתחילת העשור הבא.

למרות הצמיחה המהירה, האנליסט של ABI, ליאן ג'יי סו, מצפה שהתחרות תחריף ככל שייכנסו חברות גדולות כמו בוש לשוק. כבר עכשיו, כמה חברות סטארט-אפ כמו Eta Compute עברו מסיליקון לכלי תוכנה.

"אנחנו כן רואים איחוד. יחד עם זאת, הפיצול העצום בשוק ה- IoT פירושו שמספר לא מבוטל של ספקים ישרוד, כמו שוקי ערכת השבבים MCU או IoT באופן כללי ", הוא אומר ומצביע על המספר הגדול של הספקים שמתמקדים בשווקים אנכיים ספציפיים.

TinyML עומדת בפני אילוצים חמורים. פיט וורדן, מוביל טכני של מסגרת TensorFlow Micro בענקית מנועי החיפוש ומחבר משותף של Situnayake בנושא "TinyML: Machine Learning עם TensorFlow Lite על Arduino ומיקרו-בקרי מיקרו-עוצמה Ultra-Low-Power", אמר בכנס מעבדי הסתיו של קבוצת Linley. המטרה היא לקחת מודלים של למידה עמוקה ולהפעיל אותם במכשירים עם זיכרון RAM של 20KB בלבד. אנחנו רוצים לקחת דגמים שנבנו באמצעות הקצה החדשני הזה טֶכנוֹלוֹגִיָה ולרסק אותם כדי לפעול על מעבדים עם הספק נמוך מאוד.

"מכיוון שמדובר בתוכנת קוד פתוח, אנו מקבלים לא רק אינטראקציה עם צוותי מוצרים בתוך גוגל אלא גם מקבלים הרבה בקשות מצוותי מוצרים מכל רחבי העולם שמנסים לבנות מוצרים מעניינים. ולעתים קרובות אנו צריכים לומר: לא, זה עדיין לא אפשרי. אנו זוכים לראות, בסך הכל, הרבה דרישות שלא נענו, "אומר וורדן.

נושא הליבה הוא שמודלים של למידה עמוקה שמועברים מסביבת השרת, דורשים לבצע מיליוני או אפילו מיליארדי פונקציות של הכפל-הוספה (MAC) בפרק זמן קצר אפילו עבור מודלים פשוטים יחסית. לינלי גוונאפ, נשיא קבוצת לינלי, אומר כי יישומי שמע פשוטים יחסית, כמו להרים מילים בדיבור שיכולות להפעיל זיהוי קולי, קוראים לכ -2 מיליון מקרי MAC לשנייה. וידאו צריך הרבה יותר.

ספקי הסיליקון הצליחו לדחוף את ספירת ה- MAC על ידי ניצול הדרישה הנמוכה יחסית לדיוק בחישובים בודדים בעת ביצוע הסקת מסקנות. בעוד שאימון בשרתים דורש בדרך כלל חשבון חשבוני של נקודה צפה עם דיוק יחיד או כפול, נראה כי חישובים שלמים שלמים של בתים רחבים (int8) מספיקים לרוב היישומים.

יש אינדיקציות שלשכבות נבחרות במודל, אפילו MAC של int8 אינם נחוצים. חישובים בינאריים או שלישיים שניתן לבצע באמצעות מעט יותר מכמה שערים כל אחד מהם אינם פוגעים ברמת הדיוק הכללי במקרים רבים. באופן פוטנציאלי רווחי הביצועים הם עצומים, אך חסרים את השילוב בין חומרה ותמיכה בתוכנה הדרושים כדי לנצל אותם באופן מלא, אומר Situnayake.

למרות שהכלי עבור מסגרת TensorFlow Lite תומך בדרך כלל במשקולות int8, התמיכה ברזולוציות נמוכות יותר רחוקה מלהיות נפוצה. "זה משתנה מהר", מציין Situnayake, ומצביע על מאיצים כמו Syntiant התומכים במשקלים בינאריים, 2 ביט ו -4 ביט, כמו גם עבודה של Plumerai להכשרת רשתות עצביות בינאריות ישירות.

"למרות שהטכנולוגיות הללו עדיין בחוד החנית ועדיין לא הפכו אותה למיינסטרים עבור מפתחי ML משובצים, לא יעבור זמן רב עד שהן חלק מערכת הכלים הסטנדרטית", הוא מוסיף.

הפחתת הנטל החשבוני

ישנן אפשרויות אחרות לעבודת TinyML המפחיתות את נטל החשבון. בנאומו בכנס TinyML Asia בסוף השנה שעברה, ג'אן ג'ונגבום, מייסד שותף ומנהל ה- CTO של Edge Impulse, אמר כי המשיכה העיקרית של ML היא היכולת שלה למצוא התאמות בנתונים שאלגוריתמים קונבנציונליים אינם בוחרים. הבעיה טמונה במספר הפרמטרים העצום שרוב הדגמים הקונבנציונליים צריכים לעבד כדי למצוא את המתאמים האלה אם התשומות הן דוגמאות גולמיות.

"אתה רוצה להושיט יד לאלגוריתם למידת המכונה שלך כדי להקל על חייו", אומר ג'ונגבום. הטכניקה המועילה ביותר לאותות בזמן אמת אופייניים היא השימוש בהפקת תכונות: הפיכת הנתונים לייצוגים המאפשרים לבנות רשתות עצביות בסדרי גודל פחות פרמטרים.

אם ניקח את הדיבור כדוגמה, שינוי למרחב mel-cepstrum מפחית באופן מסיבי את מספר הפרמטרים שיכולים לקודד ביעילות את שינויי הצליל.

בנתוני חיישנים אחרים, כגון הזנה ממד תאוצה המשמש לזיהוי רטט במכונות מסתובבות, צורות אחרות של ייצוגי תדר זמן משותפים יעבדו לעיתים קרובות.

בגישה זו משתמשים ג'ון אדוארדס, יועץ ומהנדס DSP בסיגמה נומריקס ומרצה אורח באוניברסיטת אוקספורד, בפרויקט לניתוח רטט.

במקרה זה, טרנספורמציה קצרה של פורייה קיבלה את התמורה הטובה ביותר יחד עם טרנספורמציות שמפצות על מנועים עם מהירות משתנה. מיצוי התכונות הקטין את גודל הדגם לשתי שכבות בלבד שניתן היה לעבד בקלות על NXP LPC55C69, המשלב ליבות Arm Cortex-M33 עם מאיץ DSP.

ג'ונגבום אומר שלמרות שזה עשוי להיות מפתה לרדת במסלול של למידה עמוקה, אלגוריתמים אחרים של למידת מכונה יכולים לספק תוצאות. "המודל הטוב ביותר לזיהוי חריגות אינו רשת עצבית: אשכולות ה- K הבסיסיים שלה."

כאשר למידה עמוקה היא דרישה, הדלילות מספקת הפחתה נוספת בתקורה של המודל. זה יכול ללבוש צורה של גיזום, שבו משקולות בעלות השפעה מועטה על תפוקת הדגם פשוט מוסרות מהצינור. אפשרות נוספת היא למקד את המאמץ בחלקים מזרם הנתונים המדגימים שינויים לאורך זמן. לדוגמא, בסרטוני מעקב זה עשוי להיות שימוש בעיבוד תמונה לזיהוי עצמים נעים והפרדתם מהרקע לפני הזנת הפיקסלים המעובדים למודל.

זו הייתה חוויית למידה עבור ג'ונגבום ואחרים. בתיאור התקדמותו בשלבי TinyML, בקיץ 2017 הוא חשב שהקונספט כולו בלתי אפשרי. בקיץ 2020, לאחר שבחן דרכים למיטוב עיצוב היישומים והמודלים, התייחס עמדתו להאמין שסיווג תמונות בזמן אמת על חומרה עם צריכת חשמל נמוכה אפשרי. ככל שמופיעים מאיצים בעלי עוצמה נמוכה התומכים ברמת דיוק נמוכה ודלילות ביעילות רבה יותר, מגוון הדגמים שיכולים לפעול במיקרו-כוח צריך להתרחב.

התוצאה, לטענת Situnayake, ככל הנראה היא ש- "ML בסופו של דבר ייצג חלק גדול יותר מכל סוג אחר של עומס עבודה. היתרונות של ML על המכשיר יניעו את התעשייה לקראת יצירה ופריסה של שבבי הספק נמוך יותר, בעלי יכולת נמוכה יותר, שיבואו לייצג את רוב כל המחשבים המשובצים בעולם ". למרות שיהיו שפע של מכשירים שאינם מריצים עומסי עבודה אלה, הצורך במהירות ככל שגדלי הדגמים בהכרח יגדלו, ימקד את תשומת הלב לצרכיו ויתחיל לשלוט בפיתוח ארכיטקטורות תוכנה וחומרה, כל עוד היישומים יבצעו.