הכלים וה-IP של Lattice sensAI 4.1 הופכים את FPGA למנוע מחשוב אינטליגנטי AI/ML בקצה הרשת

מבוא

אין ספק שקראתם או שמעתם על כך, מכיוון שמספר מכשירי הקצה ברשת גדל, כמות עצומה של זרימת נתונים הוגדלה ללא הרף. מכשירים אלה כוללים מכוניות בנהיגה עצמית, מכשירי אינטרנט של הדברים, מוצרי אלקטרוניקה, ואפילו מחשבים ניידים ומחשבים אישיים. על פי הערכות מרובות, עד 2025, יהיו עשרות מיליארדי מכשירי IoT בפעולה. מכשירים אלה שולחים צורות שונות של נתונים לענן בצורה של זרמי נתונים רציפים, וקצבי הנתונים משתנים מאוד. באופן כללי, מכשירים אלו ייצרו כמות גדולה של נתונים גולמיים, וכמות הנתונים תמשיך לגדול עם הזמן.

מכשירי וידאו במצלמות אבטחה, במכוניות בנהיגה עצמית ובמחשבים אישיים מייצרים זרמי וידאו בקצב גבוה וברזולוציה גבוהה. מכשירי IoT מייצרים נתונים בקצב סיביות בינוני ומצברים אותם לזרמי נתונים גדולים. סוגים רבים אחרים של חיישני IoT (מדודת טמפרטורה, לחץ, מיקום, רמת אור וכו') ייצרו זרמי נתונים בקצב סיביות נמוך, אך בקרוב מספר החיישנים הללו יגיע למיליארדים. לכן, אפילו את זרמי הנתונים בקצב הסיביות הנמוך הללו ניתן לצבור לזרמי נתונים גדולים יותר עם קצב סיביות גבוה לפני הכניסה לענן.

עלייתן של רשתות אלחוטיות 5G וטכנולוגיות רשת מהירות אחרות, כולל פיקו-סל, רשתות IoT למרחקים ארוכים (כגון LoRaWAN), ורשתות לווייניות רשת גלובליות (כגון רשת הפס הרחב של SpaceX המתרחבת של SpaceX ואינטרנט IoT מבוסס לוויין של Swarm Technologies ), המספקת גישה ענן רחבה ומהירה (הערה: Starlink רכשה את Swarm Technologies באוגוסט 2021). טכנולוגיות תקשורת ורשת אלו מאיצים את יתרון הרשת המתפתח
. יישומי זמן אמת בקצה הרשת בדרך כלל אינם סובלים חביון גבוה, ולכן יש להעביר את העיבוד, הניתוח וקבלת ההחלטות למכשיר עצמו. התקני קצה אלה כוללים רכבים אוטונומיים, חיישני IoT, מצלמות אבטחה, טלפונים חכמים, מחשבים ניידים ומחשבים אישיים. לכן, הפוטנציאל של מחשוב קצה ברשת הוא עצום.

תחת משקל הנתונים, הענן לא יכול לעשות הכל

הצמיחה האקספוננציאלית של סמארטפונים ומכשירי IoT קידמה את הפיתוח של מחשוב קצה ברשת. מכשירים אלה נמצאים בכל מקום וחייבים להיות מחוברים לאינטרנט כדי לשלוח או לקבל מידע אל וממנו הענן. מכשירי IoT מסוימים (כגון מצלמות) מייצרים כמויות גדולות של נתונים במהלך הפעולה.

מכשירי IoT אחרים, כמו חיישני טמפרטורה, מייצרים כמות קטנה של נתונים, אך מכיוון שמספרם של חיישנים כאלה יכול להגיע למיליארדים, זה גורם לעומס גדול על עיבוד הענן. לכן, עיבוד המבוסס על קצה הרשת נחוץ מאוד, לא רק כדי להוזיל את עלות התקשורת ברשת ואחסון ענן בענן, אלא גם כדי למנוע עומס יתר של ערוץ הנתונים בענן.

מפתחים של מוצרים ואפליקציות קצה רשת מאמצים יותר ויותר אלגוריתמים של בינה מלאכותית ולמידת מכונה (AI/ML) כדי להתאים ולזהות דפוסים מורכבים כדי לסייע בניתוח נתונים וקבלת החלטות על סמך זה. למעשה, השימוש ב-AI/ML טֶכנוֹלוֹגִיָה גדל במהירות רבה.

כיום, אלגוריתמי AI/ML נחשבים כאמצעים הכרחיים לעיבוד נתונים גולמיים ביעילות, מכיוון שהם יכולים לזהות דפוסי נתונים מורכבים ורב מימדיים שקשה לנתח ולזהות על ידי תוכניות אלגוריתמים מסורתיות. כמה יישומי AI/ML ספציפיים כוללים זיהוי, זיהוי, זיהוי וספירה של אנשים או חפצים; מעקב אחר נכסים ומלאי, תפיסה סביבתית, זיהוי וזיהוי קול וקול, ניטור תקינות המערכת ותזמון תחזוקת המערכת. פיתוח התקני מחשוב ואפליקציות.

התקנים ויישומים מתפתחים ברשת כוללים רכבים אוטונומיים, רובוטים, ייצור אוטומטי, ניטור מרחוק, שרשרת אספקה ​​ומערכות לוגיסטיקה ומעקב וידאו כדי להבטיח אבטחה ציבורית ופרטית. הביקוש של השוק למערכות קצה אלה ברשת גדל במהירות מכיוון שהן יכולות להגביר את היעילות, להפחית את עלויות התפעול ולשפר את חווית המשתמש. אבל לא משנה כמה תשתית תקשורת אלחוטית וקווית אנחנו בונים, סערת הנתונים העודפים עלולה להציף או לחסום את צינורות הנתונים הללו לענן.

עיבוד מקומי בקצה הרשת עוזר לבטל את חסימת צינור הנתונים

מגמות אלו מצביעות על כך שכעת יש צורך לבצע עיבוד נוסף כאשר הנתונים נוצרים בקצה הרשת ולהפחית את כמות הנתונים המועברים לענן. הצמיחה הנפיצה של האינטרנט של הדברים והתקנים אחרים המחוברים לרשת היא הכוח המניע העיקרי לפיתוח של התקני קצה חדשים ברשת, אשר ממריץ עוד יותר את הפיתוח של יישומים חדשים, ובכך הופך נתונים גולמיים למידע שימושי וניתן לפעולה כדי לתמוך בהחלטה מהירה ביצוע , הגיבו למצבים משתנים בזמן אמת.

בשלבים הראשונים של הפיתוח של מחשוב קצה ברשת, התמקדו חברות בעלות העברת הנתונים למרכזי נתונים למרחקים ארוכים. בתחילה, המאפיין העיקרי של יישומי קצה ברשת היה הצורך לגשת לנתונים המאוחסנים בענן ובמחשבים אחרים המחוברים לענן. יישומים מוקדמים אלו בדרך כלל אינם יישומים בזמן אמת; זמני תגובה של מאות אלפיות שניות או אפילו שניות מקובלים. עם זאת, הפיתוח של מכשירי האינטרנט של הדברים והביקוש הגובר לעיבוד, ניתוח ותגובה בזמן אמת בקצה הרשת קידמו את הפיתוח העוצמתי של טכנולוגיית קצה הרשת, יחד עם אתגרי עיצוב גדולים יותר.

עיבוד קצה ברשת הופך את המחשוב ואחסון הנתונים קרוב יותר ויותר למכשיר שאוסף נתונים, במקום לנתח ולקבל החלטות במרכז נתונים במרחק אלפי קילומטרים.


איור 1. מגמות במחשוב קצה ברשת (מקור תמונה: סריג)

יישומי קצה רבים ברשת שיכולים לנצל את יכולות AI/ML צריכים לפעול תחת אילוצי צריכת חשמל מחמירים ביותר. מכשירים אלה בתפוצה רחבה מסתמכים בדרך כלל על כוח סוללה. יישומים כאלה יש בשפע בסביבות קצה שונות ברשת, כולל מפעלים, חוות, בנייני משרדים, חנויות קמעונאיות, בתי חולים, מחסנים, רחובות ובתי מגורים. ככל שמספרם גדל, המכשירים הללו צריכים לפעול במשך זמן רב, אפילו חודשים או שנים, עם טעינה בודדת בלבד או בהסתמך רק על איסוף ואחסון אנרגיה.

לכן, מכשירים רבים צריכים להיות במצב שינה או תרדמה רוב הזמן, ורוב המעגלים צריכים להיות במצב המתנה עם צריכת חשמל נמוכה כשהמכשיר במצב לא פעיל. אז אירוע ההפעלה יפעיל את המכשיר בעת הצורך. בסוג זה של יישום, הבסיסי מעגל מערכת הפועלת בצריכת חשמל נמוכה במיוחד חייבת להישאר במצב המתנה, להמתין לאירוע הפעלה, ולאחר מכן להפעיל את שאר המכשיר לפי הצורך.

FPGA מממש AL/ML עם צריכת חשמל נמוכה

נראה שהדרישות לצריכת חשמל הפעלה נמוכה ויישום אלגוריתם AI/ML מתנגשות עם הדרישות לתכנון מכשירי קצה של רשת בעוצמה נמוכה. עם זאת, שתי דרישות עיצוב מורכבות אלו אינן סותרות. ה-FPGA העדכני ביותר של Lattice - סדרת התקני CertusPro-NX בעלת הספק נמוך, בגודל קטן ובעלי ביצועים גבוהים - מותאמת לעמוד בדרישות העיצוב הרבות של התקני קצה רשת בעלי הספק נמוך. FPGAs אלה יכולים לתמוך במספר חיישנים, צגים, וידאו ברזולוציה גבוהה, קישוריות רשת ועיבוד AI/ML בקצה הרשת.

במקביל, גרסה 4.1 החדשה של Lattice של קולקציית פתרונות sensAI מספקת כלי AI/ML מוכנים לשימוש, ליבות IP, פלטפורמות חומרה, עיצובי עזר והדגמות, ושירותי עיצוב מותאמים אישית כדי לעזור לצוותי עיצוב לפתח ציוד חדש לקצה הרשת. ולהביא אותו במהירות לשוק. הגרסה האחרונה של sensAI תומכת ב-CertusPro-NX FPGA.

אוסף פתרונות Lattice sensAI מאיץ הדרכה, אימות והידור של מודל AI/ML מקצה לקצה. Lattice הוסיפה את סביבת העיצוב sensAI Studio ל-sensAI 4.0 שיצא בתחילת 2021, שהוא כלי מבוסס ממשק משתמש גרפי (GUI) המסייע למפתחים לבנות במהירות יישומי למידת מכונה. בעת שימוש בכלים ב-Lattice sensAI 4.1 להגדרת עיצוב מחשוב קצה הרשת, ושימוש ב-Lattice iCE40 UltraPlus, CrossLink-NX, ECP5 ו-CertusPro-NX FPGA, ניתן לממש פונקציות AI/ML בזמן אמת בצריכת חשמל נמוכה במיוחד ――צריכת החשמל נמוכה מ-1mW עד 1W.


איור 2. סביבת העיצוב של sensAI Studio של Lattice מאיצה אימון, אימות והידור של מודל AI/ML מקצה לקצה. (מקור תמונה: סריג)

עם sensAI 4.1 התומך במוצרי סדרת Lattice CertusPro-NX FPGA, גם הביצועים של sensAI שופרו מאוד. בנוסף ליישומי זיהוי ומעקב אובייקטים קיימים, נוספו גם יישומים כגון סיווג בזמן אמת של מספר אובייקטים. ערכת הפתרונות sensAI 4.1 כוללת מהדר רשתות עצביות מעודכן ותואמת גם לפלטפורמות אחרות של למידת מכונה בשימוש נרחב, כולל הגרסאות האחרונות של Caffe, Keras, TensorFlow ו-TensorFlow Lite.

ליבות ה-IP במערך הפתרונות Lattice sensAI 4.1 כוללות שלושה סוגים של מאיצי רשת עצבית קונבולוציונית (CNN) - CNN, CNN Plus ו-CNN Compact - ומנוע מעבד CNN. ליבת ה-IP של CNN מאפשרת למפתחים להשתמש ב-CNN בשימוש נרחב ששוחררו על ידי אחרים, כגון Mobilenet v1/v2, Resent, SSD ו-VGG, או להתאים אישית את מודל ה-CNN לפי הצורך. מאיץ sensAI 4.1 CNN מנצל את יכולות העיבוד המקבילות, הזיכרון המבוזר ומשאבי ה-DSP של רכיבי Lattice FPGA כדי לפשט מאוד את ההטמעה של תכנוני AI בהספק נמוך במיוחד. ליבת המאיץ משתמשת בלוגיקה ניתנת לתכנות FPGA כדי ליישם רשתות עצביות בעלות הספק נמוך, כולל רשתות עצביות בינאריות יעילות במיוחד (BNN), שיכולות ליישם CNN עם צריכת חשמל נמוכה במיוחד בטווח המיליוואט.


איור 3. אוסף פתרונות Lattice sensAI יכול לפתח התקני AI/ML המבוססים על Lattice FPGA. (מקור תמונה: סריג)

עיצוב התייחסות ל-Lattice sensAI 4.1

רשתות FPGA מספקות קלט/פלט ניתן לתכנות, שניתן להגדיר לתמוך במגוון תקני ממשק חשמלי הנפוצים ב- חיישן ממשקים. החברה מספקת גם מודולי IP עם ליבה קשה וליבה רכה כדי לתמוך בפרוטוקולי תקשורת חיישנים שונים. מכיוון של-FPGA יש זמן רב יתרונות משמעותיים בהיתוך חיישנים, העיצוב של Lattice sensAI 4.1 נועד לפשט את הפיתוח של פונקציות AI/ML המבוססות על חיישנים מרובים בהתקני קצה רשת ולממש היתוך חיישנים חכם. קולקציית הפתרונות של sensAI 4.1 כוללת דוגמאות רבות של עיצוב התייחסות, המדגימות מגוון מקרים של יישומי היתוך חיישנים חכמים, שיכולים לפעול בו-זמנית כדי להשיג מודעות מצבית מעמיקה. עיצובי התייחסות אלה כוללים:

• זיהוי מחוות

עיצוב ייחוס זה משתמש בחיישן תמונה IR כדי ליישם מערכת זיהוי מחוות בעוצמה נמוכה מבוססת בינה מלאכותית. עיצוב ההתייחסות מספק מערך נתוני אימון, סקריפטים שניתן לאמן באמצעות כלי אימון רשתות עצביות בשימוש נפוץ, ומודל רשת עצבית לשינויים של המשתמשים.

•זיהוי מילות מפתח

עיצוב התייחסות זה משתמש במיקרופון MEMS דיגיטלי כדי לזהות ברציפות אמירות מילות מפתח. מעצבים יכולים להשתמש במסגרות למידה עמוקה (כגון Caffe, Tensorflow או Keras) כדי לעדכן את ערכת נתוני ההדרכה המסופקת כדי להוסיף פונקציות של מילות התעוררות למערכת. עיצוב ההתייחסות כולל מערך נתוני אימון, סקריפטים שניתן לאמן באמצעות כלי אימון רשתות עצביות הנפוצים, ומודל רשת עצבית לשינויים של המשתמשים.

•זיהוי פנים

עיצוב התייחסות זה משתמש בחיישני תמונה כדי ליישם זיהוי פנים מבוסס CNN, ויכול לשנות את מסד הנתונים של האימונים כדי לזהות סוגים אחרים של מטרות.

• איתור כוח אדם

עיצוב התייחסות זה משתמש בחיישני תמונה CMOS כדי לזהות באופן רציף נוכחות של אנשים. מערכת הבינה המלאכותית המבוססת על עיצוב זה יכולה להשתמש במסגרת למידה עמוקה (כגון Caffe או Tensorflow) כדי לעדכן את מודל ההדרכה המסופק כדי לזהות ולאתר כל יעד לעניין. עיצוב ההתייחסות כולל מודל רשת עצבית, מערך נתוני אימון ותסריטים שניתן לאמן באמצעות כלי אימון נפוצים.

•זיהוי מטרות, סיווג, מעקב וספירה

עיצוב התייחסות זה מספק דוגמאות לזיהוי מטרות, סיווג, מעקב וספירה. יש לו עיצוב שלם, כולל FPGA RTL עבור לוחות פיתוח סריג, מודלים של רשתות עצביות, ערכות נתוני אימון לדוגמה, ויצירה מחדש ועדכון של סקריפט העיצוב.

יישומי קצה נפוצים ופוטנציאליים ברשת שבהם ניתן להשתמש בבינה מלאכותית

לשימוש באלגוריתמי AI/ML כדי לשפר את הביצועים של התקני קצה רבים ברשת (כגון רובוטים אוטונומיים, בקרת סביבה ומצלמות אבטחת וידאו) יש יתרונות ברורים, בעוד שסוגים אחרים של התקני קצה רשת יכולים גם ליהנות ממנו, כמו מחשבים אישיים ומחשבים ניידים. . Lattice עובדת עם שותפים ולקוחות על מנת להשתמש בטכנולוגיית ריבוי מצבים, היתוך חיישנים חכם וטכנולוגיית AI/ML כדי לשפר באופן מתמיד את חוויית המשתמשים במחשבים/לפטופים ולהפחית משמעותית את צריכת החשמל התפעולית של מחשבים ניידים. ביישומים מסוימים, חיי הסוללה גדלו עד 28%.

לאילו תכונות ציוד יש ערך פוטנציאלי?

השימוש במחשבים ומחשבים ניידים בתוך 24 שעות שונה מאוד, ובדרך כלל נעשה בהם שימוש אינטנסיבי במהלך שעות העבודה במהלך היום. עם זאת, גם במהלך שעות העבודה, תהיה להם מצב מנוחה. אנשים עושים הפסקות מדי פעם ואוכלים בצהריים. בזמנים אלו, הם בדרך כלל שומרים על המחשב פועל כדי להבטיח שהאפליקציות השונות שהם פותחים לא ייסגרו.

שלב ניתוח AI/ML וקבלת החלטות עם החיישנים הקיימים של המחשב (מצלמות ומיקרופונים) כדי להשיג היתוך חיישנים חכם, המאפשר למחשבים או מחשבים ניידים לתפוס את הסביבה הסובבת להחליט מתי לכבות את התצוגה והמעבד, ומתי לתת. מופעל מחדש.

השימוש הפשוט ביותר בזיהוי נוכחות הוא לכבות את המחשב כאשר איש אינו בסביבה. כאשר המשתמש רחוק מה- מסך במשך זמן רב, פונקציית מעקב הקשב יכולה לעמעם את מסך המחשב ולהפעיל את מצב צריכת החשמל הנמוכה. ה-FPGA בעל הספק נמוך, בגודל קטן, הפועל כמרכז החיישן החכם, יכול לקבל קלט מחיישני מחשב, ולאחר מכן להחליט אילו רכיבים לספק חשמל בהתאם למצב.

פתרון בעיות פרטיות ואבטחה

באופן דומה, פונקציות אלו יכולות גם לשפר את הפרטיות והאבטחה של המחשב. מצלמת הועידה המובנית במחשב יכולה לשמש כדי לנטר את הרקע מאחורי המשתמש ולזהות האם מישהו מציץ מאחורי כתפו של המשתמש. אם המחשב מוגדר להגן על הפרטיות, כאשר מישהו מאחורי משתמש מורשה חשוד שהציץ על מסך המחשב, הוא יכול להקפיץ אזהרה כדי להזכיר למשתמש ואף לעמעם את המסך באופן אוטומטי. יש לציין שבפתרונות אלו, כל נתוני ההסקה מאוחסנים באופן מקומי ב-FPGA. רק המטא נתונים מועברים ל-SoC, מה שמשפר עוד יותר את הפרטיות ומשפר את האבטחה.

מיטב את חווית המשתמש

פונקציות AI/ML יכולות גם לשפר את החוויה הכוללת של משתמשי מחשב. לדוגמה, פונקציית עינית הפנים מבוססת AI/ML יכולה להשתמש ברזולוציה הגבוהה יותר של מצלמת ועידת הווידאו המובנית כדי לחתוך ולמרכז את הדמות של המשתמש, ולספק תמונה טובה יותר עבור ועידת הווידאו. המשתתפים יכולים גם לזוז במהלך הפגישה בזמן שהתמונות שלהם נשארות במרכז. באופן דומה, זיהוי מחוות יכול להוסיף יכולות פעולה ללא מגע למחשבים ניידים או למחשבים אישיים או לכל מכשיר IoT אחר המאפשר וידאו.

יתרונות בריאותיים

חברות רבות מבהירות כיום שהן רוצות להגן על בריאות העובדים שלהן. פונקציות תפיסה מבוססות AI/ML יכולות לעזור להימנע מפציעות מתח חוזרות ונשנות באמצעות תזכורות קופצות ואמצעים אחרים, ולהשתמש בחיישני וידאו ממוחשבים כדי להבטיח שהעובדים אכן אימצו את המלצות המנוחה שניתנו.

ניתן להשתמש ביישומי AI/ML גם כדי לזהות את היציבה של המשתמש, מה שעשוי להיות גורם נוסף הגורם לפציעות מתח חוזרות ונשנות. ניתן להשתמש בתכונות אלו באמצעות משוב פעיל של חיישנים לפיתוח יישומי בריאות, אשר טובים משמעותית מתזכורות התזמון הפשוטות המשמשות כיום בארגונים, ויכולות להתמודד ביעילות עם פציעות עבודה הקשורות ללחץ.

כל הפונקציות הללו המיושמות באמצעות AI/ML יכולות לעזור לספקים ליצור מחשבים אישיים ומחשבים ניידים אטרקטיביים יותר עבור קונים ארגוניים, ואת כל הפונקציות הללו ניתן להשיג באמצעות אוסף פתרונות sensAI 4.1 ותכונות FPGA בעלות הספק נמוך של Lattice.

השימוש בסוג זה של FPGA עולה על הפונקציה האיקונית של פיתוח FPGA עבור חיבור והיתוך חיישני זמן ארוך, ובהתבסס על אלגוריתמי AI/ML בוגרים, הוא מוסיף פונקציות של ניתוח אותות חיישנים וקבלת החלטות. התוספת של AI/ML הופכת את FPGA לבקר מערכת בעל הספק נמוך שיכול לנהל את פונקציות המערכת, לשפר את חווית המשתמש ולהאריך מאוד את חיי הסוללה על ידי הפחתת צריכת החשמל הכוללת של המערכת.

מסקנה: שוק ענק של מיליארדי התקני קצה של רשת טרם פותח

עם מספר מוצרי סדרת ה-FPGA בעלי ההספק הנמוך ואוסף פתרונות sensAI 4.1 התומכים בסדרות המוצרים הללו, Lattice מחויבת להביא טכנולוגיית AI/ML למיליארדי התקני קצה ברשת. לכן, יישומי קצה ברשת הם שוק יעד פוטנציאלי ביותר.

על פי הערכות שונות, נדרשים עשרות מיליארדי התקני קצה של רשת באזורים רחבים בעולם כדי לענות על הצרכים של מספר רב של שווקי קצה רשת, וזה מאוד אטרקטיבי עבור עסקי FPGA - כמובן שהיקף זה הוא מתאים לכל תעשייה בדרך זו. השחרור של Lattice של ערכת פתרונות sensAI 4.1 וסדרת ה-FPGA בעלת ההספק הנמוך והקטנה מכוונת ישירות ליישומים ולשווקים של קצה רשת. אוסף פתרונות sensAI 4.1 של Lattice הוא כלי פיתוח חדשני ליישומי קצה ברשת, המאפשר למפתחי מערכות לפתח פתרונות AI/ML גמישים, ספציפיים לאפליקציה, מבוססי FPGA עבור שווקים שונים.