באמצעות קליפת המוח החזותית כמודל במוח האנושי, קבוצת המחקר בראשות חתן פרס ה- ERC תומאס פוק פיתחה מודלים ואלגוריתמים מתמטיים חדשים כבסיס לתוכניות עיבוד תמונה מהירות וחכמות יותר.
קליפת המוח החזותית שלנו יכולה לצלם תמונות ולזהות עצמים בשבריר שנייה, גם אם הם בקושי נראים או מקוטעים בלבד. אחת הסיבות לביצועי השיא הנהדרים הללו היא ארכיטקטורת השכבות ההיררכית היעילה ביותר של קליפת המוח החזותית. הוא מסנן את המידע הוויזואלי, מזהה חיבורים ומשלים את התמונה באמצעות דפוסים מוכרים. התהליך שעומד מאחורי זה עדיין כמעט לא מובן במורכבותו. נכון שקיימים כעת אלגוריתמים של למידה עמוקה שיכולים להתאים או, בחלק מהמקרים, לעלות על ביצועים אנושיים במשימות זיהוי תבניות מסוימות. אולם חסרון אחד באלגוריתמים אלה הוא שקשה להבין מה הם למדו, כיצד הם עובדים, או מתי הם טועים.
תומס פוק מהמכון לגרפיקה ממוחשבת וחזון באוניברסיטת גראץ טכנולוגיה (TU Graz) היה על עקבותיו של הידע הזה כחלק מפרויקט ה-ERC Starting Grant שלו HOMOVIS (מודלים קודמים ברמה גבוהה לראייה ממוחשבת). הוא עבד באופן אינטנסיבי בשאלה כיצד ניתן לחשב אופני פעולה ידועים של קליפת המוח החזותית באמצעות מודלים מתמטיים ולהעבירם ליישומי עיבוד תמונה. לאחר חמש שנות מחקר, 41 פרסומים ופטנט אחד מאוחר יותר, החוקר וקבוצת המחקר שלו צברו ידע רב המאפשר אלגוריתמים חדשים לעיבוד תמונה למגוון רחב של יישומים.
המייסד העיקרי של פסיכולוגיית הגשטלט השתמש בחוקים אלה כדי לנסות להסביר את תהליך הראייה האנושית, בו מרכיבים גירויים ורושמים חושיים ליצירת שלם גדול. "בני אדם יכולים כבר לזהות נכון אובייקטים חלקיים או שלמים על בסיס נקודות בודדות או קווי מתאר סובייקטיביים (קווי מתאר הזויים). המוח האנושי ממלא אוטומטית את מידע התמונה החסר. למשל, על ידי חיבור הנקודות באמצעות קימורים חלקים ככל האפשר, "אומר פוק. פוק וצוותו תיארו לראשונה תופעה זו של מציאת צורות תוך שימוש במודלים מתמטיים המבוססים על הקימורים האלסטיים של אוילר - משוואה מפורסמת של המתמטיקאי לאונהרד אוילר שניתן להשתמש בה לחישוב עקומות של עקמומיות מינימלית.
ייצוג במרחב ממדי גבוה יותר
בהתבסס על הקימורים האלסטיים של אוילר, הקבוצה של פוק פיתחה אלגוריתמים חדשים לפתרון בעיות עיבוד תמונה מסוימות התלויות בעקמומיות. כתוצאה מכך, הפתרון קל יותר אם התמונות (2D) ותכונותיהם מיוצגות כנקודות נתונים במרחב תלת מימדי. "בממד השלישי, אנו מקבלים משתנה נוסף עם כיוון קצוות האובייקט," מסביר פוק. גם זה מעוצב על פי חזון אנושי וחוזר לעבודה החלוצית של שני חתני פרס נובל, דיוויד האבל וטורסטן ויזל, שקבעו בשנת 1959 כי קליפת המוח החזותית מורכבת משכבות רגישות לנטייה.
מנקודת מבט מתמטית ומדעית המחשב, היתרון הגדול ביותר בהטבעה תלת מימדית זו הוא שניתן לפתור בעיות בעיבוד תמונה באמצעות אלגוריתמי אופטימיזציה קמורים. באופטימיזציה מתמטית, הגבול בין אופטימיזציה קמורה ללא קמורה נחשב כמחסום הגדול המבדיל בין פתיר לבעיות בלתי פתירות. "לפיכך, מובטח לנו שנוכל לחשב את התמונה הטובה ביותר עבור כל תמונות הקלט הנתונות - כמובן, רק ביחס למודל המתמטי בו נעשה שימוש", אומר פוק.
Outlook עתיד
כעת, פוק וצוותו עובדים על מודלים משופרים המשלבים את המאפיינים המבניים הידועים של קליפת המוח עם למידה עמוקה אלגוריתמים. המטרה היא לפתח מודלים המבצעים אלגוריתמים עכשוויים של למידה עמוקה, אך גם מאפשרים הבנה מעמיקה יותר של המבנים שנלמדו. הצלחות ראשוניות כבר הושגו בשחזור טומוגרפיה ממוחשבת ותמונות תהודה מגנטית. "בעזרת האלגוריתמים שזה עתה פותחו, ניתן כעת לשחזר תמונות באיכות הגבוהה ביותר למרות שנרשמו פחות נתונים. זה חוסך זמן וכוח מחשוב, וכך גם עולה ", מסביר פוק.