ERC ödüllü Thomas Pock liderliğindeki araştırma grubu, insan beynindeki görsel korteksi bir model olarak kullanarak, daha hızlı ve daha akıllı görüntü işleme programlarının temeli olacak yeni matematiksel modeller ve algoritmalar geliştirdi.
Görsel korteksimiz, zar zor görülebiliyor veya yalnızca parça parça olsa bile, saniyeden çok daha kısa bir sürede görüntüleri yakalayabilir ve nesneleri tanıyabilir. Bu muhteşem performansın bir nedeni, görsel korteksin yüksek verimli hiyerarşik katman mimarisidir. Görsel bilgileri filtreler, bağlantıları tanır ve tanıdık desenleri kullanarak görüntüyü tamamlar. Bunun arkasındaki süreç, karmaşıklığı nedeniyle hâlâ pek anlaşılamıyor. Artık belirli örüntü tanıma görevlerinde insan performansıyla eşleşebilecek veya bazı durumlarda onu aşabilecek derin öğrenme algoritmalarının mevcut olduğu doğrudur. Ancak bu algoritmaların bir dezavantajı ne öğrendiklerini, nasıl çalıştıklarını veya ne zaman hata yaptıklarını anlamanın zor olmasıdır.
Graz Üniversitesi Bilgisayar Grafikleri ve Görme Enstitüsü'nden Thomas Pock Teknoloji (TU Graz), ERC Başlangıç Hibe projesi HOMOVIS'in (Bilgisayarlı Görme için Yüksek Düzey Önceki Modeller) bir parçası olarak bu bilginin izini sürüyordu. Görme korteksinin bilinen çalışma modlarının matematiksel modeller kullanılarak nasıl hesaplanabileceği ve görüntü işleme uygulamalarına nasıl aktarılabileceği sorusu üzerinde yoğun bir şekilde çalıştı. Beş yıllık araştırma, 41 yayın ve bir patentin ardından araştırmacı ve araştırma grubu, çok çeşitli uygulamalar için yeni görüntü işleme algoritmalarına olanak tanıyan kapsamlı bilgi birikimine sahip oldu.
Gestalt psikolojisinin ana kurucusu, bu yasaları, uyaranların ve duyusal izlenimlerin büyük bir bütün oluşturacak şekilde bir araya getirildiği insan görme sürecini açıklamaya çalışmak için kullandı. “İnsanlar zaten kısmi veya tamamlanmamış nesneleri tek noktalardan veya öznel konturlardan (yanıltıcı konturlar) doğru bir şekilde tanıyabiliyor. İnsan beyni eksik görüntü bilgisini otomatik olarak doldurur. Örneğin noktaları mümkün olduğu kadar düzgün eğrilerle birleştirerek" diyor Pock. Pock ve ekibi, bu şekil bulma olgusunu ilk kez Euler'in elastik eğrilerine dayanan matematiksel modelleri kullanarak tanımladılar; bu, matematikçi Leonhard Euler'in minimum eğrilik eğrilerini hesaplamak için kullanılabilen ünlü bir denklemidir.
Daha yüksek boyutlu bir uzayda temsil
Pock'un grubu, Euler'in elastik eğrilerini temel alarak belirli eğriliğe bağlı görüntü işleme problemlerini çözmek için yeni algoritmalar geliştirdi. Sonuç olarak, (2D) görüntüler ve bunların özellikleri üç boyutlu uzayda veri noktaları olarak temsil edilirse çözüm daha da kolaylaşır. Pock, "Üçüncü boyutta, nesne kenarlarının yönelimiyle ilgili ek bir değişken elde ediyoruz" diye açıklıyor. Bu da insan görüşüne göre modellenmiştir ve 1959'da görsel korteksin yönelime duyarlı katmanlardan oluştuğunu ortaya koyan iki Nobel ödüllü David Hubel ve Torsten Wiesel'in öncü çalışmasına kadar uzanır.
Matematik ve bilgisayar bilimi açısından bakıldığında, bu üç boyutlu yerleştirmenin en büyük avantajı, görüntü işleme problemlerinin dışbükey optimizasyon algoritmaları kullanılarak çözülebilmesidir. Matematiksel optimizasyonda, dışbükey ve dışbükey olmayan optimizasyon arasındaki sınır, çözülebilir problemleri çözülemeyen problemlerden ayıran büyük engel olarak kabul edilir. Pock, "Böylece, verilen tüm girdi görüntüleri için en iyi görüntüyü elbette yalnızca kullanılan matematiksel modele göre hesaplayabileceğimiz garanti ediliyor" diyor.
Gelecek Görünüm
Şimdi Pock ve ekibi görsel korteksin bilinen yapısal özelliklerini birleştiren gelişmiş modeller üzerinde çalışıyor. derin öğrenme algoritmalar. Amaç, mevcut derin öğrenme algoritmalarının yanı sıra performans gösteren, aynı zamanda öğrenilen yapıların daha derinlemesine anlaşılmasına da olanak tanıyan modeller geliştirmektir. Bilgisayarlı tomografi ve manyetik rezonans görüntülerinin yeniden yapılandırılmasında ilk başarılar zaten elde edildi. “Yeni geliştirilen algoritmalarla artık daha az veri kaydedilmesine rağmen görüntüleri en yüksek kalitede yeniden oluşturmak mümkün. Bu, zamandan ve bilgi işlem gücünden tasarruf sağlıyor, dolayısıyla maliyetlerden de tasarruf sağlıyor," diye açıklıyor Pock.