Sıfırları Atarak Makine Öğrenimi Performansını Artırın

Yapay zeka modelleri, modele farklı girdiler arasında nasıl ayrım yapılacağını ve ardından buna göre yanıt verileceğini anlatmak üzere etiketlenmiş veri kümeleri üzerinde eğitilerek "zekalarını" geliştirir. Ne kadar çok etiketli veri girerse, model kendisine atanan görevi ne kadar iyi yerine getirirse o kadar iyi olur. Kendi kendine giden araçlar gibi karmaşık derin öğrenme uygulamaları için bu, güçlü ve pahalı, oldukça paralel süper hesaplama platformları kullanıldığında bile, çok büyük girdi veri kümeleri ve çok uzun eğitim süreleri gerektirir.

Eğitim sırasında, küçük öğrenme görevleri onlarca veya yüzlerce bilgi işlem düğümüne atanır ve bunlar daha sonra bir sonraki görevi çalıştırmadan önce sonuçlarını bir iletişim ağı üzerinden paylaşır. Bu tür paralel hesaplama görevlerinde hesaplama yükünün en büyük kaynaklarından biri aslında her model adımında hesaplama düğümleri arasındaki bu iletişimdir.

KAUST ekibi şöyle açıklıyor: "İletişim, dağıtılmış derin öğrenmede önemli bir performans darboğazıdır." “Model boyutunun hızla artmasıyla birlikte seyreklik dediğimiz öğrenme sürecinde üretilen sıfır değerlerin oranında da artış görüyoruz. Bizim fikrimiz, yalnızca sıfır olmayan veri blokları göndererek etkili bant genişliği kullanımını en üst düzeye çıkarmak için bu seyreklikten yararlanmaktı."

Fei, Marco Canini ve meslektaşları, veri aktarımını işleyen ağ anahtarları üzerinde etkili toplama kodu çalıştırarak düğümler arası iletişimi optimize eden SwitchML adlı daha eski bir KAUST geliştirmesini temel alarak, sıfır sonuçları belirleyerek ve iletimi bırakmanın bir yolunu geliştirerek bir adım daha ileri gittiler. paralel hesaplama işleminin senkronizasyonunu kesintiye uğratıyor.

Ekip, "Dağıtılmış eğitimi hızlandırmak için seyreklikten tam olarak nasıl yararlanılacağının zorlu bir sorun olduğunu söylüyor. "Tüm düğümlerin, bir zaman diliminde aynı konumdaki veri bloklarını işlemesi gerekiyor, bu nedenle yalnızca aynı konumdaki veri bloklarının toplanmasını sağlamak için düğümleri koordine etmemiz gerekiyor. Bunun üstesinden gelmek için, işçileri koordine etmek ve onlara bir sonraki bloğa gönderecekleri talimatını vermek için bir toplayıcı süreç oluşturduk."

Ekip, OmniReduce şemasını bir dizi grafik işleme biriminden (GPU) oluşan bir test ortamında gösterdi ve tipik işlemlerde sekiz kat hızlanma elde etti. derin öğrenme görevler.