Araştırma, gerçek büyük veriler yerine sentetik veri kümeleri üzerinde algoritmaların geliştirilmesini kapsadığından, buradaki önemli kelime "geliştirmek"tir.
Kaist, "Grafikler, sosyal ağlar, iş zekası, biyoloji ve sinir bilimi gibi birçok alanda gerçek dünyadaki nesneleri temsil etmek ve analiz etmek için yaygın olarak kullanılıyor" dedi. “Büyük ölçekli bir grafik için algoritmalar geliştirirken ve test ederken, genellikle gerçek bir grafik yerine sentetik bir grafik kullanılır. Bunun nedeni, büyük ölçekli gerçek grafiklerin paylaşılması ve kullanılmasının, bunların tescilli olması veya toplanmasının pratik olarak imkansız olması nedeniyle çok sınırlı olmasıdır."
Kaist'e göre geleneksel olarak grafik algoritmalarının geliştirilmesi ve test edilmesi aşağıdaki iki adımlı yaklaşımla gerçekleştirilir:
Birinci adım sentetik bir grafik oluşturur ve bunu disklerde saklar. Grafik genellikle parametre bazlı oluşturma veya grafiğin ölçeklendirilmesi yoluyla oluşturulur; ilki, belirli bir gerçek grafiğin bazı özelliklerini yakalayabilen az sayıda parametreyi çıkarır ve parametrelerle sentetik grafiği oluşturur; ikincisi ise bir grafiğin ölçeğini yükseltir. Orijinal gerçek grafiğin özelliklerini mümkün olduğunca korumak için gerçek grafiği daha büyük bir grafikle değiştirdik.
İkinci adım, depolanan grafiği Apache GraphX gibi bir grafik işleme motorunun ana belleğine yükler ve motorda belirli bir grafik algoritmasını çalıştırır. Kaist, "Grafik tek bir bilgisayarın ana belleğine sığmayacak kadar büyük olduğundan, grafik motoru genellikle onlarca veya yüzlerce bilgisayardan oluşan bir küme üzerinde çalışır" dedi ve "bu nedenle geleneksel iki adımlı yaklaşımın maliyeti yüksek" dedi. .”
Kore ekibi büyük ölçekli bir sentetik grafik oluşturmuyor ve saklamıyor.
Bunun yerine başlangıçtaki küçük gerçek grafiği ana belleğe yükler. Kaist, daha sonra T-GPS (trilyon ölçekli grafik işleme simülasyonu) adı verilen bir teknik kullanarak, grafik algoritmasının, sanki gerçek grafikten üretilmesi gereken büyük ölçekli sentetik grafik ana bellekte varmış gibi küçük gerçek grafikle karşı karşıya geldiğini söyledi. Algoritma tamamlandıktan sonra T-GPS'in geleneksel iki adımlı yaklaşımla aynı sonucu verdiğini ekliyor.
"T-GPS'in ana fikri, sentetik grafiğin yalnızca algoritmanın anında erişmesi gereken kısmını oluşturmak ve grafik işleme motorunu, anında oluşturulan parçayı gerçekte oluşturulan sentetik grafiğin parçası olarak tanıyacak şekilde değiştirmektir. dedi Kaist.
T-GPS, bir bilgisayarda bir trilyon kenardan oluşan bir grafiği işlerken, geleneksel iki adımlı yaklaşım, bir milyar kenardan oluşan bir grafiği işlemek için aynı spesifikasyona sahip on bir bilgisayardan oluşan bir kümeye ihtiyaç duyuyordu. Ağ erişimi gerektirmeyen T-GPS, önemli bir iletişim ek yüküne sahip olan geleneksel yaklaşıma göre 43 kata kadar daha hızlıydı.
Çalışma, IEEE ICDE 2021 konferansında 'Yukarıdan Aşağıya Grafik Yükseltmeye Dayalı Trilyon Ölçekli Grafik İşleme Simülasyonu' olarak sunuldu.