Tapi kita sekarang berada pada titik di mana segala sesuatunya harus berubah. Aplikasi berbasis kecerdasan buatan seperti mesin rekomendasi, klasifikasi gambar, dan pemrosesan bahasa alami ada di mana-mana — di ponsel, speaker pintar, kendaraan, perangkat yang dapat dikenakan, dan rumah. Dan itu hanya AI. Pembelajaran mesin, realitas virtual, game generasi berikutnya, dan aplikasi intensif lainnya akan tetap ada.
Semua aplikasi ini sekarang menempatkan tuntutan yang belum pernah terjadi sebelumnya pada HBM, yang tidak dapat terus ditingkatkan dengan kecepatan yang dibutuhkan oleh teknologi baru ini. Tidak hanya aplikasi ini perlu memproses sejumlah besar data, tetapi mereka juga perlu melakukannya dengan lebih cepat dan lebih baik, dan peningkatan harus dilakukan dengan cepat. Algoritma menuntut tingkat akses yang tinggi ke kapasitas data yang besar.
Dalam sistem tradisional, bandwidth memori dan konsumsi daya pada akhirnya membatasi performa dan kemampuan aplikasi AI dan ML. Jadi apa yang perlu dilakukan industri dari sini untuk mendukung generasi berikutnya teknologi?
PIM untuk menyelamatkan
Ide untuk menggunakan teknologi processing-in-memory (PIM) dengan HBM telah dibicarakan sebagai cara untuk mengatasi batasan teknis selama lebih dari 30 tahun.
Dengan menempatkan mesin AI yang dioptimalkan DRAM di dalam setiap bank memori (sub-unit penyimpanan), HBM-PIM menambahkan kekuatan pemrosesan tepat di tempat data disimpan – membuka jalan untuk pemrosesan paralel sekaligus mengurangi jumlah perjalanan yang perlu dilakukan data .
Untuk manajer TI, arsitek sistem pusat data, dan arsitek GPU, arsitektur semacam ini merupakan peluang besar. Misalnya, insinyur perangkat lunak dapat menulis perintah sederhana untuk memanfaatkan unit komputasi yang dapat diprogram HBM-PIM untuk meningkatkan kecepatan beban kerja berulang yang terlokalisasi.
Lebih luas lagi, HBM-PIM memberikan kinerja sistem lebih dari dua kali lipat dari HBM tradisional sekaligus memangkas penggunaan energi hingga lebih dari 60%. Dan sebagai bonus tambahan yang luar biasa, HBM-PIM tidak memerlukan perangkat keras atau perangkat lunak apa pun, yang berarti para insinyur dapat dengan mulus menyematkannya di dalam sistem yang ada.
Terlepas dari manfaat yang jelas ini, itu bukanlah arsitektur yang mudah untuk dibangun oleh industri. Sampai baru-baru ini, pekerjaan yang perlu dilakukan oleh produsen chip untuk mengatasi tantangan teknis beberapa tahun yang lalu terlalu banyak – dan akibatnya, kemajuan menjadi lambat selama bertahun-tahun.
Mengapa? Masalah dengan teknologi PIM adalah karena cara menghubungkan memori dan logika, para insinyur selalu menghadapi trade-off antara kepadatan penyimpanan dalam proses yang dioptimalkan memori dan Transistor kinerja dalam proses logika yang dioptimalkan.
Akibatnya, kinerja dan kemampuan perangkat PIM berada di sisi yang rendah dibandingkan dengan hambatan teknis dan biaya integrasi. Dan karena itu arsitektur von Neumann tradisional telah berlaku, yang menggunakan prosesor dan unit memori terpisah untuk melakukan jutaan tugas pemrosesan data yang rumit. Namun yang membuat frustrasi, pendekatan pemrosesan sekuensial ini memindahkan data bolak-balik secara konstan, menyebabkan kemacetan saat menangani volume data yang terus meningkat.
Tapi ada kabar baik. Proliferasi kecerdasan buatan dan aplikasi pembelajaran mesin telah menghidupkan kembali investasi dan pengembangan teknologi PIM – hanya karena teknologi ini akan tetap ada, dan memori perlu beradaptasi untuk mengakomodasinya, bukan sebaliknya.
Dan itu masuk akal. Teknologi PIM adalah teknologi yang sempurna untuk menangani beban kerja AI dan ML, dengan kernel yang dioptimalkan yang mengurangi pergerakan data dengan memetakan akses data dengan lokalitas spasial dan temporal tingkat tinggi untuk pemrosesan bersamaan di bank (paralel) dari memori kinerja tinggi perangkat. Dengan bekerja dengan cara ini, PIM mengatasi hambatan khas bandwidth memori CPU/GPU, meningkatkan kinerja dan kemampuan aplikasi AI dan ML secara keseluruhan.
Terobosan pasar
Karena peningkatan investasi dan pengembangan teknologi PIM, pasar sekarang pada tahun 2021 melihat HBM-PIM pertama yang dapat diprogram sepenuhnya dari jenisnya untuk menggabungkan pemrosesan data paralel dan DRAM berkinerja tinggi, semuanya pada bagian silikon yang sama.
HBM-PIM baru ini, berdasarkan spesifikasi HBM2 standar JEDEC dan disempurnakan dengan arsitektur PIM, telah terbukti sangat berhasil dalam memenuhi tuntutan aplikasi AI – dan sebagai hasilnya, produsen sudah berencana untuk memasukkan teknologi PIM ke dalam teknologi HBM3 masa depan. .
Pada garis waktu Semikonduktor inovasi, tampaknya dunia akhirnya melewati titik di mana bandwidth adalah faktor pembatas utama dalam kinerja AI dan ML. Sekarang kita benar-benar dapat mulai melihat teknologi luar biasa ini berkembang.
Richard Walsh telah bekerja di divisi memori Samsung Semikonduktor Eropa selama 25 tahun terakhir, meliputi DRAM, NAND dan NOR flash, serta teknologi lainnya. Beliau meraih gelar Sarjana Teknik di bidang Elektronika, Perangkat Keras Komputer dan Perangkat Lunak dari Universitas Limerick.
Lihat juga: Teknologi yang mendukung masa depan kecerdasan buatan