Nhưng chúng ta đang ở thời điểm mà mọi thứ phải thay đổi. Các ứng dụng dựa trên trí tuệ nhân tạo như công cụ đề xuất, phân loại hình ảnh và xử lý ngôn ngữ tự nhiên có ở khắp mọi nơi - trong điện thoại, loa thông minh, xe cộ, thiết bị đeo được và nhà cửa. Và đó chỉ là AI. Máy học, thực tế ảo, trò chơi thế hệ tiếp theo và các ứng dụng chuyên sâu khác đều ở đây để tồn tại.
Tất cả các ứng dụng này hiện đang đặt ra những yêu cầu chưa từng có đối với HBM, điều này chỉ đơn giản là không thể tiếp tục cải tiến với tốc độ mà những công nghệ mới này cần. Các ứng dụng này không chỉ cần xử lý một lượng lớn dữ liệu mà còn cần phải xử lý nhanh hơn và tốt hơn, và các cải tiến cần phải nhanh chóng đến. Các thuật toán yêu cầu tốc độ truy cập cao đối với dung lượng dữ liệu lớn.
Trong các hệ thống truyền thống, băng thông bộ nhớ và mức tiêu thụ điện năng cuối cùng đang hạn chế hiệu suất và khả năng của các ứng dụng AI và ML. Vậy ngành cần làm gì từ đây để hỗ trợ thế hệ tiếp theo công nghệ?
PIM để giải cứu
Ý tưởng sử dụng công nghệ xử lý trong bộ nhớ (PIM) với HBM đã được nói đến như một cách để vượt qua các hạn chế kỹ thuật trong hơn 30 năm.
Bằng cách đặt một công cụ AI được tối ưu hóa DRAM bên trong mỗi ngân hàng bộ nhớ (một đơn vị con lưu trữ), HBM-PIM bổ sung sức mạnh xử lý chính xác nơi dữ liệu được lưu trữ - mở đường cho quá trình xử lý song song trong khi giảm lượng di chuyển dữ liệu cần phải làm .
Đối với các nhà quản lý CNTT, kiến trúc sư hệ thống trung tâm dữ liệu và kiến trúc sư GPU, loại kiến trúc này đại diện cho một cơ hội lớn. Ví dụ: các kỹ sư phần mềm có thể viết các lệnh đơn giản để tận dụng đơn vị tính toán có thể lập trình được của HBM-PIM để cải thiện tốc độ của khối lượng công việc lặp lại được bản địa hóa.
Rộng hơn nữa, HBM-PIM mang lại hiệu suất hệ thống cao hơn gấp đôi so với HBM truyền thống đồng thời cắt giảm mức sử dụng năng lượng hơn 60%. Và như một phần thưởng bổ sung tuyệt vời, HBM-PIM không cần bất kỳ chỉnh sửa nào về phần cứng hoặc phần mềm, có nghĩa là các kỹ sư có thể nhúng nó vào các hệ thống hiện có một cách liền mạch.
Bất chấp những lợi ích rõ ràng này, nó không phải là một kiến trúc dễ dàng xây dựng cho ngành công nghiệp. Cho đến gần đây, công việc mà các nhà sản xuất chip cần phải thực hiện để vượt qua những thách thức kỹ thuật cách đây vài năm là quá nhiều - và kết quả là tiến độ đã chậm lại trong những năm qua.
Tại sao? Vấn đề với công nghệ PIM là do cách nó liên kết bộ nhớ và logic, các kỹ sư luôn phải đối mặt với sự đánh đổi giữa mật độ lưu trữ trong một quy trình tối ưu hóa bộ nhớ và Transistor hiệu suất trong một quy trình tối ưu hóa logic.
Do đó, hiệu suất và khả năng của các thiết bị PIM ở mức thấp so với trở ngại kỹ thuật và chi phí của việc tích hợp. Và do đó, kiến trúc von Neumann truyền thống đã thịnh hành, sử dụng các bộ xử lý và bộ nhớ riêng biệt để thực hiện hàng triệu tác vụ xử lý dữ liệu phức tạp. Nhưng thật khó chịu, phương pháp xử lý tuần tự này khiến dữ liệu di chuyển qua lại liên tục, gây ra tắc nghẽn khi xử lý khối lượng dữ liệu ngày càng tăng.
Nhưng đó là tin tốt. Sự gia tăng của trí tuệ nhân tạo và các ứng dụng học máy đã thúc đẩy đầu tư trở lại và sự phát triển của công nghệ PIM - đơn giản vì những công nghệ này luôn tồn tại ở đây và bộ nhớ cần phải thích ứng để thích ứng với chúng, chứ không phải ngược lại.
Và nó có ý nghĩa. Công nghệ PIM là công nghệ hoàn hảo để xử lý khối lượng công việc AI và ML, với các hạt nhân được tối ưu hóa giúp giảm sự di chuyển của dữ liệu bằng cách ánh xạ các truy cập dữ liệu với mức độ định vị không gian và thời gian cao để xử lý đồng thời trong các ngân hàng (song song) của bộ nhớ hiệu suất cao thiết bị. Bằng cách làm việc theo cách này, PIM giải quyết điểm nghẽn điển hình của băng thông bộ nhớ CPU / GPU, cải thiện hiệu suất và khả năng tổng thể của ứng dụng AI và ML.
Đột phá thị trường
Do sự tăng cường đầu tư và phát triển của công nghệ PIM, thị trường hiện đang vào năm 2021 chứng kiến HBM-PIM hoàn toàn có thể lập trình đầu tiên của loại hình này để kết hợp xử lý dữ liệu song song, hiệu suất cao và tất cả DRAM trên cùng một miếng silicon.
Những HBM-PIM mới này, dựa trên đặc điểm kỹ thuật HBM2 tiêu chuẩn JEDEC và được cải tiến với kiến trúc PIM, đã chứng tỏ thành công rực rỡ trong việc đáp ứng nhu cầu của các ứng dụng AI - và do đó, các nhà sản xuất đã lên kế hoạch đưa công nghệ PIM vào công nghệ HBM3 trong tương lai .
Trên dòng thời gian của Semiconductor đổi mới, có vẻ như thế giới cuối cùng đã vượt qua thời điểm mà băng thông là yếu tố hạn chế chính trong hiệu suất AI và ML. Bây giờ chúng ta thực sự có thể bắt đầu thấy những công nghệ đáng kinh ngạc này phát triển mạnh mẽ.
Richard Walsh đang làm việc trong bộ phận bộ nhớ của Samsung Semiconductor Châu Âu trong 25 năm qua, bao gồm DRAM, NAND và NOR flash, cùng các công nghệ khác. Ông có bằng Cử nhân Kỹ thuật về Điện tử, Phần cứng và Phần mềm Máy tính của Đại học Limerick.
Xem thêm: Các công nghệ thúc đẩy tương lai của trí tuệ nhân tạo