แต่ตอนนี้เราอยู่ในจุดที่สิ่งต่าง ๆ จะต้องเปลี่ยนไป แอปพลิเคชันที่ใช้ปัญญาประดิษฐ์ เช่น เครื่องมือแนะนำ การจัดประเภทรูปภาพ และการประมวลผลภาษาธรรมชาติมีอยู่ทั่วไปในโทรศัพท์ ลำโพงอัจฉริยะ ยานพาหนะ อุปกรณ์สวมใส่ และที่บ้าน และนั่นเป็นเพียง AI แมชชีนเลิร์นนิง ความเป็นจริงเสมือน การเล่นเกมยุคใหม่ และแอปพลิเคชันที่เข้มข้นอื่นๆ พร้อมให้คุณใช้งานแล้ว
แอปพลิเคชันทั้งหมดเหล่านี้กำลังสร้างความต้องการที่ไม่เคยมีมาก่อนบน HBM ซึ่งไม่สามารถปรับปรุงต่อไปได้ตามที่เทคโนโลยีใหม่เหล่านี้ต้องการ แอปพลิเคชันเหล่านี้ไม่เพียงแต่ต้องประมวลผลข้อมูลจำนวนมากเท่านั้น แต่ยังต้องดำเนินการให้เร็วขึ้นและดีขึ้นด้วย และการปรับปรุงยังต้องมาอย่างรวดเร็ว อัลกอริทึมต้องการอัตราการเข้าถึงที่สูงสำหรับความจุข้อมูลขนาดใหญ่
ในระบบแบบดั้งเดิม แบนด์วิดท์หน่วยความจำและการใช้พลังงานจะจำกัดประสิทธิภาพและความสามารถของแอปพลิเคชัน AI และ ML ในท้ายที่สุด แล้วอุตสาหกรรมจำเป็นต้องทำอะไรต่อจากนี้เพื่อรองรับคนรุ่นต่อไป เทคโนโลยี?
PIM ช่วยชีวิต
แนวคิดในการใช้เทคโนโลยีการประมวลผลในหน่วยความจำ (PIM) กับ HBM ได้รับการกล่าวถึงว่าเป็นวิธีการเอาชนะข้อจำกัดทางเทคนิคมานานกว่า 30 ปี
ด้วยการวางเอ็นจิ้น AI ที่ปรับให้เหมาะสมกับ DRAM ในแต่ละธนาคารหน่วยความจำ (หน่วยย่อยการจัดเก็บข้อมูล) HBM-PIM จะเพิ่มพลังการประมวลผลตรงที่ข้อมูลถูกจัดเก็บ - ปูทางสำหรับการประมวลผลแบบขนานในขณะที่ลดปริมาณการเดินทางที่ข้อมูลต้องทำ .
สำหรับผู้จัดการไอที สถาปนิกระบบศูนย์ข้อมูล และสถาปนิก GPU สถาปัตยกรรมประเภทนี้แสดงถึงโอกาสที่ดี ตัวอย่างเช่น วิศวกรซอฟต์แวร์สามารถเขียนคำสั่งง่ายๆ เพื่อใช้ประโยชน์จากหน่วยคำนวณที่ตั้งโปรแกรมได้ของ HBM-PIM เพื่อปรับปรุงความเร็วของปริมาณงานที่ซ้ำกันที่แปลเป็นภาษาท้องถิ่น
ยังคงกว้างกว่า HBM-PIM ให้ประสิทธิภาพระบบมากกว่า HBM แบบเดิมถึงสองเท่าในขณะที่ลดการใช้พลังงานลงกว่า 60% และเป็นโบนัสพิเศษที่ยอดเยี่ยม HBM-PIM ไม่จำเป็นต้องปรับแต่งฮาร์ดแวร์หรือซอฟต์แวร์ใด ๆ ซึ่งหมายความว่าวิศวกรสามารถฝังลงในระบบที่มีอยู่ได้อย่างราบรื่น
แม้จะมีประโยชน์ที่ชัดเจนเหล่านี้ แต่ก็ไม่ใช่สถาปัตยกรรมที่ง่ายสำหรับอุตสาหกรรมที่จะสร้าง จนกระทั่งเมื่อไม่นานนี้ ผู้ผลิตชิปงานจำเป็นต้องเอาชนะความท้าทายทางเทคนิคเมื่อไม่กี่ปีที่ผ่านมามากเกินไป และผลที่ตามมาก็คือความคืบหน้าช้าในช่วงหลายปีที่ผ่านมา
ทำไม? ปัญหาของเทคโนโลยี PIM คือเนื่องจากวิธีการเชื่อมโยงหน่วยความจำและตรรกะ วิศวกรจึงต้องเผชิญกับการแลกเปลี่ยนระหว่างความหนาแน่นของการจัดเก็บข้อมูลในกระบวนการที่ปรับให้เหมาะสมกับหน่วยความจำและ ทรานซิสเตอร์ ประสิทธิภาพในกระบวนการที่เหมาะสมกับตรรกะ
เป็นผลให้ประสิทธิภาพและความสามารถของอุปกรณ์ PIM อยู่ในระดับต่ำเมื่อเทียบกับอุปสรรคทางเทคนิคและต้นทุนของการผสานรวม ดังนั้นสถาปัตยกรรมฟอนนอยมันน์แบบดั้งเดิมจึงได้รับชัยชนะ ซึ่งใช้โปรเซสเซอร์และหน่วยหน่วยความจำแยกกันเพื่อดำเนินการประมวลผลข้อมูลที่ซับซ้อนนับล้าน แต่น่าผิดหวังที่วิธีการประมวลผลแบบต่อเนื่องนี้จะย้ายข้อมูลไปมาอย่างต่อเนื่อง ทำให้เกิดปัญหาคอขวดเมื่อต้องจัดการกับปริมาณข้อมูลที่เพิ่มขึ้นเรื่อยๆ
แต่มีข่าวดี การเพิ่มจำนวนขึ้นของปัญญาประดิษฐ์และแอปพลิเคชันการเรียนรู้ด้วยเครื่องช่วยกระตุ้นการลงทุนและการพัฒนาเทคโนโลยี PIM เพียงเพราะเทคโนโลยีเหล่านี้มีอยู่จริง และหน่วยความจำจำเป็นต้องปรับให้เข้ากับพวกเขา มากกว่าที่จะหันไปทางอื่น
และมันก็สมเหตุสมผล เทคโนโลยี PIM เป็นเทคโนโลยีที่สมบูรณ์แบบในการจัดการเวิร์กโหลด AI และ ML ด้วยเคอร์เนลที่ปรับให้เหมาะสมซึ่งช่วยลดการเคลื่อนไหวของข้อมูลโดยการทำแผนที่การเข้าถึงข้อมูลด้วยระดับพื้นที่และเวลาในระดับสูงสำหรับการประมวลผลพร้อมกันในธนาคาร (ขนาน) ของหน่วยความจำประสิทธิภาพสูง อุปกรณ์. ด้วยการทำงานในลักษณะนี้ PIM จะจัดการกับปัญหาคอขวดทั่วไปของแบนด์วิดท์หน่วยความจำ CPU/GPU ปรับปรุงประสิทธิภาพและความสามารถโดยรวมของแอปพลิเคชัน AI และ ML
ความก้าวหน้าของตลาด
เนื่องจากการลงทุนและการพัฒนาเทคโนโลยี PIM ที่เพิ่มขึ้น ตลาดจึงเริ่มในปี 2021 โดยจะเห็น HBM-PIM แบบตั้งโปรแกรมได้เต็มรูปแบบตัวแรกในประเภทนี้ที่รวมการประมวลผลข้อมูลแบบคู่ขนานประสิทธิภาพสูงและ DRAM ทั้งหมดไว้ในซิลิคอนชิ้นเดียวกัน
HBM-PIM ใหม่เหล่านี้ซึ่งอิงตามข้อกำหนด HBM2 มาตรฐาน JEDEC และปรับปรุงด้วยสถาปัตยกรรม PIM ได้รับการพิสูจน์แล้วว่าประสบความสำเร็จอย่างมากในการตอบสนองความต้องการของแอปพลิเคชัน AI และด้วยเหตุนี้ผู้ผลิตจึงวางแผนที่จะรวมเทคโนโลยี PIM เข้ากับเทคโนโลยี HBM3 ในอนาคต .
บนไทม์ไลน์ของ สารกึ่งตัวนำ นวัตกรรม ดูเหมือนว่าในที่สุดโลกจะผ่านจุดที่แบนด์วิดธ์เป็นปัจจัยจำกัดที่สำคัญในประสิทธิภาพของ AI และ ML ตอนนี้เราสามารถเริ่มเห็นเทคโนโลยีอันน่าทึ่งเหล่านี้เจริญงอกงามได้แล้ว
Richard Walsh ทำงานอยู่ในแผนกหน่วยความจำของ Samsung สารกึ่งตัวนำ ยุโรปในช่วง 25 ปีที่ผ่านมา ครอบคลุม DRAM, NAND และ NOR flash รวมถึงเทคโนโลยีอื่นๆ เขาสำเร็จการศึกษาระดับปริญญาตรีสาขาวิศวกรรมศาสตร์สาขาอิเล็กทรอนิกส์ คอมพิวเตอร์ฮาร์ดแวร์ และซอฟต์แวร์จากมหาวิทยาลัย Limerick
ดูสิ่งนี้ด้วย: เทคโนโลยีที่ขับเคลื่อนอนาคตของปัญญาประดิษฐ์