UCIe 및 BoW 상호 연결은 칩렛에서 생성 AI를 어떻게 지원합니까?

업데이트: 26년 2024월 XNUMX일 태그 :아키텍처환경el전자icltNECtechnology

BoW(와이어 묶음) 및 UCIe(Universal Chiplet Interconnect Express) 표준은 설계자에게 처리량, 상호 연결 밀도, 지연 및 범프 피치 측면에서 절충안을 제공합니다.

이 FAQ에서는 BoW와 UCIe의 성능을 비교하고 광학 상호 연결이 칩렛에서 훨씬 더 높은 성능의 상호 연결에 대한 경로를 제공할 수 있는 방법을 살펴봅니다.

생성적 인공 지능(AI), 머신 러닝(ML) 및 기타 고성능 컴퓨팅(HPC) 애플리케이션에 대한 최적의 성능을 실현하기 위해 설계자는 AI 가속기, GPU, CPU, 메모리 및 네트워킹을 하나의 솔루션으로 결합할 수 있는 칩셋으로 전환하고 있습니다. 단일 패키지. 칩렛에서 이기종 장치를 상호 연결하는 것은 특히 어려울 수 있습니다.

BoW는 OCP(오픈 컴퓨팅 프로젝트) 조직 내 ODSA(오픈 도메인 특정 아키텍처) 워킹 그룹에 의해 개발되었습니다. BoW의 목표는 낮은 구현 비용, 다양한 IC 프로세스 노드와의 호환성, 저전력, 낮은 대기 시간, 저비용 라미네이트 및 고성능 실리콘과 같은 칩셋을 조립하는 데 사용되는 다양한 패키징 기술을 지원하는 기능을 제공하는 것입니다. 기반 인터포저.

BoW 2.0은 최신 버전으로 512레인 슬라이스당 최고 속도를 16Gbps(초당 기가비트)로 두 배 늘렸습니다. 업데이트된 표준은 또한 대체 접근 방식에 비해 최대 90%의 전력을 절약할 수 있는 게이트 클록 및 데이터 라인 비활성 모드, 상호 연결 공간이 제한된 소형 다이를 위한 절반 폭 슬라이스, 사이드밴드 슬라이스를 사용한 채널 관리, 방향 구성을 통해 에너지 효율성을 개선했습니다. 상호 연결의 견고성을 향상시키기 위해 양방향 슬라이스 및 범프 중복성을 갖춘 채널 전반에 걸쳐.

한 경우에는 BoW PHY 표준을 사용하여 DIMC(Digital In-Memory-Compute) 칩렛이 개발되었습니다. BoW의 낮은 대기 시간은 LLM(대형 언어 모델)을 사용하여 AI 추론을 지원합니다. 새로운 칩셋 솔루션은 고성능 GPU에 비해 ​​메모리 대역폭이 40배 향상되었습니다. 메모리 대역폭이 높을수록 생성 추론 애플리케이션에 대한 처리량이 늘어나고 대기 시간이 짧아지며 총 비용은 최소화됩니다.

표시된 대로 BoW는 생성 AI 및 기타 HPC 애플리케이션을 위한 고성능 상호 연결을 지원합니다. 더 많은 성능이 필요한 경우 설계자는 UCIe를 고려할 수 있습니다.

UCIe 비교 방법
UCIe 사양에는 D2D(die-to-die) I/O 물리 계층, D2D 프로토콜 및 소프트웨어 스택이 포함됩니다. UCIe는 PCI Express(PCIe) 및 Compute Express Link(CXL) 산업 표준을 활용합니다. 최신 버전의 BoW와 마찬가지로 UCIe 1.1에는 높은 신뢰성을 지원하는 중복성이 포함되어 있습니다. 또한 UCIe 1.1은 자율주행차의 AI 지원을 확대했습니다. UCIe 1.1의 다른 변경 사항은 다음과 같습니다.

  • 규정 준수 테스트를 개선하기 위한 아키텍처 개선.
  • 스트리밍 프로토콜을 위한 전체 링크 계층 기능으로 동시 다중 프로토콜을 지원합니다.
  • 자동차 및 고신뢰성 애플리케이션을 위한 런타임 상태 모니터링 및 수리.
  • 새로운 범프 맵은 저렴한 패키징을 지원합니다.

UCIe는 BoW에 비해 약간 더 높은 성능을 지원합니다. UCIe와 BoW는 일반적으로 비슷하지만 UCIe는 더 높은 밀도의 애플리케이션에 최적화되었습니다(표 1).

표 1. UCIe와 BoW는 비슷한 수준의 성능을 제공하지만 UCIe는 더 높은 밀도의 애플리케이션을 지원할 수 있습니다(표: 운율).

BoW는 주로 칩렛 내부에서 사용하도록 설계되었지만 UCIe는 두 가지 사용 사례에 맞게 설계되었습니다. BoW와 마찬가지로 UCIe는 칩셋 내부에서 전력 효율이 높고 밀도가 높으며 비용 효율적인 상호 연결을 지원하도록 설계되었습니다. 또한 UCIe는 랙 수준 이상에서 PCIe 또는 CXL과 같은 기본 프로토콜에 대한 리타이머를 사용하는 광학 및 전기 상호 연결을 사용하여 오프 패키지 연결을 지원하도록 설계되었습니다.

칩렛 외부 연결을 위해 UCIe를 사용하는 경우 보안이 문제가 될 수 있습니다. 이에 대응하여 UCIe 컨소시엄은 칩렛 및 멀티다이 생태계의 보안 강화에 초점을 맞춘 하위 작업 그룹을 설립했습니다. 이러한 노력은 칩렛 내부의 여러 보안 문제를 해결하고 칩렛을 외부 세계에 연결하는 데 도움이 될 것입니다. 증가하는 보안 문제를 해결하기 위해 안전한 AI 기반 핵심 프로토콜 계층이 제안되었습니다(그림 1). 칩셋이 자동차 시스템, AI, ML, HPC 애플리케이션에서 사용이 확대되면서 보안에 대한 필요성도 커질 것으로 예상됩니다.

그림 1. UCIe에는 보안 요구 사항을 해결하기 위해 안전한 AI 기반 프로토콜 계층이 포함될 수 있습니다(이미지: UCIexpress.org).

요약
BoW와 UCIe는 모두 칩렛 상호 연결에 대해 높은 수준의 성능과 중복성을 지원합니다. UCIe는 더 높은 밀도의 솔루션을 제공할 수 있습니다. BoW는 주로 칩렛 내부에서 사용하도록 설계된 반면, UCIe는 칩렛 내부, 칩렛과 외부 시스템 간의 통신을 지원할 수 있습니다.

참고자료
BoW(Bunch of Wires) PHY 사양, 오픈 컴퓨팅 프로젝트
디자인과 technology 이종 칩렛 통합을 위한 공간, 솔루션 설계
생성적 AI 컴퓨팅 선두주자 d-Matrix, 효율적인 AI 추론 부문에서 새로운 이정표를 달성한 d-Matrix
새로운 영역 확보: 칩렛 및 하드웨어 보안 과제, UCIexpress.org
BoW(The Bunch of Wires) – 칩렛 아키텍처를 지원하는 오픈 소스 물리적 인터페이스, IEEE 전자 패키징 협회
UCIe 표준: 이점 및 요구 사항 설명, Synopsys
Universal Chiplet Interconnect Express(UCIe)®: 성공적인 칩렛 생태계 개발을 위한 개방형 표준, IEEE Electronics Packaging Society
Chiplet 상호 연결에는 어떤 데이터 인터페이스가 사용됩니까?, Cadence