IT
Hot Chips 2026에서 공개된 생성형 추론을 위한 d-Matrix의 Raptor 3D-DRAM 가속기
AI 심화 요약
디매트릭스(d-Matrix)는 핫칩스 2026에서 생성형 AI 추론을 위한 랩터 3D-DRAM 가속기를 발표했습니다. 현재 AI 모델의 가중치와 KV 캐시 용량이 급증하면서 기존 방식인 SRAM은 용량 제한, HBM은 대역폭과 전력 효율 문제라는 한계에 직면했습니다. 디매트릭스는 연산 장치를 DRAM 다이 위에 직접 적층하는 3D-DRAM 기술로 이 문제를 해결하고자 합니다. 이는 기존 HBM보다 약 10배 낮은 전력 소모(0.3~0.4 pJ)를 구현하며, 칩 간 통신 경로를 획기적으로 단축해 에너지 효율을 극대화합니다. 열 관리 기술을 통해 DRAM 온도를 100도 이하로 유지하며, AI 추론 환경에서 용량과 대역폭이라는 두 마리 토끼를 동시에 잡는 효율적인 대안을 제시했습니다.
핵심 요약 (3줄)
• d-Matrix는 생성형 AI 추론의 용량 및 대역폭 문제를 해결하기 위해 3D-DRAM 기술을 적용한 Raptor 가속기를 공개함. • 기존 SRAM은 대역폭은 우수하나 용량이 작고, HBM은 용량은 크나 전력 소모와 대역폭 확장에 한계가 있음. • Raptor 3D-DRAM은 연산 장치를 DRAM 위에 직접 적층하여 PHY-less 경로를 통해 HBM 대비 에너지 효율을 약 10배 개선함.