SK Hynix는 Hot Chips 2024에서 AiMX-xPU와 LPDDR-AiM을 통해 인메모리 컴퓨팅의 발전을 선보이며, 대형 언어 모델(LLM) 추론을 목표로 하고 있습니다. 이 혁신적인 접근 방식은 메모리 내에서 직접 메모리 관련 변환이 이루어지도록 하여, 데이터가 인터커넥트를 통과할 필요를 없애 전력 효율성과 속도를 향상시킵니다.
회사는 Xilinx Virtex FPGA와 특수 GDDR6 AiM 패키지를 활용한 GDDR6 가속기 메모리 카드를 발표했습니다. 특히 SK Hynix는 32개의 AiM 패키지를 사용하여 메모리 용량을 32GB로 두 배 늘렸지만, 이는 여전히 프로토타입 용량으로 간주됩니다. 향후 시연에서는 Llama-3가 포함될 예정이며, 카드당 메모리 용량을 최대 256GB까지 확장할 계획입니다.
SK Hynix는 또한 일반적으로 배치 크기가 작아 메모리 바운드 작업 부하를 발생시키는 온디바이스 인공지능을 탐색하고 있습니다. 이러한 변화는 시스템 온 칩(SoC)에서 처리를 이동시켜 에너지 효율적인 컴퓨팅을 가능하게 하여 다이 공간을 절약합니다. 회사는 기존 LPDDR 명령을 변경하거나 성능에 부정적인 영향을 미치지 않으면서 LPDDR5-AiM을 최적화할 계획이며, 모바일 장치와의 통합 가능성도 모색하고 있습니다.
그러나 일반 LPDDR 메모리 사용과 컴퓨팅 수요 간의 균형을 맞추고, 열 및 전력 요구 사항을 해결하는 등의 도전 과제가 남아 있습니다. AiM 프로그래밍 또한 도전 과제가 됩니다. SK Hynix는 GDDR6 AiM이 다이 면적의 약 20%를 차지한다고 언급하며, 이 기술의 통합이 상당하다는 점을 시사했습니다.
전반적으로 이 기술은 가능성을 보여주지만, 주류가 되기 위해서는 주요 SoC 또는 칩 공급업체의 채택이 필요할 것으로 보입니다. 인메모리 컴퓨팅의 잠재력은 상당하지만, 프로토타입에서 제품으로의 전환은 아직 지켜봐야 할 사항입니다.
* 이 글은
servethehome.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.