엔프라리카(Enfabrica)는 엔비디아의 지원을 받는 스타트업으로, 이더넷 연결을 통해 서버에 최대 18TB의 DDR5 메모리를 추가할 수 있는 엠파시스(Emfasys) 시스템을 개발했습니다. 이 혁신은 AI 애플리케이션의 RAM 용량 병목 현상을 해결하며, 원격 직접 메모리 접근(Remote Direct Memory Access, RDMA)을 사용하여 표준 400G 또는 800G 이더넷 포트를 통해 기존 GPU 서버와의 원활한 통합을 가능하게 합니다. 엠파시스(Emfasys) 시스템은 3.2 Tb/s의 처리량을 가진 ACF-S 슈퍼닉(ACF-S SuperNIC)을 활용하여 CPU 개입 없이 저지연 메모리 접근을 지원합니다.
엠파시스 메모리 풀은 긴 프롬프트와 대규모 컨텍스트 윈도우를 요구하는 현대 AI 작업의 증가하는 메모리 수요를 충족하도록 설계되었습니다. 외부 메모리 풀을 제공함으로써 데이터 센터 운영자들은 AI 서버의 메모리를 유연하게 확장할 수 있어 자원 활용도를 개선하고 인프라 비용을 절감할 수 있습니다. 엔프라리카는 이 설정이 높은 회전율과 긴 컨텍스트를 가진 시나리오에서 AI 생성 토큰당 비용을 최대 50% 낮출 수 있으며, 서버 간 토큰 생성 작업을 보다 고르게 분산시켜 병목 현상을 제거할 수 있다고 주장합니다.
CEO 로찬 상카르(Rochan Sankar)는 AI 추론에서 메모리 대역폭과 마진 스태킹 문제를 해결하기 위한 혁신적인 솔루션의 필요성을 강조하며, 엠파시스(Emfasys)가 탄력적이고 랙 규모의 AI 메모리 패브릭을 만드는 것을 목표로 하고 있다고 밝혔습니다. 현재 엠파시스 시스템과 ACF-S 슈퍼닉(ACF-S SuperNIC) 칩은 일부 고객에 의해 테스트되고 있으며, 일반 출시 일정은 아직 발표되지 않았습니다. 엔프라리카는 또한 울트라 이더넷 컨소시엄(Ultra Ethernet Consortium) 및 울트라 가속기 링크 컨소시엄(Ultra Accelerator Link Consortium)과 협력하고 있어 이더넷 기반 메모리 솔루션의 발전에 대한 의지를 나타내고 있습니다.
* 이 글은
tomshardware.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.