FuriosaAI는 지속 가능한 AI 컴퓨팅을 목표로 하는 RNGD 프로세서를 소개했습니다. 이는 AI 플랫폼에서 전력을 극대화하는 추세와 대조되는 솔루션입니다. RNGD 프로세서는 낮은 전력 소비를 위해 설계되었으며, 열 설계 전력(TDP)이 단 150W에 불과해 공랭식 데이터 센터에 적합합니다.
RNGD 프로세서는 12층 HBM3와 TSMC CoWoS-S 기술을 활용하여 5nm 공정으로 제작되었습니다. NVIDIA의 H100이나 B100과 같은 경쟁 제품과는 달리, FuriosaAI는 NVIDIA L40S와 유사한 성능을 제공하면서도 전력 소비를 줄이는 데 중점을 두고 있습니다. RNGD 프로세서의 효율성은 하드웨어, 소프트웨어 및 알고리즘 혁신의 조합을 통해 달성됩니다.
RNGD 프로세서의 주요 특징 중 하나는 텐서 수축(tensor contraction)에 중점을 두고 있다는 점입니다. 이는 BERT와 같은 모델에서 1초당 부동 소수점 연산(FLOPS)의 99% 이상을 차지하는 중요한 작업입니다. 이 접근 방식은 전통적인 행렬 곱셈에서 텐서 수축으로 추상화 계층을 전환하여 성능과 효율성을 향상시킵니다.
FuriosaAI는 텐서 수축을 위한 저수준 einsum 연산을 구현하여 아키텍처의 메모리 및 계산 유닛에서 더 나은 스케줄링을 가능하게 했습니다. 또한, 아키텍처는 효율성과 활용도를 개선하기 위해 공간적 및 시간적 조정을 지원하며, 다양한 배치 크기에 적응할 수 있습니다.
RNGD 프로세서는 칩 간 통신을 위한 PCIe Gen5 xq6를 특징으로 하며, 가상화를 위한 SR-IOV를 지원합니다. 회사는 신호 및 전력 무결성을 강조하여 신뢰성을 보장하고 있습니다. 또한, FuriosaAI의 컴파일러는 성능과 에너지 효율성을 위해 AI 모델을 최적화하며, FP8 및 INT4를 포함한 다양한 형식을 지원합니다.
요약하자면, FuriosaAI의 RNGD 프로세서는 혁신적인 기술을 활용하여 성능을 희생하지 않으면서도 낮은 전력 소비를 실현하는 지속 가능한 AI 컴퓨팅을 향한 중요한 진전을 나타냅니다.
* 이 글은
servethehome.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.