MLPerf Inference v4.1의 출시로 데이터 센터 추론에 주목이 집중되었으며, 엣지 결과는 단 40개만 제출되었습니다. NVIDIA의 B200은 AMD의 MI300X보다 여러 벤치마크에서 우수한 성능을 보였으며, AMD는 1개에서 8개 MI300X GPU까지의 경쟁력 있는 확장을 주장했지만, 실제 성능 차이는 뚜렷했습니다. MI300X는 750W에서 작동하는 반면, B200은 1000W에서 작동하여 NVIDIA에 유리한 성능 격차를 보여주었습니다. 또한, UntetherAI는 여섯 개의 speedAI240 Slim 가속기를 사용하여 여덟 개의 NVIDIA H200에 비해 높은 전력당 성능을 달성하며 인상적인 결과를 보여주었지만, 전체적인 처리량은 낮았습니다. 이 기사는 AI 애플리케이션이 실제 시나리오에서 널리 사용되고 있는 점을 고려할 때 엣지 장치 결과의 부재가 이례적이라고 언급합니다. 새로운 하드웨어로는 AMD EPYC 'Turin', 인텔 'Granite Rapids', 구글 TPU v6e/v5e, NVIDIA Grace가 포함되어 있으며, 이는 데이터 센터 기술의 지속적인 발전을 나타냅니다.
성능 지표는 고급 추론 시장에서 NVIDIA의 우위를 강조하며, AMD의 차기 MI325X가 NVIDIA의 H200과 경쟁할 것으로 예상됩니다. 결과는 AMD가 진전을 이루고 있지만, 현재 NVIDIA의 제품이 특히 전력 제한 환경에서 성능 면에서 여전히 앞서 있다는 것을 시사합니다. UntetherAI의 결과는 AI 가속기 분야에서 경쟁이 치열해지고 있음을 나타내며, 원시 성능뿐만 아니라 효율성의 중요성을 강조합니다.
* 이 글은
servethehome.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.