최신 MLPerf 추론 벤치마크에서는 AMD의 Instinct MI300X와 Epyc 'Turin', 인텔의 Xeon 'Granite Rapids', 엔비디아의 B200 'Blackwell', 그리고 구글의 TPUv6 등 여러 신제품이 소개되었습니다. 이는 이 테스트에서 이렇게 많은 미출시 제품이 포함된 첫 사례로, 성능 평가의 경계를 확장하려는 이 벤치마크의 목표를 보여줍니다.
AMD는 주요 산업 벤치마크에 참여하지 않아 비판을 받은 후, 마침내 벤치마크 결과를 발표했습니다. MI300X는 엔비디아의 제품과 경쟁하지만, 특히 엔비디아의 H100 및 다가오는 H200 모델과 비교할 때 결과가 다소 실망스럽습니다. AMD는 MLPerf 테스트에서의 매개변수 처리 방식 차이를 이 결과의 원인으로 설명하며, 소프트웨어 업데이트를 통해 이러한 문제를 해결할 계획입니다.
엔비디아는 H100 및 H200 시스템이 성능 차트에서 선두를 달리며 벤치마크 분야에서 여전히 지배적인 위치를 유지하고 있습니다. MLPerf 결과는 모든 참여 제조업체에 의해 검증되어 투명성과 정확성을 보장합니다.
벤치마크에는 엔비디아의 블랙웰 아키텍처에 대한 미리보기도 포함되어 있으며, 곧 출시될 예정입니다. B200 GPU는 H100보다 4배 빠른 성능을 보이며, 8-GPU 서버 설정에서 초당 약 80,000 토큰의 결과를 낼 것으로 예상됩니다. 이 성능 향상은 상당하며, 다가오는 출시를 위한 높은 기대를 설정합니다.
인텔의 그래나이트 래피드도 등장하여, 이전 모델보다 1.9배 향상된 성능을 달성하는 Xeon 6980P의 미리보기를 보여줍니다. 이는 최대 128개의 코어 수 증가와 일치합니다. 인텔은 이 새로운 프로세서의 출시 이벤트를 9월로 확정했습니다.
구글의 6세대 TPU인 트릴리움도 벤치마크에 포함되었지만, 아직 이론적 성능 목표에 도달하지는 못했습니다. TPU는 이전 모델에 비해 특정 AI 작업에서 상당한 개선을 보여주며 가능성을 보이고 있습니다.
전반적으로 MLPerf 벤치마크는 다양한 제조업체 간의 AI 성능을 보다 명확하게 보여주어 기업들이 시장에서 자사 제품을 더 잘 포지셔닝할 수 있도록 돕습니다. 엔비디아가 성능 리더로 남아 있는 가운데, AMD와 인텔은 가격과 효율성을 기반으로 경쟁 역학을 변화시킬 수 있는 진전을 이루고 있습니다.
모든 테스트된 솔루션의 최종 결과는 ML Commons 웹사이트에서 확인할 수 있으며, 이 벤치마크에 대한 포괄적인 자료로 활용됩니다.
* 이 글은
computerbase.de의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.