NVIDIA의 Blackwell AI 칩이 MLPerf v4.1에서 기록적인 데뷔를 하며, Llama 2 70B와 Stable Diffusion 등 모든 AI 벤치마크에서 최고 성능을 달성했습니다. Blackwell 칩은 세대 성능을 최대 4배 향상시킬 것을 약속하며, 단일 GPU가 서버 작업에서 초당 10,756 토큰, 오프라인 시나리오에서 초당 11,264 토큰을 처리할 수 있습니다. Hopper H100과 H200 칩은 계속해서 뛰어난 성능을 발휘하며 AMD의 MI300X를 초월하고 있으며, H200은 Llama 2 성능에서 H100 대비 50% 향상된 결과를 보여줍니다. H200 구성은 1000W에서 오프라인 34,864 토큰, 서버 32,790 토큰을 생성하며, 700W에서는 오프라인 31,303 토큰, 서버 30,128 토큰을 기록합니다. 다중 GPU 테스트에서는 H100과 H200이 각각 최대 59,022와 52,416 토큰/초를 제공합니다. NVIDIA의 소프트웨어 최적화는 모든 MLPerf 릴리스에서 성능을 크게 향상시켜 Hopper GPU를 사용하는 고객에게 혜택을 주고 있습니다. Jetson AG Orin과 같은 엣지 솔루션도 MLPerf v4.0 이후 6배의 성능 향상을 경험했습니다. Blackwell의 강력한 성능이 출시를 앞두고 기대를 모으고 있으며, Hopper에서 보이는 지속적인 개선과 유사한 미래의 가능성에 대한 기대가 큽니다.
* 이 글은
wccftech.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.