MLPerf 클라이언트 1.0 벤치마크가 출시되어 0.6 버전보다 상당한 개선 사항을 도입했습니다. 이 새로운 버전은 Meta의 Llama 2 7B Chat 및 Llama 3.1 8B Instruct 모델, Microsoft의 Phi 3.5 Mini Instruct와 실험적인 Phi 4 Reasoning 14B 모델 등 더 다양한 AI 모델을 지원합니다. 벤치마크는 이제 코드 분석 및 4000 또는 8000 토큰의 컨텍스트 윈도우를 사용한 콘텐츠 요약을 포함하여 대형 언어 모델과의 사용자 상호작용 범위를 넓혔습니다.
MLPerf 클라이언트 1.0은 하드웨어 가속 능력도 확장하여 AMD, Intel, NVIDIA, Qualcomm, Apple 등 더 많은 장치와 공급업체를 지원합니다. 주목할 만한 지원 경로로는 ONNX Runtime GenAI를 통한 AMD NPU 및 GPU 하이브리드, OpenVINO를 통한 Intel NPU 및 GPU, MLX를 통한 Apple Mac GPU가 있습니다. 이제 벤치마크는 일부 실험적 작업 부하에 대해 최소 16GB의 VRAM을 갖춘 GPU를 요구하여 고급 하드웨어의 스트레스 테스트를 가능하게 합니다.
주요 추가 사항은 새로운 그래픽 사용자 인터페이스(GUI)로, 이로 인해 벤치마크가 일반 사용자와 전문 테스터 모두에게 더 접근하기 쉬워졌습니다. GUI를 통해 사용자는 하드웨어 자원 사용량을 실시간으로 모니터링하고 다양한 벤치마크 중에서 쉽게 선택할 수 있습니다. 이는 이전의 명령줄 전용 버전에서의 변화로, 도구의 매력을 넓혔습니다.
MLPerf 클라이언트 1.0은 GitHub에서 무료로 다운로드할 수 있으며, 사용자가 다양한 AI 작업 부하에 대한 시스템 성능을 평가할 수 있는 기회를 제공합니다. 모델 지원, 하드웨어 호환성 및 사용자 인터페이스의 개선은 클라이언트 시스템에서 AI 성능을 벤치마킹하는 데 있어 중요한 진전을 나타냅니다.
* 이 글은
tomshardware.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.