AMD는 AI 지원 애플리케이션과 대형 언어 모델(LLM)을 위해 특별히 설계된 Strix Point APU를 소개했습니다. 인텔의 루나 레이크 칩과의 직접 비교에서 AMD는 자사의 프로세서가 처리 속도뿐만 아니라 빠른 응답 시간이 필요한 애플리케이션에 중요한 지연 시간 감소에서도 우수하다고 주장합니다.
Strix Point APU의 핵심 구성 요소인 라이젠 AI 300은 인텔의 제품보다 초당 더 많은 토큰을 처리하는 것으로 알려져 있습니다. LM 스튜디오 환경에서 라이젠 AI 9 HX 375 모델을 테스트한 결과, 인텔 코어 울트라 7 258V에 비해 최대 27%의 성능 향상이 나타났습니다. 인텔 모델은 시리즈에서 최상위 옵션은 아니지만 여전히 경쟁력 있는 성능 지표를 보여줍니다.
AMD의 LM 스튜디오는 Llama.cpp 프레임워크를 기반으로 하여, 광범위한 AI 지식이 없는 사용자도 LLM을 효과적으로 활용할 수 있도록 합니다. 이 프레임워크는 x86 CPU에 최적화되어 있으며, 성능 향상을 위해 AVX2 명령어 세트를 활용합니다. 특히, 라이젠 AI 9 HX 375는 메타 라마 3.2 1b 인스트럭트 테스트에서 인텔 모델보다 최대 3.5배 낮은 지연 시간을 기록하며, 인텔의 39.9 토큰/초에 비해 최대 50.7 토큰/초를 처리했습니다.
AMD와 인텔의 APU 모두 통합 그래픽을 활용하여 처리 능력을 향상시킵니다. AMD의 Strix Point APU는 RDNA 3.5 그래픽 아키텍처를 통합하고, 작업 아웃소싱을 위해 Vulkan API를 사용하여 라마 3.2와 같은 모델에서 성능을 최대 31% 향상시키는 것으로 알려져 있습니다. 가변 그래픽 메모리(VGM) 기능은 라이젠 AI 300 프로세서가 그래픽 집약적인 작업에 맞춰 메모리를 동적으로 조정하여 에너지 효율성과 성능을 최적화할 수 있게 합니다.
인텔 AI 플레이그라운드에서 추가 테스트 결과, 라이젠 AI 9 HX 375는 마이크로소프트 피 3.1 모델에서 인텔 코어 울트라 7 258V보다 8.7%, 미스트랄 7b 인스트럭트 0.3 모델에서 13% 더 우수한 성능을 보였습니다. 더 강력한 코어 울트라 9 288V와의 비교는 라이젠 AI 9 HX 375가 AMD의 Strix Point 라인에서 가장 강력한 모델인 만큼 추가적인 통찰력을 제공할 수 있습니다.
AMD의 Strix Point APU는 AI 작업, 특히 LLM 애플리케이션에 맞춰 설계되었으며, AI에 대한 기술적 전문 지식이 제한된 사용자들을 지원하는 것을 목표로 하고 있습니다. AMD와 인텔의 발전은 대형 언어 모델의 효율적인 처리를 위한 수요 증가에 의해 촉진되는 전문 AI 하드웨어 시장의 차별화를 강조합니다.
* 이 글은
igorslab.de의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.