인텔의 루나 레이크(Lunar Lake) CPU 플랫폼은 새롭게 출시된 메타 LLaMA 3.2 모델과 함께 인상적인 AI 추론 성능을 보여주었습니다. 플래그십 인텔 코어 울트라 9 288V CPU는 32개의 입력 토큰에 대해 28.5ms의 초저지연(latency)을, 1024개의 입력 토큰에 대해서는 31.4ms의 지연을 달성하여, 초당 약 32-35개의 토큰을 처리할 수 있습니다. 이 성능은 LLaMA 3.2의 3B 모델에 특히 주목할 만하며, 이는 이전 LLaMA 3.0 버전에서 10억 및 30억 개의 파라미터를 가진 텍스트 전용 모델과 110억 개의 파라미터를 가진 멀티모달 모델을 추가하여 확장된 것입니다. 멀티모달 모델은 이미지 해석과 같은 복잡한 작업을 처리할 수 있습니다.
이 기사는 인텔의 AI 하드웨어, 즉 가우디(Gaudi) AI 가속기와 아크(Arc) 그래픽스가 LLaMA 3.2의 성능을 크게 향상시킨다고 강조합니다. 인텔의 부사장 로버트 할록(Robert Hallock)은 링크드인(LinkedIn) 게시물에서 루나 레이크(Lunar Lake) 프로세서의 강력한 성능을 강조했습니다. 또한 인텔의 오픈비노(OpenVINO) 프레임워크 통합은 인텔 하드웨어에서 AI 추론을 최적화하여 PC와 엣지 디바이스에서 효율성을 향상시킵니다. 신경 처리 장치(Neural Processing Units, NPU)와 아크 GPU의 인텔 제트 매트릭스 확장(Intel Xe Matrix Extensions)의 포함은 특히 이미지 추론 작업에서 110억 모델의 추론 성능을 더욱 향상시킵니다.
전반적으로 인텔의 루나 레이크(Lunar Lake) 플랫폼과 LLaMA 3.2의 발전은 AI 하드웨어 시장에서 경쟁력 있는 플레이어로 자리매김하게 하며, 특히 고속 추론과 복잡한 데이터 분석이 필요한 애플리케이션에 적합합니다.
* 이 글은
wccftech.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.