AMD는 라이젠 AI MAX를 통해 중요한 진전을 이루었으며, 이는 로컬에서 Llama-70B 모델을 구동할 수 있는 최초의 윈도우 프로세서입니다. AI 작업 부하에 있어 주목할 만한 발전입니다. 최근 출시된 아드레날린 25.8.1 드라이버는 가변 그래픽 메모리(Variable Graphics Memory, VGM)를 향상시켜, 노트북에서 최대 128억 개의 파라미터를 처리할 수 있게 합니다. 이 혁신은 데스크탑 컴퓨팅과 데이터 센터의 경계를 허물며, 사용자가 클라우드 서비스에 의존하지 않고 복잡한 AI 모델을 로컬에서 실행할 수 있도록 합니다.
라이젠 AI MAX 395는 128GB의 RAM을 장착하고 있으며, 메타 Llama 4 Scout 109B 모델을 로컬에서 실행할 수 있어 완전한 비전 및 도구 지원을 제공합니다. 이 로컬 처리 방식은 GPU 임대의 필요성을 없애고 지연 시간을 줄여, AI 애플리케이션에 있어 게임 체인저가 됩니다. 이 모델은 초당 최대 15개의 토큰을 생성할 수 있어, 노트북으로서 인상적인 성능을 보여줍니다.
특히 주목할 만한 기능은 증가된 컨텍스트 길이 기능으로, 최대 256,000개의 토큰을 처리할 수 있어 표준 4,096개의 토큰에 비해 상당한 개선을 이루었습니다. 이 향상된 기능은 메모리 손실 없이 긴 문서를 요약하는 등 더 복잡한 작업 흐름을 가능하게 합니다. 이러한 발전은 새로운 하드웨어가 아닌 드라이버 업데이트에서 비롯된 것으로, 비싼 GPU 없이도 고성능 AI를 접근 가능하게 만듭니다.
AMD의 접근 방식은 AI 작업을 위한 클라우드 컴퓨팅의 필요성에 대한 의문을 제기하며, 클라우드 제공업체 시장에 혼란을 일으킬 가능성이 있습니다. 로컬에서 모델을 실행할 수 있는 능력은 데이터 프라이버시 문제에 대해 우려하는 규제 기관 및 보안 당국에게 매력적으로 다가오며, 디지털 주권을 촉진합니다. 전반적으로 AMD는 로컬 AI 컴퓨팅의 선두주자로 자리매김하며, 데이터 센터에서 휴대용 장치로 초점을 전환하고, 클라우드 서비스에 대한 전통적인 의존에 도전하고 있습니다.
* 이 글은
igorslab.de의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.