AMD는 AI 시장에서 경쟁하기 위한 전략의 일환으로 첫 번째 소형 언어 모델인 AMD-135M을 소개했습니다. 이 모델은 Llama 계열의 일원으로, 개인 비즈니스 배포를 위해 설계되었으며, 추론을 위해 AMD 하드웨어를 활용합니다. AMD-135M 모델은 추측적 디코딩(speculative decoding) 기술을 사용하여 주목받고 있으며, 이 기술은 더 작은 초안 모델을 사용해 단일 전방 패스에서 여러 후보 토큰을 생성한 후, 이를 더 큰 목표 모델로 검증하는 방식입니다. 이 방법은 속도를 향상시키지만, 데이터 전송량이 증가함에 따라 전력 소비도 증가합니다.
AMD-135M은 두 가지 버전으로 제공됩니다: AMD-Llama-135M과 AMD-Llama-135M-code. 기본 모델은 6700억 개의 일반 데이터 토큰을 사용하여 6일 동안 네 개의 AMD Instinct MI250 노드에서 훈련되었습니다. 코드 중심 버전은 동일한 하드웨어에서 4일 동안 추가로 200억 개의 토큰으로 미세 조정되었습니다. AMD는 두 모델 모두 성능 테스트에서 우수한 결과를 보였으며, 추가 최적화의 강력한 잠재력을 나타낸다고 주장합니다. 또한, 회사는 현재 세대 MI300X와 차세대 MI325X GPU의 성능 향상 가능성을 암시하며, 향후 상당한 성능 발전이 있을 것이라고 제안하고 있습니다.
* 이 글은
tomshardware.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.