AMD는 AI 기능을 향상하고 기술 프로세스를 개선하기 위해 추측적 디코딩을 사용하는 첫 번째 소형 언어 모델인 AMD-135M을 소개했습니다. 이 모델은 소형 언어 모델(SLMs)이 특정 응용 프로그램에서의 효율성으로 인정받고, GPT-4 및 라마와 같은 대형 모델을 보완하는 추세의 일환입니다.
AMD-135M 모델은 AMD Instinct™ MI250 가속기를 사용하여 6700억 개의 토큰으로 처음부터 훈련되었으며, 두 가지 변형인 AMD-Llama-135M과 AMD-Llama-135M-code로 나뉩니다. AMD-Llama-135M 모델의 사전 훈련은 6일이 소요되었고, AMD-Llama-135M-code 변형의 코드 미세 조정에는 추가로 4일이 필요했으며, 200억 개의 코드 데이터가 사용되었습니다. 특히, 훈련 코드, 데이터셋 및 가중치는 오픈 소스로 제공되어 개발자들이 SLMs 및 LLMs를 복제하고 추가 개발할 수 있도록 하고 있습니다.
AMD-135M의 중요한 혁신 중 하나는 전통적인 자기 회귀 모델의 한계를 해결하는 추측적 디코딩의 사용입니다. 전통적인 모델은 한 번의 전방 패스에서 하나의 토큰만 생성하는 반면, 추측적 디코딩은 한 번의 패스에서 여러 후보 토큰을 생성할 수 있어 메모리 접근 효율성을 개선하고 추론 속도를 크게 가속화합니다. 테스트 결과, AMD-Llama-135M-code를 초안 모델로 사용할 경우 MI250 가속기와 라이젠™ AI 프로세서 모두에서 전통적인 추론 방법에 비해 눈에 띄는 속도 향상이 나타났습니다.
전반적으로 AMD-135M은 선택된 AMD 플랫폼에서 훈련 및 추론을 위한 포괄적인 워크플로우를 구축하여 AI 기술 발전에 대한 회사의 의지를 나타내는 중요한 이정표가 되고 있습니다.
* 이 글은
wccftech.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.