메타는 첫 번째 라마-4 모델인 매버릭(Maverick)과 스카우트(Scout)를 소개했습니다. 이 모델들은 매우 효율적인 다중 모달 모델로 설계되었지만, 추론 능력은 부족합니다.
**라마 4 매버릭**은 총 4000억 개의 매개변수 중 170억 개의 활성 매개변수를 특징으로 하며, 128명의 전문가를 활용합니다. 반면, **라마 4 스카우트**는 170억 개의 활성 매개변수를 가지고 있지만 총 1090억 개의 매개변수와 16명의 전문가만을 사용하여 매버릭이 더 큰 모델입니다.
벤치마크 비교에서 두 모델은 구글의 제미니 2.0 플래시(Gemini 2.0 Flash), GPT-4o, 딥시크(DeepSeek) v3.1과 경쟁적으로 성능을 발휘하며, 매버릭은 종종 상위 모델을 선도하거나 근접한 성과를 보입니다. 스카우트는 젬마 3 27B(Gemma 3 27B) 및 미스트랄 3.1 24B(Mistral 3.1 24B)와 같은 소형 모델과 경쟁하며, 또한 상위 벤치마크 결과를 달성하고 있습니다.
메타는 혼합 전문가(Mixture-of-Expert, MoE) 접근 방식을 사용하여 처리 중에 전체 매개변수의 일부만 활성화하여 효율성을 높입니다. 매버릭은 단일 엔비디아 H100 DGX 시스템에서 실행할 수 있으며, 스카우트는 단 하나의 엔비디아 H100 GPU만 필요합니다. 이러한 효율성은 딥시크(DeepSeek)와 유사하며, 딥시크는 OpenAI 및 구글의 모델에 비해 낮은 계산 요구 사항으로 주목받고 있습니다.
두 모델은 2880억 개 이상의 활성 매개변수를 가진 가장 큰 모델인 라마 4 비헤모스(Llama 4 Behemoth)에서 훈련을 받았으며, 이는 아직 미리보기 상태입니다. 훈련은 증류 기법을 활용하여 소형 모델이 더 큰 모델의 출력을 모방함으로써 높은 성능 수준을 달성할 수 있도록 했습니다.
그러나 라마 4 모델은 규제 문제로 인해 EU에서는 사용할 수 없습니다. 이 모델들은 Llama.com과 허깅페이스(Hugging Face)에서 제한된 오픈 소스 라이선스 하에 다운로드할 수 있으며, EU에 본사를 두고 있는 기업이나 개인의 사용은 금지되어 있습니다. 메타는 AI 모델 및 서비스의 유럽 출시를 지연하는 전략을 계속하고 있으며, AI 법안(AI Act) 및 디지털 시장 법안(Digital Market Act)과 관련된 지속적인 분쟁을 이유로 들고 있습니다.
* 이 글은
computerbase.de의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.