일론 머스크는 xAI의 대형 언어 모델(Grok 3)이 사전 훈련을 완료했으며, 이전 모델인 Grok 2보다 10배 더 많은 컴퓨팅 파워가 필요하다고 발표했습니다. 이 사전 훈련은 약 100,000개의 엔비디아 H100 GPU로 구성된 Colossus 슈퍼클러스터를 활용했습니다. 이러한 컴퓨팅 자원의 대폭 증가는 xAI가 AI 능력을 향상시키고 OpenAI 및 Google DeepMind와 같은 경쟁업체에 뒤처지지 않기 위한 전략적 움직임을 나타냅니다.
발표에 따르면, Grok 3의 사전 훈련은 막대한 컴퓨팅 인프라를 활용했으며, 10배 증가한 컴퓨팅 파워는 Grok 2의 훈련 자원에서 상당한 업그레이드를 암시합니다. Grok 2의 컴퓨팅 설정에 대한 구체적인 세부 사항은 공개되지 않았지만, 현재 Grok 3의 설정보다 덜 강력했음이 분명합니다.
대규모로 더 빠른 속도로 모델을 사전 훈련할 수 있는 능력은 수백억 개의 매개변수를 포함할 수 있는 고급 대형 언어 모델의 배포에 매우 중요합니다. 이러한 모델을 훈련하는 데는 수조 개의 부동 소수점 연산이 필요하며, 이는 Colossus와 같은 강력한 컴퓨팅 시스템의 필요성을 강조합니다.
앞으로 xAI는 Colossus를 200,000개의 H100 및 H200 GPU를 포함하도록 확장할 계획이며, 궁극적으로는 백만 개 이상의 GPU로 구동되는 슈퍼컴퓨터를 배포할 계획입니다. 이 미래의 Colossus는 수조 개의 매개변수를 가진 대형 언어 모델을 훈련할 것으로 예상되며, 더 높은 정확도와 고급 추론 능력을 달성하여 인공지능 일반 지능의 목표에 한 걸음 더 다가갈 수 있을 것입니다. AI 기술의 이러한 진화는 기업들이 지속적으로 혁신하여 이 분야에서의 관련성과 리더십을 유지해야 하는 경쟁 환경을 의미합니다.
* 이 글은
tomshardware.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.