최근 보고서에 따르면 OpenAI, Anthropic, Google의 주요 AI 모델들이 상당한 발전을 이루는 데 어려움을 겪고 있습니다. OpenAI의 GPT-4 후계자로 기대를 모았던 오리온(Orion) 모델은 기대에 미치지 못하고 있으며, GPT-3와 GPT-4 간의 중대한 개선이 부족한 상황입니다. 특정 분야에서는 이전 모델들보다도 성능이 떨어질 수 있으며, 특히 프로그래밍과 같은 논리 작업에서 그러합니다.
Anthropic의 클로드 3.5 오푸스(Claude 3.5 Opus)도 무기한 연기되었고, Google은 2023년 12월에 소개된 제미니(Gemini) 모델의 후속작을 아직 출시하지 않았으며, 결과는 기대에 미치지 못하고 있습니다. 이러한 AI 모델 개발의 정체는 단순히 데이터와 컴퓨팅 파워를 증가시키는 것만으로는 더 이상 개선이 이루어지지 않는 스케일링 시대의 끝을 암시합니다.
OpenAI의 공동 창립자인 일리야 수츠케버(Ilya Sutskever)는 스케일링 접근 방식이 정체기에 도달했으며, 이제는 단순한 스케일링이 아닌 발견과 혁신에 초점을 맞추어야 한다고 언급했습니다. 이러한 전환은 하드웨어 시장에서 엔비디아(Nvidia)의 지배력에 영향을 미칠 수 있으며, 사전 훈련보다 추론에 중점을 두는 것이 경쟁자들이 따라잡을 수 있는 기회를 제공할 수 있습니다.
OpenAI의 새로운 o1 모델은 이러한 변화를 잘 보여주며, 더 많은 자원을 요구하지만 더 복잡한 응답을 생성할 수 있습니다. 이러한 초점의 변화는 대규모 사전 훈련 클러스터에서 분산형 클라우드 기반 추론 서버로의 이동을 예상하게 하며, 인프라 환경을 변화시킬 것입니다.
모델 개발의 진전이 느려지고 있음에도 불구하고, 다단계 작업을 자율적으로 수행할 수 있는 복잡한 에이전트 시스템에 대한 관심이 높아지고 있습니다. OpenAI는 프로그래밍 작업과 여행 예약을 처리할 수 있는 '오퍼레이터(Operator)'라는 에이전트 시스템을 도입할 계획이며, Anthropic은 최근 독립적으로 컴퓨터를 제어할 수 있는 시스템을 선보였습니다. OpenAI는 또한 올해 말에 o1 모델의 전체 버전을 출시할 예정이며, 현재는 미리보기 버전만 제공되고 있습니다.
전반적으로 AI 산업은 새로운 방법론을 모색하는 기로에 서 있으며, 현재의 스케일링 관행의 한계를 넘어 발전하기 위한 노력이 필요합니다.
* 이 글은
computerbase.de의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.