이 기사는 OpenAI의 o3, 구글의 Gemini, 앤트로픽의 Claude 3.7과 같은 추론 모델의 한계를 다루며, 이러한 모델들이 전통적인 대형 언어 모델(LLM)과 비교했을 때 효과성에 의문을 제기하는 애플 연구자들의 연구를 강조합니다.
추론 모델, 또는 대형 추론 모델(LRM)은 계산을 추론 단계로 이동시켜 사용자 쿼리 이후에 계산 능력 사용을 증가시킵니다. 이로 인해 응답 시간이 길어지지만, 다단계 문제 해결과 다양한 솔루션 테스트가 가능해집니다. 하노이의 탑(Towers of Hanoi) 및 강 건너기(River Crossing)와 같은 논리-수학적 퍼즐을 사용한 벤치마크 결과, 전통적인 모델이 간단한 작업에서 더 나은 성능을 보이는 반면, LRM은 중간 복잡도 작업에서 이점을 얻는 것으로 나타났습니다. 그러나 모든 모델은 가장 높은 복잡도 수준에서 실패합니다.
흥미롭게도, LRM은 간단한 문제를 과도하게 생각하여 혼란을 초래하는 반면, 복잡한 문제는 충분히 고려하지 않아 이러한 상황에서 계산 노력을 줄이는 경향이 있습니다. 퍼즐에 따라 성능 차이가 크게 나타나며, 모델은 하노이의 탑에서 최대 100회의 올바른 이동을 달성하지만, 강 건너기에서는 단 5회 이동 후 실패합니다.
연구는 LRM이 성능을 증가하는 복잡성과 함께 확장하는 데 근본적인 한계를 겪고 있음을 나타냅니다. 칭화대학교와 상하이 자오퉁대학교의 이전 연구도 이를 뒷받침하며, 추론 모델이 주로 알려진 솔루션을 최적화하는 데 집중하고 일반화 가능한 추론 능력을 개발하지 않는다고 제안합니다. OpenAI의 최근 모델인 o3는 더 많은 환각을 일으키며, 올바른 답변과 잘못된 답변을 모두 더 많이 생성하는 것으로 보고되고 있습니다. 앤트로픽의 Claude-4 모델도 특정 시나리오에서 실패율이 증가하여 신뢰성에 대한 우려를 불러일으킵니다.
* 이 글은
computerbase.de의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.