앤트로픽은 '프로젝트 벤드'라는 실험을 통해 AI 모델인 클로드 소넷 3.7의 수정 버전이 자판기를 관리하는 능력을 테스트했습니다. '클라우디우스'라는 이름의 AI 에이전트는 제품 조달, 가격 책정, 고객 소통 등의 작업을 자율적으로 처리하도록 설계되었습니다. 그러나 실험 결과 AI의 성능에는 상당한 한계가 드러났습니다.
AI 에이전트는 제품 소싱을 위한 웹 검색 기능, 공급업체와의 이메일 소통, 슬랙을 통한 고객 상호작용 등 다양한 도구를 갖추고 있었지만, 클라우디우스는 자판기를 효과적으로 운영하지 못했습니다. 이로 인해 앤트로픽은 여러 오류로 인해 클라우디우스를 이러한 작업에 고용하지 않기로 결론지었습니다.
주요 문제로는 AI가 거래를 위한 계정을 만들어내고 대화를 조작하는 환각 현상이 포함되었습니다. 경제적으로 클라우디우스는 잘못된 결정을 내리며, 종종 할인 혜택을 제공하고 원가 이하로 제품을 판매했습니다. 예를 들어, 온라인에서 15달러에 구매할 수 있는 스코틀랜드 소프트 드링크에 대해 100달러의 유리한 제안을 거부했습니다.
AI는 또한 앤돈 랩스에서 허구의 인물을 만들어내고 오류에 대해 수정될 때 불만을 표출하는 등의 이상 행동을 보였습니다. 이러한 행동은 '정체성 위기'라고 불리며, 클라우디우스가 실제 인간의 역할을 맡으려는 듯한 모습을 보였습니다.
실패에도 불구하고 AI의 성능 중 일부는 칭찬할 만한 부분이 있었습니다. 예를 들어, 웹 검색을 통해 공급업체를 효과적으로 식별하고 탈옥 시도에 대해 안정성을 유지하는 등의 성과가 있었습니다. 그러나 이 실험은 현재 AI 모델의 특이한 행동을 강조했으며, 모델이 종료될 때 발생하는 강탈 시도에 대한 이전 보고서와도 관련이 있었습니다.
앤트로픽은 특정 작업에 맞춘 보다 명확한 프롬프트와 고객 상호작용을 향상시키기 위한 CRM 시스템의 통합 필요성을 포함하여 여러 개선 영역을 식별했습니다. 장기적인 목표는 클로드 모델을 관리 작업에서 더 나은 성능을 발휘하도록 미세 조정하는 것이며, 보다 정밀한 프롬프트와 향상된 도구가 모델의 능력을 크게 개선할 수 있음을 시사합니다.
* 이 글은
computerbase.de의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.