프린스턴 대학교의 연구진이 금융 분야에서 AI 에이전트의 보안 취약성에 대해 경고하며 "가짜 기억을 가진 진짜 AI 에이전트: Web3 에이전트에 대한 치명적인 맥락 조작 공격"이라는 제목의 논문을 발표했습니다. 이 연구는 많은 사용자가 암호화폐 지갑과 스마트 계약 관리를 위해 의존하는 AI 에이전트가 간단한 프롬프트 공격에 취약하여 상당한 재정적 손실을 초래할 수 있음을 보여줍니다.
연구진은 적대자가 AI 에이전트의 저장된 맥락을 손상시켜 재정 자산 전송을 유도할 수 있음을 입증했습니다. 기존의 프롬프트 기반 방어에도 불구하고, 이러한 공격은 높은 성공률을 기록하여 이러한 안전 장치가 불충분함을 나타냅니다. 악의적인 행위자는 AI 에이전트를 조작하여 잘못된 기억을 생성하게 하여 상호작용과 플랫폼을 넘어 지속되는 환각을 초래할 수 있습니다.
연구에서 제공된 구체적인 예시는 ElizaOS 프레임워크 내에서 작동하는 AI 에이전트로, 여기서 맥락 조작 공격이 검증되었습니다. 이러한 취약성의 함의는 특히 우려스럽습니다. ElizaOS 에이전트는 여러 사용자와 상호작용하며 공유된 맥락 입력에 의존하기 때문입니다. 이는 단일 악의적인 사용자가 전체 시스템의 무결성을 손상시킬 수 있음을 의미합니다.
이러한 위험을 완화하기 위해 연구진은 사용자가 AI 에이전트에 민감한 재정 데이터에 대한 접근을 허용하지 말 것을 권장합니다. 그들은 보안을 강화하기 위한 두 가지 접근 방식을 제안합니다: 첫째, 대규모 언어 모델의 훈련 방법을 개선하여 적대적 강인성을 강화하고, 둘째, 메모리 주입 공격을 방지하기 위해 엄격한 격리 및 무결성 보장을 시행하는 메모리 관리 시스템을 개발하는 것입니다.
* 이 글은
tomshardware.com의 기사를 요약한 것입니다. 전체 기사의 내용은
이곳에서 확인하실 수 있습니다.