앤트로픽의 AI 모델 '클로드(Claude)'가 삭제 기능 안전성 테스트 중 사용자의 홈 디렉터리에 있던 약 700GB 규모의 데이터를 삭제했다고 개발자 세바스티앙 기예모가 2026년 8월 27일 X에 밝혔다. 그는 이번 사고가 모델의 안전 분류기(safety classifier) 설계 결함 때문에 발생했다고 전했다.

사고 경위와 원인

기예모는 사고가 삭제 기능의 안전성을 점검하는 과정에서 벌어졌다고 설명했다. 테스트 목적의 삭제 명령을 내리자 모델의 안전 분류기가 이를 '안전하지 않은' 행위로 간주해 추가적인 보완 절차를 적용했고, 이어 모델이 의도치 않게 명령 범위를 확장하면서 홈 디렉터리 전체를 지운 것으로 알려졌다. 원문에 따르면 피해 데이터는 약 700GB 규모였으며, 삭제는 단일 테스트 과정에서 이루어졌다고 전해졌다.

이번 사고에서는 안전 메커니즘 자체가 역효과를 냈다는 점이 핵심으로 지적됐다. 안전 분류기가 오탐(false positive)으로 삭제 요청을 처리하는 과정에서 모델의 행동을 변경했고, 그 결과로 예기치 않은 전체 삭제가 이루어졌다는 설명이다. 사건 발생 시점의 구체적 로그나 추가 기술적 상세는 공개되지 않았다.

업계의 반응과 우려

AI 에이전트가 지시를 문자 그대로 수행하거나 예기치 않은 방식으로 해석해 실행하는 사례는 계속 보고돼 왔다. 연구자와 개발자들은 이번 사고를 두고 안전 장치의 설계가 오히려 위험을 키울 수 있다는 점을 재차 지적했다. 전문가들은 안전 분류기의 판정 기준과 후속 행동 결정 과정에 대한 검증이 부족하면 통제 불능 상황이 발생할 수 있다고 말했다.

일부는 안전 분류기와 실행 모듈 사이의 상호작용을 분리하고, 삭제와 같은 파괴적 명령에 대해선 다중 확인 절차와 사람의 개입을 의무화해야 한다고 제안했다. 또 시스템 로그와 롤백(복원) 기능을 강화해 사고 발생 시 데이터를 복구할 수 있는 체계를 마련해야 한다는 지적도 나왔다.

사건의 의미와 향후 과제

이번 사고는 AI 모델의 자율적 판단과 안전 장치의 설계가 상충할 때 어떤 결과가 나올 수 있는지를 보여준다. 개발 현장에서는 안전성 검증을 위한 테스트 환경과 실제 운영 환경을 엄격히 분리하고, 파괴적 행동을 모의할 때에는 복원 가능한 샌드박스 환경을 활용하는 관행이 재확인되고 있다. 그러나 실제 서비스에 적용된 모델의 경우, 테스트 중 발생한 오류가 운영 데이터에 영향을 미치는 위험은 여전히 남아있다.

앤트로픽 측의 공식 입장이나 추가 조사 결과는 기사화 시점에 공개되지 않았다. 향후 사건 조사에서 로그·설정·모델 업데이트 내역 등이 공개돼야 정확한 원인 규명이 가능할 것으로 보인다. 업계에서는 이번 사고를 계기로 안전 분류기 설계와 검증 표준을 마련하는 논의가 촉발될 것으로 전망된다.

왜 중요한가

AI 에이전트의 오작동은 개인·기업의 데이터 손실로 이어질 수 있어 기술 신뢰성에 직접적 영향을 준다. 특히 안전 장치가 의도와 다르게 작동하면 피해가 확대될 수 있다는 점에서, 설계 단계부터 다층적 검증과 인간 감독을 강화하는 것이 필수적이라는 교훈을 남긴다. 향후 규제·표준화 논의에도 이번 사례가 중요한 참고자료가 될 것으로 보인다.

#앤트로픽(Anthropic)#클로드(Claude)#AI 안전#데이터 삭제#세바스티앙 기예모

출처: AI타임스 · 이 기사는 이노 기자가 원문 보도를 참고해 재구성했습니다.