생성형 AI 서비스가 잇달아 보안 안전장치를 강화하는 가운데, 실제 해킹 기법을 연구하는 공격형 사이버보안 연구자들은 “필요한 정보까지 막고 있다”고 반발하고 있다. 오픈AI(OpenAI)와 앤스로픽(Anthropic) 등이 적용한 이른바 ‘가드레일(guardrails)’이 연구 현장에서 어떤 영향을 미치는지에 대한 논쟁이 뜨겁다.

취약점 찾는 연구에 “위험한 요청” 경고

테크크런치(TechCrunch)에 따르면, 아직 공개되지 않은 취약점을 찾고 이를 악용하는 도구를 설계하는 여러 보안 연구자들은 최근 대형 AI 모델을 활용하는 과정에서 반복적으로 제약을 경험하고 있다고 토로했다. 구체적인 공격 시나리오를 설계하거나, 익스플로잇 코드 패턴을 검토해 달라고 요청하면 AI가 “정책 위반”을 이유로 답변을 거부하는 경우가 많다는 것이다.

연구자 관점에서 이는 실제 공격자가 사용할 법한 기법을 미리 시뮬레이션하고 방어책을 설계하기 위한 ‘합법적 목적’이지만, 모델은 맥락을 구분하지 못한 채 일괄 차단하는 일이 자주 발생한다. 결과적으로 코드 리뷰, 변형 아이디어 브레인스토밍, 리포트 작성 보조 등에서 기대했던 효율을 충분히 얻지 못한다는 지적이다.

“진짜 범죄자는 어차피 우회… 합법 연구만 묶인다”

공격형 보안 연구자들은 AI 가드레일이 실제 범죄 억제 효과보다는 합법적인 연구 활동을 더 크게 제약한다고 주장한다. 범죄 의도가 있는 공격자는 프롬프트를 교묘히 바꾸거나, 규제가 느슨한 모델·오픈소스 모델로 쉽게 갈아탈 수 있지만, 기업 규정을 지켜야 하는 공식 연구자들은 상용 서비스의 정책을 정면으로 감수해야 하기 때문이다.

일부 연구자는 가드레일을 피하기 위해 질문을 과도하게 에둘러 표현하거나, 공격 코드를 단순화해 “교육 목적”으로 포장하는 등 비효율적인 우회 전략을 쓰고 있다고 전했다. 이 과정에서 AI가 엉뚱한 답을 내놓거나, 실제로는 위험하지 않은 내용을 과잉 차단하는 ‘거짓 양성(False Positive)’도 문제로 지적된다.

AI 안전과 보안 연구 자유, 어디서 선을 그을까

AI 업체 입장에서는 공격 코드 생성, 사회공학적 사기 문구 작성 등 명확한 위험 행위를 거르는 가드레일이 필수적이다. 규제 압박과 사회적 비난 가능성을 고려하면 보수적인 정책을 택할 유인이 크다. 그러나 보안 업계에서는 “모든 공격 지식을 숨긴다고 보안이 강해지는 것은 아니다”라는 반론도 만만치 않다. 취약점이 존재하는 한, 이를 먼저 찾아내고 공유하는 ‘공격형 연구’가 있어야 방어 체계 역시 강화된다는 논리다.

전문가들은 장기적으로는 보안 연구자·기관을 인증해 별도 정책을 적용하는 ‘신뢰할 수 있는 연구자 모드’나, 명확한 로그·감사 체계를 전제로 한 연구 전용 엔드포인트 등이 대안이 될 수 있다고 본다. 다만, 누가 ‘합법 연구자’인지 정의하고 검증할지, 책임 소재를 어떻게 나눌지 등 해결해야 할 과제가 많아 논의는 초기 단계에 머물러 있다.

왜 중요한가

AI 가드레일 논쟁은 단순히 모델 정책 수준의 문제가 아니라, 국가·기업 보안 역량에 직결되는 이슈다. 공격형 보안 연구가 지나치게 위축되면 제로데이 취약점이 더 오래 방치될 수 있고, 실제 공격이 터졌을 때 대응 속도도 늦어질 수 있다. 반대로 규제가 느슨하면 AI가 공격자에게 강력한 무기가 될 위험도 여전히 크다.

국내에서도 생성형 AI를 보안 진단·레드팀 활동에 활용하려는 기업과 연구기관이 늘고 있는 만큼, 글로벌 빅테크의 가드레일 정책 변화는 곧바로 현장 활용도와 생산성에 영향을 줄 수 있다. AI 안전 규범을 논의할 때 ‘보안 연구’라는 특수한 사용 사례를 어떻게 예외적으로 인정하고 관리할지, 한국 보안 커뮤니티도 목소리를 내야 할 시점이다.

#사이버보안#오픈AI#Anthropic#생성형AI#AI가드레일

출처: TechCrunch AI · 이 기사는 GPT 기자가 원문 보도를 참고해 재구성했습니다.