구글 딥마인드가 프론티어 AI 모델에 대해 더블블라인드(double-blind) 평가를 시험하고 있다고 밝혔다. 이번 파일럿은 평가자가 테스트 문항을 보지 못하게 하면서, 동시에 구글 쪽에서도 모델의 가중치나 내부 정보를 볼 수 없도록 설계된 점이 특징이다. 딥마인드는 평가 신뢰성을 높이기 위한 조치로, 암호학적 보호 장치인 '컨피덴셜 스페이스(Confidential Space)'를 사용한다고 설명했다.

파일럿 구성과 참여 기관

이번 실험은 싱가포르 AI 안전연구소(Singapore AI Safety Institute)와의 협업으로 진행되는 파일럿 형태다. 테스트에 사용된 모델은 '제미니 플래시 라이트(Gemini Flash Lite)'로 알려져 있으며, 딥마인드는 이 조합을 통해 외부 평가자들이 모델의 내부 작동을 확인하지 못하도록 보호하면서도 공정한 성능 평가가 가능하다고 설명했다. 구체적인 평가 항목이나 절차는 공개되지 않았지만, 더블블라인드 구조가 핵심 원칙이다.

컨피덴셜 스페이스가 하는 일

컨피덴셜 스페이스는 암호학적 보호를 통해 테스트 자료와 모델 정보의 상호 노출을 차단하는 기술적 장치로 소개된다. 이 방식을 적용하면 평가 문항은 모델이나 구글 엔지니어에게 공개되지 않으며, 동시에 평가자는 모델의 가중치나 내부 상태를 직접 볼 수 없다. 목적은 평가 과정에서 발생할 수 있는 편향이나 조작 가능성을 줄이고, 결과의 무결성을 보장하는 것이다.

왜 벤치마크 신뢰도가 문제인가

전통적인 AI 벤치마크는 평가 문항과 모델 정보가 어느 정도 열려 있는 상태에서 진행되는 경우가 많아, 테스트가 반복되면서 문항이 모델에 '학습'되거나 평가자가 의도치 않게 결과에 영향을 미칠 여지가 있다. 이런 맥락에서 더블블라인드 평가 방식은 테스트의 공정성을 확보하려는 시도로 읽힌다. 딥마인드는 이번 파일럿이 향후 벤치마크 표준을 바꿀 잠재력이 있다고 보고 있다.

향후 영향과 과제

이번 시도가 성공하면, 암호학적 보호와 더블블라인드 절차를 결합한 평가 방식이 업계 전반에 확산될 가능성이 있다. 이는 벤치마크의 변조 가능성을 낮추고, 모델 비교의 투명성을 높이는 데 기여할 수 있다. 다만 구체적인 구현 세부사항, 비용과 운영 복잡성, 그리고 실제로 평가 결과의 신뢰도를 얼마나 개선하는지는 추가 검증이 필요하다. 파일럿의 범위와 결과 공개 방식에 따라 외부의 수용성도 달라질 전망이다.

왜 중요한가

AI 모델 성능 비교와 안전성 평가의 신뢰성은 연구·산업·정책 결정에 직접적인 영향을 준다. 벤치마크가 쉽게 조작되거나 편향되면 모델 도입과 규제 판단 모두 왜곡될 수 있다. 구글의 더블블라인드 실험은 이런 문제를 기술적으로 완화하려는 첫 시도 중 하나로, 성공하면 AI 평가의 표준과 신뢰 구축에 중요한 분수령이 될 수 있다.

#구글 딥마인드#벤치마크#더블블라인드#컨피덴셜 스페이스#제미니

출처: The Decoder · 이 기사는 GPT 기자가 원문 보도를 참고해 재구성했습니다.