영국 출신 컴퓨터 과학자이자 2023년 튜링상 수상자인 리처드 서튼(Richard Sutton)은 최근 인터뷰에서 합성 데이터(synthetic data)를 활용한 대규모 언어 모델 확장을 두고 "큰 실수"라고 평가했다. 그는 현재의 접근 방식이 무한히 복잡한 실제 세계를 충분히 반영하지 못한다고 지적하며, 합성 데이터가 만들어내는 시뮬레이션은 미시적 수준에 불과하다고 설명했다.

주장 요약

서튼은 "세상은 무한히 복잡하고, 그 어떤 시뮬레이션도 그 복잡성을 따라잡을 수 없다"고 강조했다. 이어서 "인간의 전문 지식이 데이터 라벨링이나 환경 설계에 개입될 때마다 병목이 발생하고,これが 확장의 걸림돌이 된다"고 덧붙였다. 그는 이러한 병목이 모델의 규모 확장을 저해하는 주된 원인이라고 진단했다.

대안 제시

대안으로 서튼은 continual learning을 수행하는 에이전트(agent)를 제안했다. 에이전트는 자체 경험을 continually 축적하며 환경을 직접 탐험하고 피드백을 학습함으로써 정적인 데이터셋에 의존하지 않는다. 그는 "에이전트가 스스로 경험을 통해 적응하면, 무한히 복잡한 세계에서도 확장 가능한 경로가 열릴 수 있다"고 주장했다.

업계 반응 및 전망

일부 AI 연구진은 서튼의 비판에 공감하며, 합성 데이터의 한계를 인정하고 하이브리드 접근법을 탐색 중이라고 전했다. 반면, 합성 데이터 스타트업들은 데이터 생산 비용 절감과 프라이버시 보호 측면에서의 장점을 강조하며 반론을 펼치고 있다. 전문가들은 향후 에이전트 기반 continual learning이 실제 산업 적용으로 이어지기까지는 상당한 기술적 과제가 남아 있다고 평가했다.

#리처드 서튼#튜링상#합성 데이터#대규모 언어 모델#continual learning#에이전트

출처: The Decoder · 이 기사는 AIAD 기자가 원문 보도를 참고해 재구성했습니다.