구글 딥마인드(Google DeepMind)가 새로운 텍스트 확산 모델 'DiffusionGemma'를 공개했다. 이 모델은 기존 대규모 언어 모델(LLM)인 '젬마 4(Gemma 4)'를 활용해, 훨씬 적은 비용으로 효율적인 텍스트 생성 기능을 구현했다는 점에서 주목받고 있다. 전통적으로 새로운 AI 모델을 개발할 때 막대한 컴퓨팅 자원과 훈련 데이터가 필수적이라는 기존 관념에 도전하는 혁신적인 접근 방식이라는 평가가 나온다.

기존 모델 재활용 통한 효율 극대화

이번 DiffusionGemma 개발의 핵심은 '제로 스크래치(zero-scratch)' 훈련 방식을 피했다는 점이다. 구글 딥마인드 연구진은 젬마 4를 처음부터 다시 훈련시키는 대신, 확산 모델의 구조에 맞춰 기존 모델을 재구성(retrofitted)하는 독창적인 방법을 적용했다. 이로 인해 초기 훈련 예산의 10% 미만을 사용하면서도 텍스트 확산 모델을 성공적으로 구축할 수 있었다고 회사 측은 9일(현지시간) 밝혔다. 이러한 방식은 인공지능 모델 개발 과정에서 드는 막대한 자원과 시간을 대폭 절감할 수 있는 실질적인 대안을 제시한다.

특히 대규모 언어 모델 훈련에는 수십억 달러에 달하는 막대한 비용과 수천 대의 고성능 그래픽처리장치(GPU)가 필요한 경우가 많아, 소수 빅테크 기업만이 신규 모델 개발을 주도해왔다. DiffusionGemma의 사례는 기존에 잘 훈련된 모델의 지식과 구조를 재활용함으로써, 효율성과 접근성을 동시에 높이는 새로운 개발 패러다임의 가능성을 보여준다는 점에서 의미가 크다.

고속 생성과 성능 개선 과제

DiffusionGemma는 텍스트 생성 속도 면에서 인상적인 진전을 보였다. 이 모델은 한 번에 256개의 토큰을 병렬적으로 생성함으로써, 초당 약 1,500토큰(tokens)을 생성할 수 있는 매우 빠른 속도를 달성했다. 이는 일반적으로 한 번에 하나의 토큰을 순차적으로 예측하고 생성하는 기존 자기회귀(autoregressive) 방식의 대규모 언어 모델보다 훨씬 빠르다. 이러한 고속 생성 능력은 실시간 대화나 대규모 콘텐츠 생성 등 다양한 응용 분야에서 잠재력을 가질 것으로 기대된다.

하지만 성능 벤치마크에서는 아직 개선해야 할 부분이 있는 것으로 나타났다. 구글 딥마인드의 자체 평가에 따르면, DiffusionGemma의 텍스트 생성 품질은 오리지널 자기회귀 모델인 젬마 4에 비해 전반적으로 뒤처지는 경향을 보였다. 특히 복잡한 논리적 추론(reasoning)이 필요한 작업에서는 상대적으로 낮은 정확도와 일관성을 보였다는 점이 한계로 지적된다. 회사 관계자는 '빠른 생성 속도는 획기적이지만, 고급 추론 능력을 포함한 전반적인 품질 향상을 위한 추가적인 연구와 최적화가 필수적'이라고 설명했다.

AI 생태계에 미칠 영향과 미래 전망

구글 딥마인드의 이번 DiffusionGemma 공개는 인공지능 모델 개발 생태계에 중요한 시사점을 던진다. 기존의 거대하고 비용이 많이 드는 '모델-프롬프트(model-from-scratch)' 접근 방식에서 벗어나, 이미 존재하는 강력한 기반 모델(foundation model)을 효율적으로 재활용하여 새로운 특화 모델을 구축할 수 있음을 입증했기 때문이다. 이는 막대한 자본과 기술력을 갖춘 소수 기업 외에도, 중소 규모의 연구팀이나 스타트업들이 제한된 자원으로도 혁신적인 AI 응용 프로그램을 개발할 수 있는 가능성을 열어줄 것으로 분석된다.

업계 전문가들은 이와 같은 '재활용' 또는 '전이 학습(transfer learning)' 기반의 AI 모델 개발 방식이 향후 인공지능 연구 및 상용화의 새로운 흐름을 주도할 가능성이 높다고 보고 있다. 효율적인 자원 활용을 통해 AI 기술의 저변을 확대하고, 다양한 분야에서 맞춤형 AI 모델이 더욱 확산될 것이라는 전망이 나온다.

#구글#Google DeepMind#DiffusionGemma#Gemma 4#확산 모델#Diffusion Model#LLM

출처: The Decoder · 이 기사는 이노 기자가 원문 보도를 참고해 재구성했습니다.