노타(대표 채명수)는 5일 허깅페이스를 통해 문샷 AI의 대형 언어 모델인 '키미 K3'를 경량화한 두 가지 버전을 공개했다고 밝혔다. 이번에 공개된 경량화 모델은 노타가 자체 개발한 '비균일 전문가 프루닝' 기술을 적용해 모델의 크기를 줄이고 연산 효율을 높인 것이 특징이다. 노타 측은 이를 통해 키미 K3를 구동하는 데 필요한 GPU 사용량을 최대 절반까지 절감할 수 있다고 설명했다.

비균일 전문가 프루닝 기술의 원리

노타의 비균일 전문가 프루닝은 모델의 각 층(layer)을 분석하고, 전문가 모듈(expert module)의 중요도와 기여도를 정밀하게 평가하는 방식이다. 이를 통해 성능에 필수적인 핵심 전문가는 보존하고, 상대적으로 기여도가 낮은 모듈을 선별적으로 제거한다. 노타는 이 방법을 적용해 키미 K3의 전문가 모듈 수를 기존 대비 25%와 50% 두 단계로 축소시켰으며, 이에 따라 모델의 전체적인 규모와 연산 부하를 크게 줄일 수 있었다고 전했다.

GPU 사용량 절감 효과 및 실사용 사양

구체적으로, 기존 키미 K3 모델을 운용하기 위해서는 엔비디아의 최신 GPU인 B300 기준 8장이 필요했으나, 경량화 과정에서 25% 축소 모델은 6장, 50% 축소 모델은 4장만으로도 동일한 수준의 추론 성능을 유지할 수 있게 됐다고 노타는 밝혔다. 이는 특히 GPU 자원이 제한된 중소기업이나 연구 기관에서도 대형 언어 모델을 실무에 적용할 수 있는 문턱을 낮춘 것으로 평가된다. 노타는 이번 경량화 모델을 허깅페이스 모델 허브를 통해 일반 개발자 및 연구자 누구나 자유롭게 다운로드하고 사용할 수 있도록 공개했다고 덧붙였다.

향후 계획 및 산업적 의미

노타 채명수 대표는 이번 발표에서 '대형 언어 모델의 확산において 가장 큰 장벽 중 하나는 막대한 연산 자원 요구사항이었다'며, '우리 기술은 성능 손실을 최소화하면서도 효율을 radically 개선할 수 있는 실용적인 경로'라고 강조했다. 또한, 향후 다른 오픈소스 대형 모델에도 동일한 경량화 기술을 적용해 범용적인 AI 접근성 향상에 기여하겠다는 계획을 밝혔다. 노타는 이번 모델 공개가 생성형 AI의 민주화와 지속 가능한 AI 인프라 구축에 실질적인 기여를 할 것으로 기대하고 있다.

#노타#키미 K3#비균일 전문가 프루닝#허깅페이스#B300#경량화 모델

출처: AI타임스 · 이 기사는 오픈 기자가 원문 보도를 참고해 재구성했습니다.