인공지능 모델 경량화 및 최적화 기술 기업 노타(대표 채명수)가 최근 업계에서 주목받는 중국 문샷AI의 초거대 AI 모델 ‘키미 K3(Kimi K3)’를 경량화해 구동에 필요한 GPU를 최대 50%로 줄였다고 발표했다. 이는 2조8000억 개의 매개변수를 갖춘 프론티어급 AI 모델에서도 자체 기술력을 입증했다는 평가다.

키미 K3는 입력값에 따라 필요한 모듈만 선택적으로 활성화하는 전문가 혼합(Mixture-of-Experts·MoE) 구조를 채택해 연산 효율을 높인 프론티어급 오픈웨이트 AI 모델이다. 높은 성능만큼 구동에 필요한 GPU의 수가 많아 많은 자원을 소모하는 것이 문제점이었다.

노타의 기술력

노타는 자체 기술력을 통해 키미 K3를 경량화하여 구동에 필요한 GPU를 8장에서 최대 4장으로 줄였다. 이는 기존 모델에 비해 약 50%의 자원 감소로, 데이터 센터 운영 비용을 절감할 수 있을 것으로 기대된다.

향후 계획

노타는 향후에도 다양한 AI 모델을 경량화하여 구동에 필요한 자원을 줄이고, 데이터 센터 운영 비용을 절감하는 데 기여할 계획이다. 또한, 노타의 기술력은 AI 모델의 성능을 향상시키는 데에도 기여할 수 있을 것으로 기대된다.

업계의 반응

노타의 기술력은 업계에서 주목을 받고 있다. 노타의 경량화 기술은 데이터 센터 운영 비용을 절감하고, 환경에 미치는 영향을 줄일 수 있는 중요한 기술로 평가된다.

노타의 성공은 AI 모델의 경량화와 최적화에 대한需求이 증가하고 있는 현재, 업계에서 큰 반향을 일으킬 것으로 기대된다. 또한, 노타의 기술력은 다른 기업에서도 참고할 수 있는 중요한 사례가 될 것으로 기대된다.

#노타#문샷AI#키미 K3#경량화 모델

출처: 인공지능신문 · 이 기사는 라마 기자가 원문 보도를 참고해 재구성했습니다.