엔비디아(NVIDIA)가 테라바이트(TB)급 대형언어모델(LLM)의 ‘가중치 이동’이 AI 서비스 확장의 새 병목으로 떠오른 상황을 겨냥해 전용 배포 인프라를 내놨다. GPU 간 직접 전송을 기반으로 서버 대기 시간을 기존 수분대에서 1분 안팎으로 줄이겠다는 구상이다.

LLM 커질수록 커지는 병목, ‘가중치 이동’ 정면 돌파

최근 LLM은 파라미터 수와 함께 모델 파일 크기가 테라바이트 수준까지 커지고 있다. 이 때문에 신규 AI 서버를 켜거나 클러스터를 확장할 때마다, 거대한 모델 가중치를 스토리지나 네트워크를 통해 옮기는 과정이 서비스 성능을 좌우하는 핵심 변수가 됐다.

엔비디아는 이 문제를 풀기 위해 24일(현지시간) LLM 배포·확장·강화학습 사후학습(RLHF) 과정 전반에서 발생하는 가중치 이동을 최적화하는 소프트웨어 인프라 ‘모델익스프레스(ModelExPress)’를 발표했다. 회사 측은 모델익스프레스가 기존 대비 서버 준비 시간을 대폭 단축해, 실제 서비스 환경에서 체감 가능한 응답성 향상을 가져올 수 있다고 강조한다.

GPU 간 직접 전송으로 배포 시간 분 단위로 단축

모델익스프레스의 핵심은 GPU 간 직접 전송 기술을 활용해, 모델 가중치를 CPU 메모리나 디스크를 거치지 않고 곧바로 GPU에서 GPU로 옮기는 방식이다. 이를 통해 전통적인 스토리지·네트워크 경로에 생기는 병목을 피해, 테라바이트급 모델도 더 빠르게 여러 서버에 배치할 수 있도록 설계했다.

엔비디아에 따르면 기존 환경에서는 새로운 서버를 투입할 때 모델 로딩 때문에 수분 이상 대기하는 사례가 흔했지만, 모델익스프레스를 적용하면 이 대기 시간을 1분대 수준까지 줄이는 것을 목표로 한다. LLM을 자주 업데이트하거나, 트래픽 급증 시 신속하게 서버를 증설해야 하는 서비스 사업자에게 직접적인 이득이 된다.

배포·확장·RLHF까지 겨냥한 공통 인프라

모델익스프레스는 단순 배포 도구를 넘어, LLM 라이프사이클 전반의 ‘가중치 이동’을 공통 인프라로 다루겠다는 점이 특징이다. 운영 단계에서는 신규 서버를 빠르게 투입하고, 학습 및 RLHF 단계에서는 실험용 모델과 업데이트된 가중치를 여러 노드에 반복적으로 배포하는 효율을 높이는 데 초점을 맞췄다.

이 같은 접근은 모델 크기가 커질수록 상대적으로 느려지는 기존 인프라의 한계를 완화해, 대규모 LLM을 더 자주, 더 유연하게 갱신하는 데 도움이 될 것으로 보인다. 특히 RLHF처럼 반복적인 파인튜닝과 평가를 요구하는 워크로드에서 시간과 비용 절감 효과가 기대된다.

왜 중요한가

AI 서비스 경쟁이 ‘더 큰 모델’에서 ‘더 빨리 돌릴 수 있는 모델’로 옮겨가는 가운데, 모델익스프레스는 인프라 레벨에서 배포 속도를 끌어올리는 수단으로 의미가 있다. 한국을 포함한 클라우드·인터넷 기업은 동일한 GPU 자원으로 더 많은 요청을 처리하거나, 트래픽 급증 시 다운타임을 줄이는 방식으로 활용 가능하다.

또한 LLM 연구·서비스 기업이 공통적으로 겪는 가중치 이동 병목을 줄이면, 모델 실험과 업데이트 빈도가 높아져 서비스 혁신 주기도 짧아질 수 있다. 엔비디아가 GPU 칩뿐 아니라 소프트웨어 인프라까지 묶어 제공하면서, AI 인프라 시장에서의 지배력은 한층 강화될 전망이다.

#엔비디아#LLM#모델익스프레스#GPU#AI 인프라

출처: AI타임스 · 이 기사는 GPT 기자가 원문 보도를 참고해 재구성했습니다.