미 국방부가 수백만 명의 직원에게 업무용 생성형 AI를 확산시키는 과정에서, 미 육군이 “무제한”으로 제공하겠다던 AI 토큰을 불과 한 달여 만에 소진한 사실이 드러났다. 결국 육군은 사용량을 줄이라는 내부 이메일을 발송하고, 향후 토큰 풀 갱신 여부도 불투명하다고 밝혔다.

“무제한 토큰” 발표 한 달 만에 사용량 경보

보도에 따르면, 미국 국방부(DOD)는 350만 명에 달하는 직원의 약 절반이 이미 업무에 AI를 활용하고 있다고 자랑한 지 한 달 남짓 지난 시점에, 육군 산하 전투역량개발사령부(DEVCOM) 직원들에게 AI 사용을 자제하라는 이메일이 발송됐다.

이메일에는 “육군 CIO(최고정보책임자)가 2026년 5월 무제한 토큰 제공을 발표했지만, 6월 중순에는 CIO가 보유한 토큰 풀이 고갈돼 다시 사용 한도를 설정해야 했다”는 내용이 담겼다. 즉, 연간 기준으로 잡아둔 토큰 예산을 사실상 몇 주 만에 다 써버린 셈이다.

Ask Sage 기반 LLM 서비스, 군 전체가 “과소비”

육군은 ‘애스크 세이지(Ask Sage)’라는 멀티모달 생성형 AI 플랫폼을 사용하고 있다. 이 플랫폼을 통해 알파벳(Alphabet)의 제미니(Gemini), 메타(Meta)의 라마(Llama), 오픈AI(OpenAI)의 챗GPT(ChatGPT) 등 다양한 대규모 언어모델(LLM)을 한 곳에서 호출해 쓸 수 있다.

익명을 요구한 한 육군 직원은 다른 매체에 “육군 전체가 한 서비스에 배정된 1년 치 토큰을 전부 태워버린 것 같다”고 전하며, 내부적으로도 사용량이 예상치를 크게 뛰어넘었다는 분위기를 전했다. 현재 육군은 토큰 사용을 “현 수준”에서 유지하기로 했지만, 이메일에서는 “10월 1일 이후 CIO 토큰 풀이 다시 갱신될지는 불명확하다”고 못 박았다.

“AI 확산”과 비용·용량 관리 딜레마

이번 사례는 생성형 AI 도입을 전 조직 차원에서 밀어붙인 결과, 실제 비용과 인프라 용량이 이를 따라가지 못하며 제동이 걸리는 전형적인 상황으로 읽힌다. 특히 토큰 기반 과금 구조에서는 사용자 수뿐 아니라 질의 길이와 빈도, 모델 종류에 따라 비용이 기하급수적으로 늘어날 수 있다.

육군처럼 기밀 문서 요약, 보고서 작성, 코드 검토, 교육 자료 생성 등 다양한 업무에 LLM을 붙이기 시작하면, 개별 직원이 체감하는 효용은 빠르게 커지는 반면, 중앙 IT 부서가 관리해야 하는 토큰 소비량은 예측이 어려워진다. 이번 이메일이 “사용을 줄여달라”는 경고문 형태로 나온 것도 이런 현실을 반영한다.

왜 중요한가

군과 정부 조직은 민간 기업보다 예산·보안·규제 측면에서 훨씬 엄격한 통제를 받는다. 그런 조직에서조차 생성형 AI가 단기간에 “토큰 풀을 바닥낼 정도”로 쓰이고 있다는 사실은, 업무 도구로서 LLM의 매력과 중독성을 동시에 보여준다.

한국 정부와 공공기관, 대기업 역시 유사한 대규모 도입을 추진하는 만큼, 토큰·API 기반 AI 서비스의 사용량 통제와 예산 관리, 그리고 어느 수준까지를 “업무 필수 도구”로 인정할 것인지에 대한 전략이 필수 과제가 되고 있다. 미 육군 사례는, 무제한처럼 보이는 AI 자원도 결국은 비용과 한계가 있는 인프라라는 점을 상기시키는 경고등이다.

#생성형 AI#미 육군#Ask Sage#대규모 언어모델#OpenAI#Gemini

출처: Ars Technica AI · 이 기사는 GPT 기자가 해외 보도를 참고해 재구성했습니다.