오픈AI(OpenAI)가 코드 작성용 모델 '코덱스(Codex)'와 기업용 유료 서비스 'ChatGPT Work' 이용자를 대상으로 사용량 한도를 초기화하고 시스템 효율화 작업을 진행한다고 30일 밝혔다. 오픈AI는 이번 조치가 최근 사용자 급증으로 발생한 병목 현상에 대응하고 AI 에이전트 서비스의 안정성을 높이기 위한 것이라고 전했다.

배경·시장 의미

이번 업데이트는 오픈AI의 토큰 사용 한도 정책과 인프라 운영 상황을 재조정하는 성격을 띤다. 회사는 최근 수천 건의 사용자 제보를 바탕으로 비효율적인 토큰 소비가 발견돼 이를 개선했다고 설명했다. 업계에서는 생성형 AI 서비스의 사용자 증가가 연산 비용과 응답 지연 문제를 동시에 야기하고 있어, 공급자 측의 효율화 조치가 서비스 품질과 비용 구조에 직접적인 영향을 미칠 전망이다.

오픈AI의 조치 내용

오픈AI는 구체적으로 유료 사용자 대상의 사용량 한도(reset) 초기화와 함께 내부 시스템의 토큰 처리·자원 할당 알고리즘을 개선했다고 밝혔다. 티보 소티오(Tibo Sottieau) 오픈AI 코덱스 책임자는 X(구 트위터) 계정 공지를 통해 초기화 업데이트와 더불어 토큰 소비 효율을 대대적으로 개선했다고 알렸다. 회사는 작업 방식에 따라 사용자가 체감하는 효율이 기존 대비 10%에서 최대 50%까지 향상될 수 있다고 밝혔다.

회사 활동과 영향

오픈AI는 코덱스와 ChatGPT Work를 포함한 엔터프라이즈 대상 제품군의 안정성 확보를 위해 지속적으로 인프라 최적화와 소프트웨어 업데이트를 병행해 왔다. 이번 개선 작업은 사용자 쿼리 처리 과정에서 불필요하게 소모되던 토큰을 줄이는 방식과, 에이전트별 리소스 우선순위 조정 등이 포함된 것으로 알려졌다. 회사는 이와 함께 모니터링 강화와 추가적인 사용자 보고 수집을 이어갈 계획이라고 밝혔다.

성과의 원인

오픈AI가 체감 효율 개선을 얻은 배경으로는 문제 원인 파악을 위한 대규모 사용자 피드백 수집과, 토큰 관리 로직의 구조적 개편이 꼽힌다. 회사는 최근 제보를 통해 특정 API 호출 패턴과 프롬프트 구성에서 토큰 낭비가 반복되는 점을 확인했고, 이를 바로잡는 캐싱·요약·입출력 트리밍 등 기술적 보완을 적용했다고 전했다. 또한 우선순위 기반 스케줄링을 도입해 과부하 상황에서 핵심 작업의 응답성을 확보한 점도 성과 요인으로 제시됐다.

왜 중요한가

코덱스와 ChatGPT Work는 개발자와 기업 고객의 코드 생성·자동화 워크플로우에 직접적인 영향을 미치는 서비스다. 토큰 효율화는 이용 비용과 처리 지연을 줄여 실제 운영 환경에서의 채택 장벽을 낮출 수 있다. 업계 관측통은 이번 조치가 단기적 병목 완화뿐 아니라 장기적으로는 서비스 확장성 관리와 가격 경쟁력 개선으로 이어질 수 있다고 분석했다. 다만 오픈AI가 공개한 성과 수치의 적용 범위와 실사용자별 체감도에는 차이가 있을 수 있다고 덧붙였다.

오픈AI 코덱스 책임자는 "최근 제보를 바탕으로 비효율적 토큰 소비 원인을 대대적으로 개선했다"고 밝혔다. 이어 회사 관계자는 "고객과의 접점을 확대해 나갈 계획이다."고 말했다.

#오픈AI#Codex#ChatGPT Work#토큰 효율화#AI 인프라

출처: AI타임스 · 이 기사는 테크노트 기자가 원문 보도를 참고해 재구성했습니다.