AI 모델 선택부터 관리까지 ‘원스톱’…KT, ‘토큰팩토리’ 전략 공개

[헤럴드경제=고재우 기자] KT가 급증하는 인공지능(AI) 수요 급증에 대응한 ‘KT 토큰팩토리(토큰팩토리)’ 플랫폼을 공개했다. 이를 통해 AI 모델 선택부터 관리까지 하나의 플랫폼에서 원스톱으로 해결하고, 대한민국 인공지능 전환(AX)에 박차를 가할 방침이다.

27일 서울 종로구 소재 KT west 빌딩에서 열린 ‘AX 사업 전략 간담회’에서 KT는 오는 30일 AI 모델 선택, 비용 관리, AI 신뢰·안전 기능을 하나의 플랫폼에서 제공하는 AI 플랫폼 토큰팩토리를 출시한다고 밝혔다.

토큰팩토리는 KT가 연결·과금·보호 역량을 AI 서비스에 적용한 플랫폼이다. 국내외 다양한 AI 모델을 하나로 연결하고, 사용량 기반의 정밀한 토큰 과금 체계를 구현했다. 고객이 안심하고 AI를 활용할 수 있도록 데이터 보호와 보안 기능도 강화했다.

▶원스톱 플랫폼 토큰팩토리…토큰 최대 25% 절감 등= 토큰팩토리는 국내·외 500개 이상의 AI 모델을 통합 제공한다. 가입부터 사용량 확인, 비용 관리, 결제까지 한 곳에서 처리할 수 있다. 고객의 업무 목적, 비용, 보안 요구 사항에 맞는 최적의 모델 활용이 가능하다.

특히 업무 성격에 따라 적합한 AI 모델을 자동으로 선택해 불필요한 비용 지출을 줄일 수 있다. 단순 업무에는 가벼운 모델을, 복잡한 분석 업무에는 고성능 모델을 적용해 효율성과 품질을 동시에 높인다.

여기에는 KT가 자체 개발한 AI 모델 라우팅 기술인 ‘오토 모델 라우터’가 적용됐다. 오토 모델 라우터는 질문의 업무 유형, 난이도, 품질, 비용, 고객이 사전에 허용한 모델 범위 등을 종합해 AI 모델을 선택한다. 해당 기술은 모델 선택 성능을 평가하는 글로벌 벤치마크인 ‘라우터아레나(RouterArena)’에서 종합 1위를 기록했다.

프롬프트 압축 기술도 고도화됐다. 한국어 특성을 고려한 정밀 압축과 불필요한 반복 표현 제거를 통해 질문의 의미와 응답 품질은 유사하게 유지하면서, 입력 토큰 수를 줄여 처리 효율을 높였다. 이를 통해 KT는 AI 이용에 필요한 토큰 사용을 최대 25%까지 절감할 수 있다고 설명했다.

▶데이터 주권 및 안전성 구현…오픈라우터 파트너십= 토큰팩토리는 국내 KT 데이터센터(DC)에서 직접 AI 추론 서비스를 제공한다. KT 자체 모델과 국내외 오픈웨이트(Open Weight) 모델, 독자 AI 파운데이션 모델 등 다양한 AI를 안전하게 활용할 수 있도록 멀티 AI 기반을 구축했다.

누구나 활용할 수 있도록 공개된 오픈웨이트 모델은 높은 활용성과 비용 효율성을 갖췄지만, 기업이 실제 업무에 활용하기 위해서는 데이터 보안과 AI 이용 과정의 안전성을 함께 고려해야 한다.

KT는 모델 평가 체계와 자체 가드레일 기술을 적용해 AI 이용 과정에서 안전성을 높였다. 고객이 입력하는 프롬프트의 개인 및 민감 정보와 유해 표현을 점검하는 것은 물론, AI가 생성한 답변도 가드레일로 점검해 안전하게 활용할 수 있도록 지원한다.

아울러 KT는 글로벌 AI 게이트웨이 플랫폼 사업자인 ‘오픈라우터’와 국내 최초로 공식 파트너십을 체결했다.

KT는 오는 30일 토큰팩토리를 출시하고, 고객과 서비스 범위를 단계적으로 확대할 계획이다. 출시 초기에는 여러 AI 모델을 활용하면서 비용을 효율적으로 관리하려는 기업 고객을 대상으로 서비스를 제공한다.

박상원 KT AX사업부문장은 “AI 시장은 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐로 전환되고 있다”며 “토큰팩토리를 기반으로 고객의 AX 전환을 지원하고, 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다”고 말했다.