AI 토큰 최적화 사업
AI 토큰 최적화 · 첫 20위 진입 2026년 11월 15일 09:45 · 통합 최고 6위 · 20위 이내 관측 1시간
자체 기술 검증에서는 코딩 운영 비용을 약 90% 줄인 사례를 제시했다. 익시오와 AI컨택센터, 사내 개발 업무에서 축적한 경험을 활용해 토큰 단가뿐 아니라 업무 하나를 끝내는 데 드는 총비용을 줄이겠다는 구상이다.[1][2]
LG유플러스가 내년 기업 간 거래 시장에서 토큰 사업을 시작한다. AI 통화 에이전트 익시오와 AI컨택센터 등에서 쌓은 모델 운영 경험을 기업 고객에게 적용할 계획이다. 협력사와 제휴하는 방식과 자체 인프라를 구축하는 방식을 함께 추진한다.[2][1]
사업의 기준은 AI를 이용해 실제 업무를 완료하는 데 들어가는 총비용이다. 토큰은 AI가 입력과 출력을 처리하는 단위이자 이용료를 계산하는 기준이다. LG유플러스는 개별 토큰의 가격을 낮추는 것과 함께, 같은 업무에 소모되는 토큰과 연산 자원을 줄이는 데 초점을 맞췄다.[1]
이상엽 최고기술책임자는 고객이 원하는 결과를 경제적으로 완수하는 능력이 중요해졌다고 설명했다. 회사는 자체 경량 모델과 외부 고성능 모델을 업무에 따라 조합하는 방식을 제시했다.[2][3]
에이전트 확산과 비용 부담
AI 에이전트는 질문에 답하는 데서 그치지 않고 목표를 달성하기 위해 여러 작업을 수행한다. 정보를 검색하고 결과를 분석한 뒤 검증하거나 도구를 다시 호출하는 과정이 이어진다. 하나의 업무에서도 추론이 반복되기 때문에 토큰 사용량이 늘어날 수 있다.[3][1]
이혜진 기술전략담당은 모델 이용 단가가 내려가도 사용량 증가로 전체 지출은 커질 수 있다고 설명했다. AI 에이전트가 불필요한 검색과 평가를 반복하면 낮은 단가의 효과가 줄어든다는 것이다. 회사는 이런 비용 구조에 대응하려면 모델 선택뿐 아니라 업무 수행 경로까지 함께 조정해야 한다고 밝혔다.[3][2][1]
이를 위한 기술 중 하나가 에이전트의 행동을 제어하는 하네스 엔지니어링이다. 질문 유형에 맞춰 처리 경로를 정하고 허용된 도구 안에서 작업하도록 만드는 방식이다. 불필요한 탐색과 중복 검증을 줄여 답변 품질을 유지하면서 토큰 소비를 낮추는 것을 목표로 한다.[3][1]
내부 검증의 절감 성과
동일한 인프라에서 연산 처리 효율을 최대 4배 높인 성과도 제시했다. 이 수치는 회사가 수행한 기술 검증 결과다.[2]
업무 난도에 맞는 모델을 선택하는 라우팅 기술은 별도로 시험했다. 내부 시험에서 일반 질문 처리 비용은 25% 이상, 코딩 에이전트 운영 비용은 30% 이상 줄였다는 설명이다. 자체 모델 도입으로 코딩 비용을 약 90% 낮춘 사례와 모델 라우팅의 절감률은 서로 다른 검증 결과다.[1][2]
라우팅은 간단한 번역이나 요약에 경량 모델을 쓰고 복잡한 추론에 고성능 모델을 배치하는 방식이다. 회사는 같은 질문을 큰 모델과 작은 모델에 보내 답변을 비교하고 평가한다고 설명했다. 이런 결과를 대규모로 축적하고 유형화해 어떤 업무를 작은 모델에 맡길지 판단하는 정확도를 높이고 있다.[3][1]
경량화와 서비스 적용
모델 자체를 줄이고 답변 생성 속도를 높이는 연구도 진행했다. 회사는 온디바이스 모델을 기존 2.4~3GB에서 약 800MB로 줄이면서 비교 대상 클라우드 모델의 95% 이상 성능을 확보했다고 밝혔다. 작은 모델이 먼저 답을 만들고 큰 모델이 검증하는 추론 기술 등으로 토큰 생성 속도를 2배 이상 높였다는 설명이다.[2]
인프라에서는 엔비디아와 AMD의 GPU, 국산 NPU를 함께 활용하는 방식을 검증하고 있다. 연산량이 많은 작업과 메모리 대역폭이 중요한 작업을 구분해 적합한 반도체에 배분하는 구상이다. 퓨리오사AI와는 2년 넘게 협력하며 NPU를 검증하고 있으며, 서로 다른 장비의 특성을 활용해 운영 원가를 줄이려 한다.[1][2]
익시오는 초기 온디바이스 모델과 구글 제미나이를 함께 사용한 뒤 자체 모델과 엑사원 등의 활용 비중을 조정했다. 사내 개발자용 코딩 도구에도 자체 모델을 적용하고 있다. 연말 카카오와 협력하는 모두의 AI에서 모델 운영을 맡고, 여기서 확보할 운영 데이터와 경험도 기업용 사업에 반영할 계획이다.[2]
사건 경과
기사 기준 2026-11-15 · 해설 수정 2026-11-17