AI 기능을 서비스에 붙이면 “글 한 편을 쓰는 데 얼마가 드는가”라는 질문이 생긴다. 답변 길이만 보고 예산을 잡으면 긴 참고자료나 반복 호출 비용을 놓치기 쉽다. 먼저 모델이 처리한 양을 세는 토큰과, 한 번에 다룰 수 있는 범위를 뜻하는 컨텍스트를 구분하자.
토큰은 글자 수와 같은 단위가 아니다
토큰은 모델이 텍스트를 처리하는 단위다. 한 글자나 단어 일부, 단어 전체, 문장부호 등이 토큰이 될 수 있다. 같은 글도 사용하는 모델과 인코딩, 언어에 따라 토큰 수가 달라진다. 그래서 영어에 쓰는 대략적인 글자 수 환산을 한국어 문서에 그대로 적용하면 비용 추정이 빗나갈 수 있다.[1]
입력 토큰에는 질문뿐 아니라 함께 보낸 지침과 자료 등이 들어간다. 출력 토큰은 모델이 생성하는 양이다. 일부 추론 모델은 화면에 보이는 답변 외에 내부 추론에 사용한 토큰도 출력 사용량에 포함한다. 따라서 짧은 답변이 항상 적은 사용량을 뜻하지는 않는다.[1] 운영자는 글자 수보다 실제 응답에 기록된 사용량을 기준으로 비용을 점검하는 편이 정확하다.
가상 단가로 호출 한 번을 계산해 보자
계산 연습을 위해 입력 100만 토큰당 1,000원, 출력 100만 토큰당 4,000원이라고 가정하자. 이는 어떤 서비스의 실제 가격도 아니며, 환율·세금·추가 도구 사용료를 제외한 가상의 단가다. 한 번의 작업이 입력 8,000토큰과 출력 2,000토큰을 사용했다면 다음과 같다.
입력 비용은 8,000 ÷ 1,000,000 × 1,000 = 8원이다. 출력 비용은 2,000 ÷ 1,000,000 × 4,000 = 8원이다. 합계는 16원이며 동일한 작업을 10번 실행하면 160원이다. 같은 단가에서 입력이 80,000토큰으로 늘면 입력 80원과 출력 8원을 더해 88원이 된다. 답변 길이가 같아도 참고자료의 양에 따라 비용이 달라지는 이유다.
실제 요금표를 볼 때는 입력·출력·캐시 입력 등의 항목을 구분해야 한다. 도구 호출이나 저장공간 등에는 토큰과 다른 과금 단위가 적용될 수도 있다.[3] “100만 토큰 가격” 하나만 비교하면 전체 작업의 비용을 설명하지 못한다.
컨텍스트는 예산이 아니라 처리 범위다
컨텍스트 창은 한 요청에서 모델이 사용할 수 있는 토큰의 최대 범위다. 입력과 출력, 모델에 따라 추론 토큰까지 고려해야 하며, 출력 자체의 최대 한도도 별도로 존재할 수 있다.[2] 큰 컨텍스트가 제공된다고 그 양을 매번 전부 보내야 하는 것은 아니다.
예를 들어 가상의 컨텍스트 한도가 20,000토큰이고 입력이 18,000토큰이라면 단순 차이는 2,000토큰이다. 그렇다고 모든 모델에서 화면에 보이는 답변 2,000토큰을 반드시 받을 수 있다는 뜻은 아니다. 추론 사용량과 별도 출력 한도, 요청 구성까지 확인해야 한다. 이 숫자 역시 특정 모델 사양이 아닌 개념 설명용이다.
자동화 예산은 완성 결과 한 건으로 관리하자
실무 점검표는 네 가지면 시작할 수 있다. 첫째, 대표적인 짧은 자료와 긴 자료를 각각 시험해 입력·출력 사용량을 기록한다. 둘째, 같은 자료를 작업마다 반복해서 보내는지 확인한다. 셋째, 초안 작성과 수정, 실패 뒤 재시도 등 한 결과물이 완성될 때까지 실제 몇 번 호출되는지 센다. 넷째, 토큰 비용과 검색·이미지 등 부가 기능 비용을 분리해 합산한다.
예를 들어 글 10편을 만들었지만 수정 과정까지 25번 호출했다면 예산의 출발점은 10회가 아니라 실제 25회의 사용량이다. 모두 앞서 가정한 16원짜리 호출이라면 400원이고, 완성 글 한 편당 평균은 40원이다. 실제 작업에서는 호출마다 사용량이 다르므로 이 계산의 숫자를 운영 기록으로 바꿔야 한다.
비용을 줄인 뒤에는 결과의 정확성과 필요한 정보가 유지되는지도 함께 확인하자. 단가와 토큰 수는 비용 측정의 기준이고, 좋은 결과를 보장하는 지표는 아니다. 현재 요금과 모델 한도는 바뀔 수 있으므로 운영 시점의 공식 문서와 사용량 기록을 기준으로 예산을 갱신하면 된다.[1][2][3]
