본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

AI API 비용을 읽는 기본 단위: 토큰과 컨텍스트

핵심 먼저 읽기

AT A GLANCE

AI 서비스의 비용은 글자 수만으로 설명되지 않는다. 입력·출력 토큰, 컨텍스트 한도와 실제 사용량을 나누고 가상 단가로 호출 비용을 계산해 본다.

'AI API 비용을 읽는 기본 단위: 토큰과 컨텍스트'의 핵심 주제를 표현한 일러스트
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 4개 주제

AI 기능을 서비스에 붙이면 “글 한 편을 쓰는 데 얼마가 드는가”라는 질문이 생긴다. 답변 길이만 보고 예산을 잡으면 긴 참고자료나 반복 호출 비용을 놓치기 쉽다. 먼저 모델이 처리한 양을 세는 토큰과, 한 번에 다룰 수 있는 범위를 뜻하는 컨텍스트를 구분하자.

토큰은 글자 수와 같은 단위가 아니다

토큰은 모델이 텍스트를 처리하는 단위다. 한 글자나 단어 일부, 단어 전체, 문장부호 등이 토큰이 될 수 있다. 같은 글도 사용하는 모델과 인코딩, 언어에 따라 토큰 수가 달라진다. 그래서 영어에 쓰는 대략적인 글자 수 환산을 한국어 문서에 그대로 적용하면 비용 추정이 빗나갈 수 있다.[1]

입력 토큰에는 질문뿐 아니라 함께 보낸 지침과 자료 등이 들어간다. 출력 토큰은 모델이 생성하는 양이다. 일부 추론 모델은 화면에 보이는 답변 외에 내부 추론에 사용한 토큰도 출력 사용량에 포함한다. 따라서 짧은 답변이 항상 적은 사용량을 뜻하지는 않는다.[1] 운영자는 글자 수보다 실제 응답에 기록된 사용량을 기준으로 비용을 점검하는 편이 정확하다.

가상 단가로 호출 한 번을 계산해 보자

계산 연습을 위해 입력 100만 토큰당 1,000원, 출력 100만 토큰당 4,000원이라고 가정하자. 이는 어떤 서비스의 실제 가격도 아니며, 환율·세금·추가 도구 사용료를 제외한 가상의 단가다. 한 번의 작업이 입력 8,000토큰과 출력 2,000토큰을 사용했다면 다음과 같다.

입력 비용은 8,000 ÷ 1,000,000 × 1,000 = 8원이다. 출력 비용은 2,000 ÷ 1,000,000 × 4,000 = 8원이다. 합계는 16원이며 동일한 작업을 10번 실행하면 160원이다. 같은 단가에서 입력이 80,000토큰으로 늘면 입력 80원과 출력 8원을 더해 88원이 된다. 답변 길이가 같아도 참고자료의 양에 따라 비용이 달라지는 이유다.

실제 요금표를 볼 때는 입력·출력·캐시 입력 등의 항목을 구분해야 한다. 도구 호출이나 저장공간 등에는 토큰과 다른 과금 단위가 적용될 수도 있다.[3] “100만 토큰 가격” 하나만 비교하면 전체 작업의 비용을 설명하지 못한다.

컨텍스트는 예산이 아니라 처리 범위다

컨텍스트 창은 한 요청에서 모델이 사용할 수 있는 토큰의 최대 범위다. 입력과 출력, 모델에 따라 추론 토큰까지 고려해야 하며, 출력 자체의 최대 한도도 별도로 존재할 수 있다.[2] 큰 컨텍스트가 제공된다고 그 양을 매번 전부 보내야 하는 것은 아니다.

예를 들어 가상의 컨텍스트 한도가 20,000토큰이고 입력이 18,000토큰이라면 단순 차이는 2,000토큰이다. 그렇다고 모든 모델에서 화면에 보이는 답변 2,000토큰을 반드시 받을 수 있다는 뜻은 아니다. 추론 사용량과 별도 출력 한도, 요청 구성까지 확인해야 한다. 이 숫자 역시 특정 모델 사양이 아닌 개념 설명용이다.

자동화 예산은 완성 결과 한 건으로 관리하자

실무 점검표는 네 가지면 시작할 수 있다. 첫째, 대표적인 짧은 자료와 긴 자료를 각각 시험해 입력·출력 사용량을 기록한다. 둘째, 같은 자료를 작업마다 반복해서 보내는지 확인한다. 셋째, 초안 작성과 수정, 실패 뒤 재시도 등 한 결과물이 완성될 때까지 실제 몇 번 호출되는지 센다. 넷째, 토큰 비용과 검색·이미지 등 부가 기능 비용을 분리해 합산한다.

예를 들어 글 10편을 만들었지만 수정 과정까지 25번 호출했다면 예산의 출발점은 10회가 아니라 실제 25회의 사용량이다. 모두 앞서 가정한 16원짜리 호출이라면 400원이고, 완성 글 한 편당 평균은 40원이다. 실제 작업에서는 호출마다 사용량이 다르므로 이 계산의 숫자를 운영 기록으로 바꿔야 한다.

비용을 줄인 뒤에는 결과의 정확성과 필요한 정보가 유지되는지도 함께 확인하자. 단가와 토큰 수는 비용 측정의 기준이고, 좋은 결과를 보장하는 지표는 아니다. 현재 요금과 모델 한도는 바뀔 수 있으므로 운영 시점의 공식 문서와 사용량 기록을 기준으로 예산을 갱신하면 된다.[1][2][3]

이 글에서 생긴 질문을 다른 관점으로 이어 읽어보세요.

CONNECTED NOTES

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
OpenAI

Understanding and counting tokens

↗
02
OpenAI

Conversation state

↗
03
OpenAI

Pricing

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗