본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

같은 앞부분을 다시 보내면 무엇을 아끼나, OpenAI의 2024년 프롬프트 캐싱

2024년 10월 1일 공개된 예제는 결과 문장이 아니라 반복 입력의 앞부분을 재사용하는 방식을 설명했다.

핵심 먼저 읽기

AT A GLANCE
  • OpenAI는 2024년 10월 1일 API의 프롬프트 캐싱을 공개하고, 반복되는 입력의 앞부분을 재사용하는 예제를 게시했다.
  • 당시 예제에서는 공통 지시와 예시를 앞에, 매번 바뀌는 내용을 뒤에 둬 같은 앞부분이 이어지는 경우를 보여 줬다.
  • 응답에 표시된 캐시 적중 토큰은 재사용한 입력의 양이다. 이전 답변을 꺼내 준 횟수나 전체 호출의 절감률은 아니다.
앞부분이 같은 두 겹의 종이 리본을 그린 수채 삽화
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 5개 주제

프롬프트는 모델에 전달하는 입력이다. 한 서비스가 매번 같은 안내문을 보내더라도 사용자마다 덧붙이는 질문은 달라질 수 있다. 그동안 앞부분을 처리해 둔 결과를 쓸 수 있으면 새로운 부분을 더해 응답을 만들 수 있다. 이 발표를 이해하려면 ‘어떤 내용을 반복해서 읽는가’와 ‘매번 어떤 새 결과를 만들어야 하는가’를 나눠 보면 된다. [1]

문서의 같은 구절과 입력의 같은 앞부분

이 기능에서 앞부분은 입력의 첫 지점부터 연속으로 일치하는 구간을 가리킨다. 공통 지시문이 뒤쪽에 있어도 그 앞에 다른 질문이 나오면, 같은 지시가 들어 있다는 이유만으로 그 전체가 일치하는 앞부분이 되지는 않는다. 반대로 동일한 안내와 예시를 먼저 두고 바뀌는 질문을 뒤에 붙이면 공통 구간이 앞에서 길게 이어진다. 당시 예제는 문자열뿐 아니라 이미지나 도구 설명이 들어가는 경우에도 같은 내용과 순서를 맞추는 문제를 설명했다. [1]

토큰은 모델이 입력을 처리할 때 사용하는 단위다. 글자 한 개나 단어 한 개와 항상 일치하지는 않는다. 당시 문서는 1,024토큰 수준의 기준을 넘는 긴 입력을 설명했고, 캐시 적중 여부를 입력 토큰 수로 표시했다. 한국어 글자 수를 그대로 세어 기준을 넘는지 판정할 수는 없다. 화면에서 같은 문장처럼 보이더라도 순서가 달라지면 실제 입력의 공통 구간을 다시 확인해야 한다. [1]

배송 질문을 바꿔 보내는 가상의 예

가상의 예로 한 온라인 상점이 배송 정책과 상담원용 안내, 여러 응답 예시를 매번 먼저 보내고 끝에 고객 질문을 붙인다고 하자. 첫 질문은 도착일이고 두 번째는 주소를 고칠 수 있는지라고 가정한다. 두 요청에서 긴 공통 안내의 순서와 내용이 같다면 바뀐 것은 뒤쪽의 질문이다. 앞부분을 재사용하더라도 두 질문에는 다른 답이 필요하다. 같은 작업을 다시 하기 위해 응답을 복사하는 방식과 여기서의 입력 처리 재사용은 다르다.

같은 자료를 보냈어도 질문을 항상 앞에 놓으면 처음 달라지는 위치가 앞쪽으로 당겨진다. 중간에 개인화 문구가 들어가는 경우에는 그 뒤로 같은 안내가 이어져도 처음부터 계속 일치한 구간에는 포함되지 않는다. 이 두 배치를 나란히 보는 이유는 전체 문서 중 반복된 문장의 양보다 시작점부터 무엇이 이어지는지가 중요하기 때문이다. 예시는 원리를 설명하기 위한 것이며 실제 서비스의 캐시 결과를 보장하지 않는다. [1]

공개 예제에서 적중 숫자가 뜻하는 것

당시 공식 예제는 응답의 사용량 항목에서 캐시가 적용된 입력 토큰 수를 확인하는 방법을 설명했다. 예를 들어 전체 입력이 가상의 2,000토큰이고 표시된 캐시 적중이 1,280토큰이면, 입력 토큰 수 기준으로 64%가 적중했다는 계산이 가능하다. 이것은 총 비용이나 전체 응답 시간이 정확히 64% 줄었다는 뜻이 아니다. 나머지 입력을 처리하는 비용과 새 출력 생성은 따로 남아 있다. [1][2]

캐시가 적용되지 않았을 때 사용량에서 적중 토큰이 0으로 표시될 수 있다는 점도 중요하다. 앞부분이 달라졌거나 앞부분을 아직 재사용할 수 없는 경우에는 입력을 처리해야 한다. 적중 토큰 수만으로 문서 전체를 저장했는지, 어떤 문장이 새로 생성됐는지, 응답 내용이 더 정확한지는 확인할 수 없다. 공개 예제가 보여 준 것은 재사용한 입력을 관찰하는 기준이었다. [1]

작은 입력에서 적중량이 늘어난 결과와 많은 요청에서 지속해서 재사용한 결과도 다르다. 예제 하나의 응답으로는 이후 호출에서도 같은 비율이 유지될지 알 수 없다. 어떤 입력 앞부분이 반복됐는지와 얼마나 자주 달라지는지를 함께 기록해야 다음 측정에서 비교할 기준이 생긴다. 이 수치는 반복을 확인하는 도구이며, 모델이 사용자의 질문에 맞는 답을 했는지 확인하는 평가와는 별개다. [1][2]

발표의 범위를 기록하는 방법

당시 문서를 인용할 때에는 날짜와 함께 어떤 모델이나 API의 안내인지 구분하는 것이 좋다. 10월 1일 예제로는 반복 입력을 처리하는 방법과 사용량 표시를 확인할 수 있지만 이후의 가격, 지원 범위, 데이터 보존 방식까지 같은 상태라고 단정할 수 없다. 같은 모델이라도 요청 형식과 입력이 바뀌면 실제 적중량은 달라질 수 있다. 과거 발표를 읽는 목적과 지금 쓸 제품의 조건을 확인하는 목적은 다른 자료를 요구한다. [1][2]

개발 기록에 남길 수 있는 한 가지 방법은 입력 전체의 토큰 수와 재사용된 토큰 수를 분리하고, 어떤 공통 내용이 요청 앞에 있었는지도 함께 남기는 것이다. 그러면 같은 답이 되풀이됐다는 인상 대신 반복 처리 구간이 얼마나 있었는지 확인할 수 있다. 이 사례에서 2024년 발표가 새로 알려 준 내용은 입력의 공통 앞부분을 다시 처리하는 일을 줄일 수 있다는 점이다. 실제 응답의 품질과 호출 비용은 별도의 측정이 필요하다. [1][2]

발표의 세부 항목을 대조하면

당시 예제는 여러 번 이어지는 대화에서 기존 순서를 유지한 채 새 메시지를 끝에 덧붙이는 경우도 다뤘다. 반대로 앞의 도구 정의 순서를 바꾸면 뒤쪽에 같은 대화가 들어 있어도 동일한 앞부분의 범위가 달라질 수 있다. 기능의 이름만 보고 앱 안에 별도의 결과 저장소를 만들었다고 생각할 필요는 없다. 예제가 다룬 것은 모델에 보내는 입력의 구성과 응답에서 그 재사용을 확인하는 방법이었다. [1]

입력의 어느 부분을 그대로 둘 수 있는지 검토할 때에는 공통 규칙과 개별 주문 정보가 실제로 다른 역할을 하는지도 살펴야 한다. 배송 정책은 여러 고객에게 공통이지만 주문 번호나 배송지는 고객마다 다르다. 편집상 똑같은 지시를 앞에 배치할 수 있어도, 사용자가 묻는 일에 필요한 조건을 뒤에서 빠뜨리면 답은 달라질 수 있다. 입력 처리의 효율과 질문에 필요한 정보의 충실성은 따로 확인해야 한다.

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
OpenAI

Prompt Caching 101

↗
02
OpenAI

OpenAI API Changelog: October 1, 2024

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗