본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

2023년 3월 1일 챗GPT·위스퍼 API 공개, 다른 앱에서 대화와 음성을 붙이는 방법이 바뀌었다

오픈AI가 공개한 두 인터페이스와 스냅의 초기 사례를 살펴본다. 앱이 맡는 일, 모델에 요청하는 일, 입력을 처리한 만큼 생기는 비용을 구분한다.

핵심 먼저 읽기

AT A GLANCE
  • 오픈AI는 2023년 3월 1일 앱 개발자가 대화 모델과 음성 인식 모델을 호출할 수 있는 챗GPT·위스퍼 API를 공개했다.[1]
  • 발표 당시 대화 모델은 1,000토큰당 0.002달러, 위스퍼는 음성 1분당 0.006달러였다. 두 단가는 서로 다른 처리량에 붙는다.[1]
  • 스냅은 앞서 GPT 기반 챗봇을 공개했다. API를 사용하는 회사는 자체 화면과 기능, 이용자에게 보여줄 안내를 따로 설계한다.[1][2]
청록색 마이크의 음성 파형이 노란 말풍선과 주황색 대화 창으로 이어지는 그래픽 일러스트
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 4개 주제

2023년 3월 1일 오픈AI는 개발자가 자기 제품에서 챗GPT 대화 모델과 위스퍼 음성 인식 모델을 호출하는 인터페이스를 공개했다. 당시 대화 모델 이름은 gpt-3.5-turbo, 음성 인식 모델 이름은 whisper-1이었다. 앞서 공개된 위스퍼 모델을 자기 서버에서 운영하는 방식과 별도로, 오디오 파일을 보내 처리하는 관리형 경로가 추가됐다.[1]

스냅은 2월 27일 스냅챗 플러스 가입자용 실험적 챗봇 마이 AI를 발표했다. 스냅의 발표는 오픈AI의 GPT 기술을 자기 앱의 대화 화면에 맞춰 적용했다고 설명했고, 오픈AI의 3월 발표는 스냅을 초기 활용 사례로 들었다. 두 문서는 사용자가 이용하는 서비스와 뒤에서 호출하는 모델을 구분할 근거를 준다.[1][2]

대화 메시지를 보내는 인터페이스

API는 프로그램끼리 정해진 형식으로 요청과 답을 주고받는 연결이다. 개발자가 대화 기능을 넣을 때에는 사용자 질문뿐 아니라 모델이 참고할 지침과 대화 메시지를 정리해 보낼 수 있다. 발표 당시 챗GPT API는 메시지 묶음을 받아 다음 응답을 돌려주는 방식을 제시했다. 모델은 전달받은 내용을 참고해 답하고, 애플리케이션은 어느 메시지를 보내고 화면에 무엇을 보여줄지 결정한다.[1]

가정한 예시로 한 가게가 고객이 주문 상태를 물어보는 화면을 만든다고 하자. 대화 모델은 질문을 정리하거나 설명을 만드는 데 쓰일 수 있다. 실제 배송 내역은 모델이 저절로 아는 데이터가 아니므로 앱이 자사 주문 시스템을 확인할 절차를 설계해야 한다. 이용 권한과 조회할 항목, 주문 번호를 어떻게 가릴지 같은 규칙도 앱에 남는다.

토큰과 음성 분량이 만드는 비용

발표 때의 대화 모델 가격은 1,000토큰당 0.002달러였다. 토큰은 모델이 텍스트를 처리하기 위해 나누는 단위이므로 단어 수나 글자 수와 항상 같지 않다. 위스퍼의 가격은 분당 0.006달러였다. 앱이 음성에서 문장을 추출한 뒤 대화 모델에 그 문장을 보낸다면 두 호출은 입력 단위부터 다르다.[1]

예를 들어 계산을 쉽게 하기 위해 대화 처리량을 총 5,000토큰, 음성 파일을 10분으로 놓으면 발표 단가로 각각 0.010달러와 0.060달러다. 5에 0.002를 곱한 값과 10에 0.006을 곱한 값이다. 두 작업을 모두 수행할 때 이 단순 예시의 합계는 0.070달러다. 앱의 저장 비용, 네트워크나 사용량 분포까지 포함한 운영비는 아니다.

같은 모델을 써도 서비스가 달라지는 이유

스냅의 발표는 자기 서비스에서 처음에는 일부 이용자에게 기능을 제공하고, 답에 오류나 편향이 있을 수 있다고 안내했다. 같은 모델에 연결한다고 해도 앱마다 입력의 형식, 답변의 목적, 채팅 내역을 쓰는 방식이 달라질 수 있다. 스냅의 사례는 새 연결 방식이 출시 전후의 제품 설계와 함께 움직였음을 보여 준다.[1][2]

오픈AI는 API에 보낸 데이터를 이용자가 별도로 동의하지 않는 한 모델 개선에 쓰지 않는다고 발표했다. 당시 발표는 일반적인 API 데이터 보관 정책의 변경도 설명했다. 이런 제공자 정책과 앱 자체의 데이터 저장 규칙은 각각 확인해야 한다. 사용자 화면에 남는 기록이나 운영자가 별도 시스템에 저장하는 기록까지 한 문구로 모두 설명할 수 없다.[1][2]

발표 당시 자료가 보여 주는 범위

3월 1일 자료로 확인되는 것은 공개한 모델, 요청 방식, 당시 책정한 요금과 일부 적용 사례다. 응답 정확도, 각 앱의 보관 정책, 다음 제품의 가격이 그날 모두 결정된 것은 아니다. 개발팀이 적용을 검토한다면 실제로 처리할 음성 시간과 텍스트의 토큰 수를 따로 추정하고, 모델에 넘겨야 하는 정보와 자체 시스템에서만 처리할 정보를 구분할 수 있다.[1]

위스퍼는 앞서 공개한 음성 인식 모델을 개발자가 내려받아 직접 운영할 수 있었다. 직접 운영하면 처리 속도와 서버 자원을 운영자가 맞춰야 한다. 관리형 API에 요청하는 경우에는 모델 실행 환경을 제공자가 맡고, 앱 개발자는 파일 전송과 응답 처리에 집중할 수 있다. 그 차이는 프로그램에서 음성을 어디에 전달하고 데이터 처리 비용을 누가 관리하는지에도 영향을 준다.[1][3]

대화 기능과 음성 기능은 잘못된 결과가 생기는 지점도 다르다. 음성 인식이 주문 번호를 잘못 받아쓰면 그 문장을 받은 대화 모델의 답도 어긋날 수 있다. 앱은 숫자나 고유명사를 이용자에게 다시 확인시키거나, 답을 내기 전에 사내 시스템에서 값이 맞는지 확인할 수 있다. 호출할 수 있게 됐다는 발표만으로 이런 검증 절차가 모든 제품에 들어가는 것은 아니다.

대화가 길어지면 앱이 다시 보내는 앞선 메시지의 양도 달라질 수 있다. 따라서 회의 한 건에서 사용한 음성 시간과 그 내용을 두고 오가는 대화 횟수를 따로 재는 편이 실제 사용량에 가깝다. 한 달 비용을 추정할 때에는 이 두 처리량에 당시 단가를 각각 적용해야 어느 기능에서 비용이 생기는지 알 수 있다.[1]

한국에서 해외 API를 앱에 붙이는 경우에도 같은 구조다. 이용자가 직접 보는 것은 앱의 흐름과 결과이며, 뒤에서는 음성 처리와 대화 요청이 각기 다른 일을 맡는다. 두 기능을 한 서비스에 묶더라도 호출 단위와 데이터 전달 경로를 따로 그려 보면 비용을 어디에서 세고 오류를 어느 단계에서 다뤄야 할지 알 수 있다.

이 글에서 생긴 질문을 다른 관점으로 이어 읽어보세요.

CONNECTED NOTES

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
오픈AI

Introducing ChatGPT and Whisper APIs

↗
02
스냅

Say Hi to My AI

↗
03
오픈AI

Introducing Whisper

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗