2023년 3월 1일 오픈AI는 개발자가 자기 제품에서 챗GPT 대화 모델과 위스퍼 음성 인식 모델을 호출하는 인터페이스를 공개했다. 당시 대화 모델 이름은 gpt-3.5-turbo, 음성 인식 모델 이름은 whisper-1이었다. 앞서 공개된 위스퍼 모델을 자기 서버에서 운영하는 방식과 별도로, 오디오 파일을 보내 처리하는 관리형 경로가 추가됐다.[1]
스냅은 2월 27일 스냅챗 플러스 가입자용 실험적 챗봇 마이 AI를 발표했다. 스냅의 발표는 오픈AI의 GPT 기술을 자기 앱의 대화 화면에 맞춰 적용했다고 설명했고, 오픈AI의 3월 발표는 스냅을 초기 활용 사례로 들었다. 두 문서는 사용자가 이용하는 서비스와 뒤에서 호출하는 모델을 구분할 근거를 준다.[1][2]
대화 메시지를 보내는 인터페이스
API는 프로그램끼리 정해진 형식으로 요청과 답을 주고받는 연결이다. 개발자가 대화 기능을 넣을 때에는 사용자 질문뿐 아니라 모델이 참고할 지침과 대화 메시지를 정리해 보낼 수 있다. 발표 당시 챗GPT API는 메시지 묶음을 받아 다음 응답을 돌려주는 방식을 제시했다. 모델은 전달받은 내용을 참고해 답하고, 애플리케이션은 어느 메시지를 보내고 화면에 무엇을 보여줄지 결정한다.[1]
가정한 예시로 한 가게가 고객이 주문 상태를 물어보는 화면을 만든다고 하자. 대화 모델은 질문을 정리하거나 설명을 만드는 데 쓰일 수 있다. 실제 배송 내역은 모델이 저절로 아는 데이터가 아니므로 앱이 자사 주문 시스템을 확인할 절차를 설계해야 한다. 이용 권한과 조회할 항목, 주문 번호를 어떻게 가릴지 같은 규칙도 앱에 남는다.
토큰과 음성 분량이 만드는 비용
발표 때의 대화 모델 가격은 1,000토큰당 0.002달러였다. 토큰은 모델이 텍스트를 처리하기 위해 나누는 단위이므로 단어 수나 글자 수와 항상 같지 않다. 위스퍼의 가격은 분당 0.006달러였다. 앱이 음성에서 문장을 추출한 뒤 대화 모델에 그 문장을 보낸다면 두 호출은 입력 단위부터 다르다.[1]
예를 들어 계산을 쉽게 하기 위해 대화 처리량을 총 5,000토큰, 음성 파일을 10분으로 놓으면 발표 단가로 각각 0.010달러와 0.060달러다. 5에 0.002를 곱한 값과 10에 0.006을 곱한 값이다. 두 작업을 모두 수행할 때 이 단순 예시의 합계는 0.070달러다. 앱의 저장 비용, 네트워크나 사용량 분포까지 포함한 운영비는 아니다.
같은 모델을 써도 서비스가 달라지는 이유
스냅의 발표는 자기 서비스에서 처음에는 일부 이용자에게 기능을 제공하고, 답에 오류나 편향이 있을 수 있다고 안내했다. 같은 모델에 연결한다고 해도 앱마다 입력의 형식, 답변의 목적, 채팅 내역을 쓰는 방식이 달라질 수 있다. 스냅의 사례는 새 연결 방식이 출시 전후의 제품 설계와 함께 움직였음을 보여 준다.[1][2]
오픈AI는 API에 보낸 데이터를 이용자가 별도로 동의하지 않는 한 모델 개선에 쓰지 않는다고 발표했다. 당시 발표는 일반적인 API 데이터 보관 정책의 변경도 설명했다. 이런 제공자 정책과 앱 자체의 데이터 저장 규칙은 각각 확인해야 한다. 사용자 화면에 남는 기록이나 운영자가 별도 시스템에 저장하는 기록까지 한 문구로 모두 설명할 수 없다.[1][2]
발표 당시 자료가 보여 주는 범위
3월 1일 자료로 확인되는 것은 공개한 모델, 요청 방식, 당시 책정한 요금과 일부 적용 사례다. 응답 정확도, 각 앱의 보관 정책, 다음 제품의 가격이 그날 모두 결정된 것은 아니다. 개발팀이 적용을 검토한다면 실제로 처리할 음성 시간과 텍스트의 토큰 수를 따로 추정하고, 모델에 넘겨야 하는 정보와 자체 시스템에서만 처리할 정보를 구분할 수 있다.[1]
위스퍼는 앞서 공개한 음성 인식 모델을 개발자가 내려받아 직접 운영할 수 있었다. 직접 운영하면 처리 속도와 서버 자원을 운영자가 맞춰야 한다. 관리형 API에 요청하는 경우에는 모델 실행 환경을 제공자가 맡고, 앱 개발자는 파일 전송과 응답 처리에 집중할 수 있다. 그 차이는 프로그램에서 음성을 어디에 전달하고 데이터 처리 비용을 누가 관리하는지에도 영향을 준다.[1][3]
대화 기능과 음성 기능은 잘못된 결과가 생기는 지점도 다르다. 음성 인식이 주문 번호를 잘못 받아쓰면 그 문장을 받은 대화 모델의 답도 어긋날 수 있다. 앱은 숫자나 고유명사를 이용자에게 다시 확인시키거나, 답을 내기 전에 사내 시스템에서 값이 맞는지 확인할 수 있다. 호출할 수 있게 됐다는 발표만으로 이런 검증 절차가 모든 제품에 들어가는 것은 아니다.
대화가 길어지면 앱이 다시 보내는 앞선 메시지의 양도 달라질 수 있다. 따라서 회의 한 건에서 사용한 음성 시간과 그 내용을 두고 오가는 대화 횟수를 따로 재는 편이 실제 사용량에 가깝다. 한 달 비용을 추정할 때에는 이 두 처리량에 당시 단가를 각각 적용해야 어느 기능에서 비용이 생기는지 알 수 있다.[1]
한국에서 해외 API를 앱에 붙이는 경우에도 같은 구조다. 이용자가 직접 보는 것은 앱의 흐름과 결과이며, 뒤에서는 음성 처리와 대화 요청이 각기 다른 일을 맡는다. 두 기능을 한 서비스에 묶더라도 호출 단위와 데이터 전달 경로를 따로 그려 보면 비용을 어디에서 세고 오류를 어느 단계에서 다뤄야 할지 알 수 있다.
