본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

2023년 11월 6일 OpenAI DevDay, GPT-4 Turbo의 128K와 맞춤형 GPT는 무엇이 다른가

OpenAI는 개발자 행사에서 긴 문맥을 받는 API 모델과 ChatGPT 안에서 목적별로 구성하는 GPT를 함께 공개했다.

핵심 먼저 읽기

AT A GLANCE
  • OpenAI는 DevDay에서 문맥 창 128K 토큰의 GPT-4 Turbo API 미리보기를 발표했다.
  • 맞춤형 GPT는 ChatGPT 안에서 지시, 참고 지식과 기능을 조합하는 제품으로 소개됐다.
  • 토큰 한도, 이용할 수 있는 도구, 답의 정확성은 서로 다른 조건이다.
긴 종이 띠와 칩, 대화 모듈을 배치한 등각 투영 삽화
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 5개 주제

같은 날 발표된 두 층위

OpenAI는 2023년 11월 6일 첫 개발자 행사인 DevDay에서 GPT-4 Turbo의 API 미리보기와 Assistants API 등 개발자 기능을 공개했다. 같은 날 별도의 발표에서는 특정 목적에 맞게 구성한 ChatGPT 버전인 GPT를 소개했다. 앞 발표는 개발자가 서비스에 연결하는 모델과 API에 초점을 뒀고 뒤 발표는 ChatGPT 안에서 목적별로 지시와 기능을 조합하는 제품에 초점을 뒀다. 이름에 GPT가 들어간다는 공통점만으로 같은 출시 항목으로 보면 접근 방법과 범위를 혼동한다. [1][2]

GPT-4 Turbo의 당시 자료는 128K 토큰의 문맥 창을 제시했다. 문맥 창은 모델이 한 요청에서 처리하는 텍스트 등의 범위를 설명하는 단위다. 특정 문서의 쪽 수나 글자 수를 그대로 나타내지 않는다. 토큰은 텍스트를 모델이 처리하는 단위로 나눈 것이어서, 언어와 내용, 문서 구조에 따라 같은 분량도 다른 수의 토큰을 차지할 수 있다. 128K는 모델의 문맥 용량에 관한 발표였다. [1]

긴 문맥으로 무엇이 달라지나

예를 들어 개발자가 한 번의 질의에 회의록 여러 건과 질문, 응답 지침을 함께 넣고 싶다고 하자. 문맥 창이 크면 이전보다 더 많은 참고 텍스트를 같은 요청 안에 담을 수 있다. 다만 참고 문서 외에 질문과 대화 내용, 모델이 생성할 결과를 위한 공간도 고려해야 한다. 허용 문맥 수치가 커졌다는 사실은 입력을 설계할 때 여유가 생긴다는 뜻이지만, 아무 자료나 전부 넣으면 항상 정확한 답을 얻는다는 뜻은 아니다. [1]

같은 문서라도 중요한 구절의 위치나 관련 없는 내용의 양이 다르면 결과를 검증하는 데 필요한 작업이 달라진다. 가상의 고객 지원 도구에서 제품 설명서 전체를 입력에 넣더라도 어느 버전이 최신이고 어떤 규칙이 질문에 적용되는지는 따로 확인해야 한다. 문맥 창은 데이터를 넣을 수 있는 범위를 말하고, 해당 내용에서 근거를 찾아 맞게 해석하는 일은 답변의 검증 문제다. 두 항목을 나누면 용량과 품질을 같은 숫자로 평가하지 않게 된다. [1][2]

ChatGPT에서 구성하는 GPT

맞춤형 GPT 발표는 사용자가 ChatGPT 안에서 목적에 맞는 지시, 추가 지식과 기능을 조합할 수 있다고 설명했다. 예를 들어 글쓰기 방식에 관한 지시를 주거나 특정 종류의 참고 문서를 추가하고, 해당 GPT가 사용할 수 있는 기능을 선택하는 식이다. 발표가 설명한 구성 방식은 모델 자체를 처음부터 훈련하거나 개발자가 API를 직접 호출하는 절차와 같지 않다. 특정 과제에 맞춰 ChatGPT의 사용 흐름을 구성하는 기능이었다. [2]

가령 사내 안내서의 내용을 묻는 GPT를 만든다면, 운영자가 어떤 자료를 넣고 어느 상황에서 추가 도구를 쓰도록 설정했는지가 결과에 영향을 줄 수 있다. 별도의 개발자 API로 같은 목적의 서비스를 만들 때는 앱이 어떤 자료를 모델에 보내고 결과를 어디에 표시하는지 개발자가 정한다. 두 방식은 비슷한 목적에 쓰일 수 있지만 이용자가 접근하는 화면과 개발자가 관리하는 연결 방식이 다르다. [1][2]

Assistants API와 제품의 접점

OpenAI는 당시 Assistants API를 특정 지시와 도구를 활용하는 도우미를 개발자 앱에 넣을 수 있는 수단으로 소개했다. 발표에는 코드 실행, 지식 검색, 함수 호출 같은 도구가 언급됐다. ChatGPT 안의 GPT에서도 목적과 기능을 구성할 수 있다는 점은 비슷하다. 다만 발표문은 API의 기능과 ChatGPT 제품을 별도 항목에서 안내했다. 문맥을 길게 쓰는 모델의 사양을 한 번 확인한 것만으로 특정 화면에 어떤 도구가 붙는지까지 알 수는 없다. [1][2]

도구로 자료를 가져오는 것과 처음부터 긴 입력 안에 모든 자료를 넣는 방법도 다르다. 전자는 요청에 맞는 정보를 찾아 쓰는 과정이 필요하고 후자는 이미 선택한 자료를 한 요청에 포함한다. 실제 사용에서는 어느 자료가 들어갔는지와 답이 근거에 맞는지를 확인해야 한다. 발표가 다룬 기능은 이런 구성을 가능하게 하는 요소였지만 모든 응답의 정확도를 보장하는 조건은 아니었다. [1][2]

11월 6일 공개의 범위

그날 발표의 API 모델은 미리보기로 제공됐고, 맞춤형 GPT의 이용 가능 범위와 배포 방식 역시 당시 제품 발표에서 제시한 조건을 따랐다. 이후 기능 이름이나 이용 조건이 달라질 수 있으므로 이 기록은 2023년 11월 6일 공개 자료에 한정한다. 당시 변화를 이해하려면 모델이 받을 수 있는 문맥의 크기, 앱에 붙이는 도구, ChatGPT 안에서 조합할 수 있는 기능을 구별하면 된다. [1][2]

같은 발표를 제품 이름의 나열로만 읽으면 누가 무엇을 설정하는지 놓치기 쉽다. 개발자는 API 요청의 내용과 자기 서비스의 연결 방식을 정하고, 맞춤형 GPT를 만드는 사용자는 ChatGPT 안에서 지시와 기능을 조합한다. 128K는 그날 발표된 API 모델의 문맥 사양이었다는 점을 함께 적어야 두 발표의 관계를 정확히 남길 수 있다. [1][2]

사용 환경을 비교하는 또 한 가지 기준은 누가 결과를 확인하는가다. API를 연결한 앱에서는 개발자가 입력과 출력이 오가는 흐름을 만들고, 사용자는 앱이 보여 주는 결과를 읽는다. ChatGPT의 맞춤형 구성에서는 사용자가 해당 화면에서 정해진 지시와 기능에 따라 대화한다. 두 방식 모두 당시 발표에 등장했지만 모델 용량과 제품 기능을 구별해야 어떤 제약과 설정이 어느 쪽에 적용되는지 설명할 수 있다. [1][2]

이 글에서 생긴 질문을 다른 관점으로 이어 읽어보세요.

CONNECTED NOTES

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
OpenAI

New models and developer products announced at DevDay

↗
02
OpenAI

Introducing GPTs

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗