본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

2023년 8월 28일 챗GPT 엔터프라이즈, 긴 문맥과 학습의 차이

오픈AI는 기업용 챗GPT에 32k 토큰 문맥과 관리 도구를 내놓고, 고객 입력을 모델 훈련에 쓰지 않는다는 정책을 밝혔다.

핵심 먼저 읽기

AT A GLANCE
  • 오픈AI가 기업용 챗GPT를 출시했다. 32k 토큰 문맥과 고급 데이터 분석 기능을 당시 제공한다고 밝혔다.
  • 긴 문맥은 한 작업에서 참고할 입력의 범위를 늘린다. 고객 프롬프트와 회사 데이터를 모델 훈련에 쓰지 않는다는 약속은 데이터의 사용 목적을 다룬다.
  • 관리자 콘솔, 통합 로그인, 도메인 확인도 공개됐다. 기능의 편의와 회사가 정해야 할 접근 권한은 다른 문제였다.
긴 종이 띠가 들어가는 작업 공간과 별도 보관 상자를 그린 파스텔 삽화
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 5개 주제

기업이 챗봇을 도입할 때 묻는 두 가지

2023년 8월 28일 오픈AI는 챗GPT 엔터프라이즈를 공개했다. 당일 공식 공지와 릴리스 노트는 긴 입력을 처리하는 문맥, GPT-4 접근, 고급 데이터 분석을 함께 소개했다. 출시 당시 기업에는 두 가지 질문이 있었다. 한 번에 얼마나 긴 자료를 함께 읽힐 수 있는지, 그리고 직원이 입력한 자료를 서비스 제공자가 모델을 훈련하는 데 쓰는지였다. 출시 문서는 두 질문에 서로 다른 기능과 정책으로 답했다.[1][2]

가령 한 팀이 회의 메모와 설문 결과, 초안 보고서를 같은 작업에 넣으려 할 때 문맥의 크기가 먼저 문제가 된다. 자료를 잘게 나누면 앞부분의 전제와 뒷부분의 결론을 놓치기 쉽다. 하지만 업무 자료 전체를 넣을 수 있다는 사실만으로 그 자료를 넣어도 된다는 결론이 나오지는 않는다. 기업은 문서 작성자와 고객의 권한, 자료의 민감도, 서비스 계약의 데이터 조건도 따져야 한다. 출시가 겨냥한 것은 이처럼 일반 개인 사용과 다른 도입 판단이었다.[1]

32k 토큰이 말하는 범위

출시 공지는 32k 토큰 문맥을 제시했다. 토큰은 모델이 텍스트를 처리하는 단위로, 한국어 글자 수나 영어 단어 수와 일대일로 대응하지 않는다. 같은 분량이라도 언어나 문서 구성에 따라 토큰 수가 달라질 수 있다. 따라서 숫자를 그대로 문서의 쪽수로 바꾸기보다, 모델이 한 작업에서 함께 참조할 수 있는 범위가 넓어졌다는 뜻으로 읽는 편이 맞다.[1][2]

입력이 길어진다고 답변이 모든 문장을 정확하게 반영한다고 보장되는 것도 아니다. 예를 들어 동일한 항목 이름이 두 시기의 보고서에 등장한다면, 어느 날짜의 표를 썼는지 답변에서 확인해야 한다. 한 작업에 자료를 더 담을 수 있다는 장점은 원문 대조의 필요성을 없애지 않는다. 페이지별 질문을 하나의 비교 작업으로 묶을 수는 있지만, 그 결과에서 금액과 날짜가 올바르게 연결됐는지는 별도의 확인 대상이다.

지금 참조하는 자료와 나중에 모델을 바꾸는 자료

문맥에 데이터를 넣는 것은 현재 답변을 만들 때 그 정보를 참고하도록 하는 일이다. 모델 훈련은 여러 데이터를 바탕으로 이후에도 쓰일 모델의 동작을 바꾸는 과정이다. 회사 보고서의 일부를 입력해 그 자리에서 요약을 얻는 것과, 해당 보고서가 미래 모델의 훈련 자료가 되는 것은 서로 다른 단계다. 당시 오픈AI가 기업 고객에게 제시한 약속은 고객 프롬프트와 회사 데이터를 자사 모델 훈련에 사용하지 않는다는 것이었다.[1]

같은 발표는 전송 중과 저장 중의 암호화도 별도 항목으로 다뤘다. 암호화는 이동하거나 저장된 데이터를 어떤 방식으로 보호하는지에 관한 것이다. 훈련 여부는 수집된 정보를 어떤 목적으로 쓰는지에 관한 것이다. 따라서 암호화나 훈련 제외라는 문구만 읽고 모든 자료의 보관 기간과 삭제 절차를 알 수는 없다. 직원의 입력이 어떤 절차로 처리되는지 확인하려면 각 조건이 무엇을 설명하는지부터 나눠 읽어야 한다.[1]

계정과 문서를 다루는 책임

관리자 콘솔에서는 구성원을 한꺼번에 관리할 수 있다고 안내했다. 통합 로그인은 회사가 쓰는 인증 흐름과 연결하는 수단이고, 도메인 확인은 조직의 도메인을 검증하는 기능이다. 사용 현황을 확인하는 대시보드도 소개됐다. 세 기능은 조직이 서비스를 배포하는 데 쓰이지만, 누가 어떤 회사 문서를 열거나 입력해도 되는지를 저절로 결정하지는 않는다. 실제 역할과 자료별 승인 기준은 조직이 정해야 한다.[1]

초기 도입에서 이 구분은 질문의 순서에 영향을 준다. 먼저 어떤 계정이 업무 공간을 쓸 수 있는지 확인하고, 어떤 종류의 문서를 허용할지 정한 뒤, 결과를 검토할 사람을 정할 수 있다. 인사 정보와 이미 공개된 보도자료를 같은 규칙으로 볼 이유는 없다. 긴 문맥이나 분석 기능에 앞서 업무 목적을 좁히면, 같은 기능을 써도 자료를 불필요하게 더 많이 제출하는 일을 줄일 수 있다.

발표에서 실제로 제공된 것

당일 릴리스 노트는 고급 데이터 분석이 과거 코드 인터프리터라는 이름으로 소개됐던 기능임을 알렸다. 이 기능은 문장으로 설명하기 어려운 표를 직접 분석하는 데 쓸 수 있었다. 예컨대 같은 응답 자료의 비율을 비교한다면, 계산값뿐 아니라 전체 응답과 유효 응답 중 어느 것을 분모로 삼았는지 확인해야 한다. 도구가 분석을 수행할 수 있다는 사실과 분석에 쓴 전제가 맞다는 사실은 별개다.[1][2]

같은 자료를 여러 부서가 다루는 회사라면 공동 채팅 템플릿이 일을 시작하는 기준을 맞춰 줄 수도 있다. 출시 문서에는 그런 템플릿을 조직이 공유할 수 있다고 적혔다. 가령 분석 요청에 기간과 단위를 반드시 적도록 예시를 만들 수 있다. 다만 템플릿이 민감한 원문을 공유해도 되는 근거가 되는 것은 아니다. 요청의 형식을 표준화하는 일과 원문 접근을 통제하는 일은 각자 맡는 역할이 있다.[1]

당시 공지는 기존 기업 애플리케이션을 연결하는 맞춤 기능 등을 앞으로의 계획으로 구분했다. 8월 28일 자료에서 확인할 수 있는 것은 그날 발표한 제품의 문맥, 분석 기능과 관리·데이터 정책이다. 이 사례는 기업용 도구를 평가할 때 처리 용량, 입력한 정보의 사용 목적, 직원과 자료에 대한 관리 범위를 각각 물어야 하는 이유를 보여 준다.[1][2]

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
오픈AI

Introducing ChatGPT Enterprise

↗
02
오픈AI 고객지원

ChatGPT Release Notes: August 28, 2023

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗