본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

GPT-5.5 Instant의 사실 오류 52.5% 감소는 어떤 비교인가

오픈AI는 5월 5일 ChatGPT 기본 모델의 교체를 발표하며 GPT-5.3 Instant와의 사실성 비교를 공개했다. 52.5%는 한 내부 시험에서 사실 오류가 있는 주장의 비중이 얼마나 줄었는지를 뜻한다.

핵심 먼저 읽기

AT A GLANCE
  • 오픈AI는 5월 5일 GPT-5.5 Instant를 ChatGPT의 새 기본 모델로 순차 적용한다고 밝혔다.
  • 회사의 내부 비교에서 중요 의사결정 분야의 어려운 질문에 대해 사실 오류가 있는 주장이 52.5% 줄었다고 발표했다.
  • 해당 비교는 선정된 질문에서 나온 상대적 감소다. 전체 답변의 정확도나 실제 이용 중 오류가 발생하는 확률과는 측정 범위가 다르다.
말풍선 안의 빈 문장 조각 하나를 돋보기로 살펴보는 장면
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 4개 주제

2026년 5월 5일 오픈AI는 ChatGPT의 기본 모델을 GPT-5.3 Instant에서 GPT-5.5 Instant로 바꾸는 작업을 시작한다고 밝혔다. 회사가 함께 공개한 시험에서 의료·법률·금융 등 정확성이 중요한 질문에 대한 사실 오류 주장이 이전 기본 모델보다 52.5% 줄었다고 설명했다. 이 수치를 해석하려면 어느 질문을 사용했는지, 답변 한 편인지 그 안에 들어 있는 주장인지 무엇을 세었는지 확인해야 한다. [1] [2]

한 답변 안에 검토할 주장이 여러 개 있다

시스템 카드의 사실성 평가는 답변에 들어 있는 개별 주장 중 오류가 있는 비율과, 오류가 하나라도 포함된 답변의 비율을 따로 집계한다. 한 답변에 사실 주장이 다섯 개 들어 있고 하나가 틀렸다면 그 답변의 주장 기준 오류 비율은 5분의 1이다. 그 답변은 동시에 오류가 있는 답변 한 편으로 분류된다. 답변 길이와 주장 수가 다르면 두 방식으로 얻는 값도 서로 다르게 움직일 수 있다. [2]

예를 들어 가상의 모델에서 검토한 주장이 각각 200개이고 오류가 40개에서 19개로 줄었다고 하자. 오류 비율은 20%에서 9.5%가 됐고, 두 비율 차이는 10.5%포인트다. 처음 비율 20%를 기준으로 보면 감소율은 52.5%가 된다. 이 계산의 200개와 40개는 설명용 가정이다. 회사의 실제 시험 건수 또는 답변 전체의 오류율로 제시된 숫자는 아니다. [1] [2]

주장 하나의 오류가 줄어도 사용자가 마주하는 경험이 어떻게 바뀔지는 별도 질문이다. 한 답변에 오류가 여러 개 있을 수 있고, 하나의 오류라도 질문의 핵심이라면 응답을 활용하기 어려울 수 있다. 주장 집계는 사실 단위의 변화를 보는 데 쓰이고, 응답 집계는 오류가 들어 있는 답변의 비율을 보는 데 쓰인다. 실제 사용에 미치는 영향을 보려면 두 집계에서 사용한 질문과 평가 기준을 알아야 한다. [2]

일반 질문과 오류가 잘 드러나는 질문을 나눴다

시스템 카드는 사실 확인이 중요한 일반 이용 유형을 참고한 질문, 이용자가 이전 답변에서 사실 오류를 신고한 질문, 정확성이 특히 중요한 분야의 어려운 질문을 따로 설명했다. 앞선 모델에서 오류가 있었다고 신고된 대화는 익명화한 뒤 따로 평가했다. 그런 대화는 오류가 있었던 사례를 살펴보는 데 적합하지만 전체 이용 내용을 무작위 추출한 표본으로 취급할 수 없다. [2]

회사 발표는 어려운 중요 분야 질문의 상대 감소 52.5%와 별도로, 이용자가 사실 오류를 표시했던 까다로운 대화에서 부정확한 주장이 37.3% 감소했다고 밝혔다. 두 수치는 서로 다른 질문 집합에서 나온 결과다. 하나가 52.5%, 다른 하나가 37.3%라는 사실로 두 집합을 합친 평균 감소율을 바로 계산할 수 없다. 원래 오류 수준과 집계된 주장 수가 각기 다를 수 있기 때문이다. [1] [2]

직전 기본 모델이 무엇이었나

3월 3일 공개된 GPT-5.3 Instant는 오픈AI가 이전 모델 대비 사실성과 대화 방식의 개선을 설명할 때 사용한 별도 버전이다. 5월 5일 발표는 GPT-5.5 Instant와 GPT-5.3 Instant를 직접 비교했다. 3월 발표에서 이전 버전과 비교한 특정 감소율과 5월 발표의 상대 감소율을 단순히 더할 수 없다. 비교 대상 모델뿐 아니라 사용한 질문과 측정 설정이 문서별로 같다는 조건이 필요하다. [1] [2] [3]

출시 공지의 전환 설명도 평가 방법과 구분한다. 오픈AI는 5월 5일 기본 모델의 순차 적용을 시작한다고 안내했다. 이는 특정 시험에서 얻은 결과를 전환의 배경과 함께 설명한 것이다. 제품이 모든 사용자에게 같은 시점에 바뀌었거나 모든 환경에서 똑같은 정확도가 나왔다는 관측 결과를 담은 문서는 아니다. 이번 기사에서 읽는 범위는 발표 당일의 공지와 시스템 카드다. [1]

또 다른 가상의 비교에서 답변 두 편 중 한 편에만 오류가 있다고 하자. 틀린 주장이 두 개였던 답변에서 그중 하나를 바로잡아도 오류가 있는 답변의 비율은 두 편 가운데 한 편으로 같다. 주장 기준으로는 오류 수가 줄어든 사례다. 회사가 보고한 두 측정 항목 중 어느 쪽에 변화가 생겼는지 보면, 일부 문장을 바로잡은 것과 답변 전체에서 오류가 사라진 경우를 구분할 수 있다. [2]

시험에는 평가자가 참과 거짓을 확인할 때 이용할 수 있는 출처도 영향을 준다. 같은 모델이 낸 답변이라도 공개 기록이 명확한 사실과 시점에 따라 바뀌는 수치를 하나의 기준으로 판단하기는 어렵다. 해당 시스템 카드의 평가는 웹에 접근할 수 있는 판정 모델을 사용했다고 밝힌다. 판정에 쓰는 자료가 달라질 때도 같은 결과가 나오는지까지 보려면 다른 방법으로 측정한 결과가 따로 있어야 한다. [2]

시험 결과를 실제 사용 결과로 옮길 때

이 평가에서 얻은 오류 감소율은 동일한 평가 방법으로 두 모델을 시험한 결과다. 시스템 카드에서는 웹에 접근하는 별도의 언어 모델이 답변의 사실 오류를 판정했다고 설명했다. 평가 모델의 판정과 실제 사용자의 질문 종류, 정답을 확인할 자료가 있는지는 서로 다른 문제다. 52.5%를 답변의 52.5%가 맞는다는 값이나 지금 받은 답변에서 틀릴 확률로 사용할 수 없다. [1] [2]

검토할 때에는 먼저 모델 이름과 비교 대상을 확인하고, 숫자에 붙은 명사가 주장인지 답변인지 읽으면 된다. 그다음 해당 문제가 회사가 어떤 이유로 구성한 문항 집합인지 찾는다. 같은 방식으로 다음 모델의 발표까지 비교하려면 기준이 같은지 따로 확인해야 한다. 이 절차는 다양한 질문에서 모델의 정보 제공 품질이 좋아지는지 판단하기 위해 어떤 근거가 더 필요한지도 보여준다. [2] [3]

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
OpenAI

GPT-5.5 Instant: smarter, clearer, and more personalized

↗
02
OpenAI

GPT-5.5 Instant System Card: Hallucinations

↗
03
OpenAI

GPT-5.3 Instant: Smoother, more useful everyday conversations

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗