본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

제미나이 2.5 프로 프리뷰 147 Elo 개선, 앱 완성도가 147% 오른 뜻은 아니다

구글의 5월 6일 코딩 모델 업데이트는 선호도 평가와 영상 이해 성능을 제시했다. 시연에서 실제 서비스로 가는 검증은 별도다.

핵심 먼저 읽기

AT A GLANCE
  • 구글은 5월 6일 제미나이 2.5 프로 프리뷰 I/O 버전을 공개하고 웹 앱 제작과 코드 수정 기능 개선을 발표했다.
  • 회사가 제시한 이전 버전 대비 147 Elo 점수 향상은 평가 척도의 변화이며 앱 완성도나 개발 속도의 147% 증가가 아니다.
  • 웹 앱 선호도 순위와 영상 이해 점수는 측정 대상이 달라 실제 서비스의 정확성·보안·운영 품질을 따로 확인해야 한다.
빈 웹앱 시안 카드와 코드 조각 모양 종이, 별도 검토 작업대를 그린 층층이 종이 삽화
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 4개 주제

구글은 2025년 5월 6일 제미나이 2.5 프로 프리뷰 I/O 버전을 공개했다. 개발자 글은 프런트엔드와 사용자 화면 제작, 코드 변환과 수정, 도구를 이용한 작업 흐름 등에서 개선을 설명했다. 제품 글은 WebDev Arena에서 이전 버전보다 147 Elo 점수 높아졌다고 밝혔다. 이는 구글이 발표한 평가 결과로, 이 글에서 독립적으로 재측정한 성능은 아니다.[1][2]

프리뷰는 당시 공개 단계의 이름이다. 업데이트를 더 일찍 제공해 개발자가 활용하게 했다는 설명과 함께 나왔지만, 특정 팀의 서비스 검증까지 완료됐다는 뜻은 아니다. 새 모델을 이용할 수 있다는 사실, 평가에서 더 높은 점수를 얻었다는 사실, 실제 제품이 운영 요구를 충족한다는 판단은 각각 다른 단계다. 발표가 다루는 범위를 나누어 읽는 것이 중요하다.

Elo 점수는 퍼센트가 아니다

제품 글은 WebDev Arena가 보기 좋고 기능을 갖춘 웹 앱을 만드는 능력에 대한 사람의 선호를 측정한다고 설명했다. Elo는 이런 비교 평가를 나타내는 점수 척도다. 이전 버전보다 147점 높아졌다고 해서 코드가 147% 더 정확해졌거나 개발 시간이 147% 줄었다는 뜻은 아니다. 백분율과 같은 단위를 가진 숫자로 바꿔 읽을 수 없다.[2]

순위 역시 그 평가에 참여한 대상과 시점, 과제와 판단 기준에 관한 정보다. 평가에서 선호도가 높았다는 설명은 새 모델을 시험할 이유가 될 수 있지만 모든 업무에서 가장 낫다는 보증으로 확대할 수는 없다. 실제 조직의 오래된 코드, 내부 규칙, 접근 권한, 성능 제약은 평가 과제와 다를 수 있다. 어떤 질문을 측정한 점수인지 먼저 확인해야 비교가 유효하다.

가정한 예시로 두 모델이 만든 웹 화면 중 사람들이 더 마음에 드는 쪽을 고른 상황을 생각해 보자. 선택에는 외관과 상호작용의 편리함 등이 작용할 수 있다. 그러나 선택 결과 하나만으로 데이터 저장이 정확한지, 접근 권한이 지켜지는지까지 검증했다고 할 수 없다. 이는 선호 평가의 범위를 설명하는 가상의 상황이며 해당 평가의 개별 투표를 재현한 사례는 아니다.

웹 앱과 영상 이해는 다른 시험

구글은 같은 업데이트에서 VideoMME 영상 이해 평가 점수 84.8%도 제시했다. 이 숫자는 특정 평가 과제의 성과이며 실제 사용자가 넣는 모든 영상에서 84.8%의 답변이 맞을 것이라는 계약이 아니다. 평가의 데이터와 조건, 문항 구성에 의존한다. Elo와 퍼센트는 단위부터 다르므로 두 수치를 더해 종합 성능 점수처럼 만들 수 없다.[1][2]

영상의 내용을 이해하는 능력과 그 내용을 앱으로 구현하는 능력도 구분할 수 있다. 앞 단계에서 요구사항을 잘못 파악하면 뒤에서 코드가 정상 실행돼도 목표와 다른 앱이 나올 수 있다. 반대로 설명을 정확히 이해했어도 데이터 처리나 화면 동작 구현에서 문제가 생길 수 있다. 여러 단계를 잇는 작업은 각각의 오류를 확인할 지점이 필요하다.

개발자 발표의 시연은 영상에서 학습용 앱을 만들거나 기존 화면 스타일에 맞춰 기능을 더하는 예를 보여 준다. 시연은 가능한 사용 흐름을 구체화하는 자료지만 모든 입력과 환경에서 같은 결과를 낸다는 시험은 아니다. 예시가 보여 주는 기능과 보이지 않은 조건을 나누면 모델의 활용 범위를 더 현실적으로 판단할 수 있다.[1]

화면 구현 다음에 확인할 것

가정한 서비스에서 모델이 보기 좋은 신청서를 만들었다고 하자. 실제 사용하려면 필수 입력의 검사, 잘못된 제출 처리, 중복 저장 방지, 접근성, 작은 화면에서의 조작 등을 확인해야 한다. 외관이 좋은 결과와 필요한 동작이 모두 맞는 결과는 다른 질문이다. 이 예시는 일반적인 검증 경로이며 이번 모델이 특정 오류를 실제로 냈다는 관측은 아니다.

기존 코드에 기능을 붙이는 일에는 주변 기능을 유지하는 조건도 있다. 새 화면이 실행돼도 기존 데이터 형식이나 오류 처리와 맞지 않으면 다른 부분에서 문제가 생길 수 있다. 그래서 변경 범위와 기대 동작을 정하고 실제 사용 흐름으로 확인하는 과정이 필요하다. 발표의 코드 수정 능력 개선을 기존 프로그램의 모든 회귀 문제 해결로 확대하지 않는다.

운영 환경에서는 비밀 정보와 권한, 외부 서비스와의 연결 조건도 들어온다. 모델이 코드를 제안하는 것과 그 코드를 실제 자원에 배포해 사용하는 것은 다르다. 조직이 허용한 범위 안에서 자료와 접근 권한을 정하고 결과를 검토해야 한다. 이 글은 기능 발표를 설명하며 실제 API 호출이나 서비스 배포, 코드 업로드를 수행하지 않았다.

버전 이름과 실제 대상을 남긴다

개발자 글은 이전 03-25 버전을 가리키던 대상이 최신 05-06 버전을 가리키게 되며, 기존 사용자에게 별도 조치가 필요 없다고 안내했다. 이는 당시의 제공 방식 설명이다. 같은 이름으로 호출해도 실제 동작의 대상 버전이 바뀔 수 있다는 점을 보여 준다. 과거 결과를 재현하려면 이름뿐 아니라 사용 시점과 실제 모델 버전을 기록할 필요가 있다.[1]

업데이트 뒤 결과가 달라졌다고 해서 모델만이 유일한 원인이라고 단정할 수도 없다. 입력, 프롬프트, 연결 도구와 실행 환경이 달라졌을 수 있다. 비교하려면 가능한 한 같은 과제와 조건에서 결과를 확인하고 변경된 부분을 남겨야 한다. 버전의 개선 주장을 검증하는 작업과 실제 조직의 업무 기준을 통과시키는 작업을 각각 수행할 수 있다.

한국 개발자에게 이번 발표는 UI 시안이나 기능 초안, 코드 편집에 사용할 후보를 넓힌 소식으로 읽을 수 있다. 다만 예쁜 화면을 빠르게 만들 수 있다는 설명이 전체 개발 시간의 동일한 절감으로 이어지는지는 별도 확인이 필요하다. 요구사항 파악과 검토, 통합과 운영 준비에 걸리는 시간도 있기 때문이다. 이번 두 글에는 특정 팀의 전체 업무 시간 절감률이 제시되지 않았다.

이 글은 2025년 5월 10일까지 공개된 공식 발표를 기준으로 한다. 이후 모델의 정식 제공이나 평가 순위 변화를 당시 결과에 소급하지 않는다. 원문을 볼 때는 공개 단계와 버전, 평가의 단위와 대상, 시연의 조건을 확인하면 된다. 실제 적용에서는 자신의 과제에서 필요한 동작과 예외 조건을 시험해 발표 점수와 제품 품질 사이의 간격을 확인할 수 있다.

이 글에서 생긴 질문을 다른 관점으로 이어 읽어보세요.

CONNECTED NOTES

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
Google Developers Blog

Gemini 2.5 Pro Preview: even better coding performance

↗
02
Google, The Keyword

Build rich, interactive web apps with an updated Gemini 2.5 Pro

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗