본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

클로드 3.5 소네트의 코딩 64%는 무엇을 시험한 숫자인가

앤트로픽은 새 모델과 작업 결과를 옆에서 보는 기능을 함께 공개했다. 내부 평가의 수치와 실제 배포에서 필요한 검사는 다르다.

핵심 먼저 읽기

AT A GLANCE
  • 앤트로픽은 2024년 6월 20일 클로드 3.5 소네트를 공개했다.
  • 회사의 내부 코딩 평가에서 새 모델은 문제의 64%, 클로드 3 오퍼스는 38%를 해결했다고 발표했다.
  • 평가는 지시를 받고 공개 소스 코드에서 문제를 고치거나 기능을 추가하는 과제였다. 모든 개발 업무의 성공률을 뜻하지 않는다.
서로 맞물리는 모듈과 빈 검토 창을 그린 잉크 수채 삽화
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 4개 주제

64%가 나온 문제의 범위

2024년 6월 20일 앤트로픽은 클로드 3.5 소네트를 공개했다. 회사는 모델 카드 부록에서 자체 코딩 평가에서 새 모델이 문제의 64%를 해결했고, 비교 대상인 클로드 3 오퍼스는 38%를 해결했다고 설명했다. 이 평가는 공개 소스 코드에 대해 자연어 지시를 주고, 오류를 고치거나 새 기능을 추가하도록 하는 과제를 다뤘다. 64%는 회사가 구성한 과제에서 나온 결과다. 어떤 프로젝트를 맡겨도 열 건 중 여섯 건 이상을 성공한다는 예측은 아니다.[1][2]

발표의 두 비율을 빼면 차이는 26%포인트다. 비교 기준인 38%에 대한 상대적인 증가율을 말하려면 26을 38로 나눠야 하며, 그 값은 약 68%다. 두 모델이 푼 문제 비중이 얼마나 벌어졌는지를 설명할 때는 26%포인트가 직관적이다. 어느 방식으로 계산하더라도 과제의 난이도나 구성에 관한 정보를 더해 주는 것은 아니다. 숫자와 함께 어떤 시험이었는지를 적어야 비교가 성립한다.[1][2]

이 비율의 분모는 시험에 넣은 문제다. 자연어로 원하는 기능을 설명하는 과제라고 해도 설명이 얼마나 분명한지, 수정 범위가 몇 파일인지에 따라 풀어야 할 일이 달라진다. 시험의 구성과 평가 절차가 달라지면 같은 모델에서도 비율이 달라질 수 있다. 그러므로 다른 평가에서 나온 점수를 곧바로 같은 순위표에 놓기보다 문제와 채점 조건이 같은지를 먼저 확인하는 편이 정확하다.[2]

짧은 함수와 기존 프로젝트의 수정은 다르다

짧은 코딩 시험에서는 하나의 함수가 요구한 입력을 처리하는지 확인할 수 있다. 기존 프로젝트에서 오류를 고치는 과제에서는 먼저 관련 파일과 코드의 연결을 찾고, 수정이 기존 기능을 깨뜨리지 않는지도 살펴야 한다. 모델 카드 부록에서 다룬 내부 평가는 이런 코드 수정이나 기능 추가를 자연어 설명에서 시작하도록 구성했다. 공개 발표에 나온 다른 코딩 평가 점수와 과제 범위가 다르므로, 여러 수치를 한 가지 코딩 성공률로 합칠 수 없다.[1][2]

가령 모델에게 가상의 일정 앱에서 날짜가 하루씩 밀리는 문제를 고치라고 했다고 하자. 모델은 날짜 입력 처리, 시간대 변환, 표시 형식 중 어디에서 오류가 생겼는지 찾아야 한다. 수정 뒤에는 같은 시간대뿐 아니라 날짜가 바뀌는 자정이나 다른 시간대에서도 올바른지 확인할 수 있다. 짧은 예시 입력에서 답이 맞는 것과 여러 파일이 연결된 앱에서 부작용이 없는 것은 다른 성공 조건이다. 실제 배포에서 확인할 조건을 먼저 정해야 시험 결과를 해석할 수 있다.

또 모델이 어떤 도구를 쓸 수 있는지도 비교 결과에 영향을 준다. 파일을 읽을 수 있는지, 명령을 실행해 테스트 결과를 볼 수 있는지, 다시 고칠 기회가 있는지에 따라 같은 설명을 받아도 작업 경로가 달라진다. 회사는 도구를 제공한 조건에서 모델이 코드를 작성하고 수정하고 실행할 수 있다고 설명했다. 코딩 지시만 전달하는 채팅이나 도구가 제한된 환경에서 같은 절차가 자동으로 가능하다는 뜻은 아니다.[1][2]

모델이 시험 도구로 코드를 실행할 수 있다는 사실은 실제 사용자 계정이나 서비스에 접근해도 된다는 뜻과도 다르다. 가상의 일정 앱에서 오류를 고친다면 테스트용 데이터에서 변경을 확인하고, 실제 사용자의 일정에 영향을 주는 권한은 별도로 판단해야 한다. 코드가 동작하는지 확인하는 단계와 그 코드를 어디에서 어떤 권한으로 실행할지 결정하는 단계는 서로 다른 검토가 필요하다.

작업 결과를 보여 주는 기능과 평가 성적

앤트로픽은 같은 날 아티팩트 기능도 소개했다. 모델이 코드 조각이나 문서 같은 결과물을 만들면 채팅 옆의 별도 공간에 나타나고, 사용자가 결과를 보면서 다시 지시할 수 있도록 한 방식이다. 이 기능은 사람이 결과를 보며 수정하는 흐름을 바꾼다. 내부 코딩 평가의 64%가 별도 화면 때문에 나왔다는 설명은 아니다. 모델의 평가 점수와 사람이 결과를 확인하는 제품 화면은 같은 발표에 나왔지만 역할이 다르다.[1]

예를 들어 그래프를 보여 주는 코드를 별도 화면에서 확인하면 배치나 표시 오류를 쉽게 발견할 수 있다. 화면이 의도대로 보이는 것만으로 입력 검증이나 접근 권한 검사까지 통과했다고 말할 수는 없다. 반대로 모델의 수정이 테스트를 통과해도 실제 사용자가 원하는 조작 순서가 맞는지는 사람이 화면을 보고 판단할 수 있다. 결과를 확인하기 편해지는 것과 결과 자체의 정확성을 확인하는 일은 함께 필요하다.

내부 평가를 실제 업무에 옮길 때

회사 자료는 코딩 외에도 읽기, 추론, 시각 처리에 관한 평가를 따로 다뤘다. 안전성에 대해서는 자체 위험 분류와 별도 평가를 설명했다. 코딩 문제를 더 잘 해결했다는 수치만으로 비공개 데이터를 안전하게 다루거나 어떤 명령도 올바르게 실행한다고 추정할 수 없다. 특정 업무에서 모델을 평가하려면 그 업무의 입력, 허용하는 도구, 성공을 판정하는 조건을 정해 놓고 결과를 살펴야 한다.[1][2]

당시 공개에서 확인되는 변화는 새 모델이 회사가 구성한 코딩 과제에서 비교 모델보다 더 많은 문제를 해결했다는 점이다. 실제 프로젝트를 평가한다면 먼저 어떤 오류를 고쳐야 하는지 정하고, 변경 전후의 코드와 테스트 결과를 대조할 수 있다. 이어 검토자가 놓칠 수 있는 경우를 추가로 확인한다. 제품 발표의 수치는 비교의 단서를 주고, 배포할 코드에 대한 판단은 그 코드가 쓰일 환경에서 얻은 검증 결과가 뒷받침한다.

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
앤트로픽

Introducing Claude 3.5 Sonnet

↗
02
앤트로픽

Claude 3.5 Sonnet Model Card Addendum

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗