본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

GPT-4o 음성 안전 평가, 출력 분류기는 무엇을 검사했나

오픈AI가 8월 8일 공개한 시스템 카드는 음성 모델의 위험과 완화 조치를 설명했다. 미리 선택한 목소리로 학습시키는 단계와 실제 생성 중에 목소리를 검사하는 단계를 나눠 읽으면 평가 수치의 범위가 보인다.

핵심 먼저 읽기

AT A GLANCE
  • 오픈AI는 2024년 8월 8일 GPT-4o 시스템 카드를 공개해 승인하지 않은 목소리 생성 위험과 완화 조치를 설명했다.
  • 사전에 고른 목소리의 예시를 학습에 반영하고, 별도 분류기로 생성 중인 음성이 선택한 목소리와 일치하는지 확인했다.
  • 내부 평가에서 의미 있는 목소리 이탈을 모두 포착했다는 보고는 정의된 시험 범위의 결과다. 다른 음성 위험까지 평가하려면 별도 시험이 필요하다.
겹친 음파와 그 사이의 반투명 여과막을 그린 수채 삽화
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 4개 주제

기능 소개 뒤에 공개한 평가 자료

2024년 8월 8일 오픈AI는 GPT-4o 시스템 카드를 공개했다. 5월 13일 기능 발표에서는 텍스트와 음성을 함께 다루는 모델의 처리 방식과 시연을 설명했다. 8월 문서는 모델을 평가하면서 살핀 음성 위험과 완화 조치에 초점을 뒀다. 그중 하나는 음성 답변이 미리 허용한 목소리에서 벗어나 다른 사람처럼 들릴 수 있는 문제였다.[1][2]

5월 발표는 이전 음성 모드가 음성을 텍스트로 바꾸고, 텍스트 답변을 만든 뒤, 다시 음성으로 바꾸는 여러 모델을 사용했다고 설명했다. GPT-4o는 여러 형태의 입력과 출력을 하나의 모델에서 다루는 방식으로 소개됐다. 이 변화는 음성이 처리되는 경로를 이해하는 데 도움이 된다. 실제 어떤 출력 위험을 시험했고 무엇을 차단하는지는 8월 평가 자료에서 확인할 수 있다.[1][2]

시스템 카드는 허가되지 않은 목소리 생성 외에도 화자 식별, 저작권이 있는 콘텐츠의 생성 가능성, 근거 없는 추론 등의 위험을 따로 다뤘다. 각각의 판단 대상이 다르므로 목소리의 일치 여부를 잘 검사했다는 수치만으로 이 모든 위험을 검증했다고 볼 수 없다. 8월 문서를 읽을 때는 어떤 위험에 어떤 조치가 대응하는지 먼저 확인할 필요가 있다.[1]

학습 단계와 생성 단계의 역할

오픈AI는 먼저 사전에 선택한 목소리로 답하는 예시를 모델의 후속 학습에 사용했다고 설명했다. 이 단계의 목적은 모델이 승인된 형태로 음성을 생성하도록 유도하는 데 있다. 선택한 목소리와 비슷하게 출력할 가능성을 높이려는 조치로, 사용자가 요청할 때마다 나오는 실제 음성을 판단하는 과정과는 시점이 다르다.[1]

별도로 구축한 출력 분류기는 생성 중인 음성에서 화자가 선택된 목소리와 일치하는지 검사했다. 문서는 음성을 한꺼번에 완성한 뒤에만 검사하는 대신 생성되는 동안 판단하고, 목소리가 맞지 않으면 출력을 막는다고 설명했다. 모델의 학습 결과와 서비스가 실제로 내보낼 소리를 점검하는 조치가 겹쳐 작동하는 구조다.[1]

가정한 예에서 사용자가 다른 사람의 말투를 흉내 내 달라고 요청했다고 하자. 학습은 모델이 사전에 선택된 목소리로 답하도록 방향을 잡고, 생성 중 검사는 실제 결과가 그 기준을 벗어나는지 볼 수 있다. 이 예는 두 단계가 왜 다른 시점에 있는지 설명한다. 특정 요청이 실제로 차단됐는지는 해당 요청과 제품 구성에서 나온 결과를 따로 확인해야 한다.[1]

내부 시험의 수치를 해석할 때

오픈AI는 당시 내부 평가에서 시스템 목소리의 의미 있는 이탈을 모두 포착했다고 보고했다. 그 평가에는 다른 시스템 목소리와 사용자 입력에 포함된 목소리를 일부 따라 한 사례 등이 들어 있었다. 수치를 읽을 때는 어떤 사례를 시험에 넣었고 무엇을 의미 있는 이탈로 분류했는지 함께 살펴야 한다. 시스템 카드에 적힌 시험 범위를 벗어난 사용 환경의 결과를 이 숫자 하나로 계산할 수는 없다.[1]

비교해 보면 목소리를 검사하는 분류기와 발화 내용의 적절성을 검사하는 도구는 판단할 질문이 다르다. 같은 사전 선택 목소리로 말했다고 해서 답변의 주장이나 말한 정보가 옳은 것은 아니다. 반대로 발화 내용이 문제없어도 다른 사람을 닮은 목소리를 사용했는지는 검사할 수 있다. 제품을 평가하는 사람은 목소리와 내용에 관한 시험 결과를 별도로 기록할 필요가 있다.[1]

시험에서 차단이 많다고 해서 항상 더 정확한 것은 아니다. 적절한 답변까지 차단했는지와 원치 않는 음성을 놓쳤는지를 둘 다 살펴야 한다. 서비스가 어떤 언어와 녹음 환경에서 쓰이는지에 따라서도 실제 오류 사례가 달라질 수 있다. 문서에 나온 내부 평가를 특정 업무에 적용하려면 그 업무에 가까운 음성과 조건을 갖춘 별도 평가가 필요하다.[1]

8월 자료로 확인할 수 있던 범위

한국어 음성 서비스를 검토하는 팀이라면 우선 제품에서 사용할 목소리와 그 사용 범위를 정의하고, 분류기가 어느 단계에서 검사하는지 확인할 수 있다. 실제 운영에서 나오는 요청의 종류와 녹음 조건을 반영해 허용된 목소리가 잘 나오고 허용되지 않은 출력이 막히는지 평가해야 한다. 내부 시험의 수치를 그대로 계약상 보증으로 쓰면 배포 조건의 차이가 빠진다.[1]

두 문서를 다시 읽을 때는 5월 발표의 음성 기능 소개, 8월 카드의 평가 사례, 출력이 차단되는 절차를 각각 확인할 수 있다. 이 순서대로 놓으면 모델이 음성을 만드는 능력이 공개된 사건과, 안전을 위해 무엇을 측정했는지 공개한 사건을 나눠 볼 수 있다.[1][2]

음성 분류기를 연구 결과와 비교하려면 시험에 쓴 목소리의 조건도 살펴야 한다. 시스템 카드는 사전에 제공된 목소리와 음성 입력을 따라 하는 상황 등 평가 대상을 구분해 설명했다. 시험에 쓰인 사례와 서비스에서 실제로 들어오는 요청의 범위가 같아야 비교의 근거가 생긴다. 평가의 단위가 한 요청인지 생성된 음성의 한 구간인지도 결과를 읽는 데 도움이 된다.[1]

두 조치를 운영 과정에서 살필 때는 사용자가 듣기 전에 어느 단계가 결과를 막는지 따로 기록할 수 있다. 모델이 선택한 목소리로 음성을 만든 경우와 분류기가 음성 이탈을 탐지해 출력을 막은 경우는 사용자에게 보이는 결과가 다르다. 같은 요청이 여러 조건에서 반복될 수 있으므로 요청, 출력, 차단 결과를 나누어 두면 어떤 조치가 작동했는지 확인하기 쉽다.[1]

이 글에서 생긴 질문을 다른 관점으로 이어 읽어보세요.

CONNECTED NOTES

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
오픈AI

GPT-4o System Card

↗
02
오픈AI

Hello GPT-4o

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗