본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

2023년 8월 2일 메타 오디오크래프트 공개, 음악 생성과 소리 압축의 역할

메타는 음악과 환경음을 생성하는 모델을 오디오 처리 도구와 함께 공개했다. 글로 소리를 지시하는 과정과 생성 모델이 다룰 수 있도록 소리를 작은 단위로 바꾸는 과정은 역할이 다르다.

핵심 먼저 읽기

AT A GLANCE
  • 메타는 2023년 8월 2일 뮤직젠, 오디오젠, 엔코덱을 묶은 오디오크래프트를 공개했다.[1]
  • 뮤직젠은 음악을, 오디오젠은 환경음과 효과음을 글 지시로 만든다. 엔코덱은 음향을 모델이 다룰 수 있는 압축된 표현으로 바꾸고 소리를 복원하는 데 쓰인다.[1][2]
  • 6월에 공개된 뮤직젠 연구는 글이나 멜로디 특징을 조건으로 받아 압축된 음향 단위의 순서를 생성하는 방식을 설명했다.[2]
악기와 환경음이 압축된 음향 조각으로 이어지는 판화
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 6개 주제

세 이름이 가리키는 작업

메타는 2023년 8월 2일 오디오크래프트라는 도구 묶음을 발표했다. 뮤직젠은 글로 설명한 음악을 만들고, 오디오젠은 개 짖는 소리나 발걸음 같은 환경음과 효과음을 만들도록 소개됐다. 엔코덱은 다른 역할을 맡는다. 소리를 모델이 계산할 수 있는 압축된 표현으로 바꾸고, 그 표현으로부터 다시 들을 수 있는 소리를 만드는 데 쓰인다.[1][2]

음악을 원할 때 쓰는 모델과 환경음을 만들 때 쓰는 모델은 입력이 모두 글일 수 있지만 목표가 다르다. 반대로 엔코덱은 글만 보고 어떤 음악을 만들지 결정하는 모델로 소개된 것이 아니다. 연구 자료에서 엔코덱은 소리의 정보를 압축하고 그 결과를 재구성하는 과정에 놓인다. 도구들이 하나의 이름으로 묶였더라도 어느 단계에 쓰이는지 구별할 수 있다.[1][2]

소리를 작은 단위로 바꾸는 이유

연속적으로 기록한 음향을 그대로 모델에 넣으면 다루어야 할 값의 수가 많아진다. 뮤직젠 연구는 엔코덱으로 소리를 더 성긴 시간 단위의 표현으로 바꾸고 정해진 후보 중 하나로 값을 표시하는 방식을 설명했다. 이렇게 얻은 부호를 모델이 순서대로 처리할 수 있다. 생성 과정에서 예측하는 것은 녹음 파일의 각 파형 값을 하나씩 고르는 일이 아니라 압축된 단위의 배열을 만드는 일이다.[2]

예를 들어 가상의 방법이 짧은 소리 조각을 기호 가, 나, 다로 표시한다고 하자. 모델은 지시에 맞춰 기호가 이어지는 순서를 예측하고, 복원 과정은 그 기호를 소리로 바꾼다. 실제 엔코덱이 세 기호만 사용한다는 뜻은 아니다. 이 예는 입력의 뜻을 해석하는 일과 듣는 소리를 되돌리는 일을 나눠 설명한 것이다.[1][2]

글과 멜로디는 서로 다른 조건

6월 공개 연구는 뮤직젠이 글의 설명과 멜로디의 특징을 생성의 조건으로 사용할 수 있다고 설명했다. ‘느린 기타 반주’라는 글은 원하는 곡의 성격을 전달하고, 멜로디의 특징은 음의 흐름에 관한 별도 단서를 줄 수 있다. 어느 쪽도 완성된 음악 파일 자체는 아니다. 모델은 그 단서를 이용해 어떤 압축 음향 단위들이 이어질지 예측한다.[2]

8월 발표는 음악과 환경음의 쓰임을 각각 제시했다. 예를 들어 짧은 영상에서 배경에 흐를 음악과 문이 닫히는 효과음은 서로 다른 필요를 충족한다. 두 소리를 모두 글 지시로 요청할 수 있다고 해서 음악 모델과 효과음 모델이 같은 방식으로 학습됐다는 뜻은 아니다. 메타는 뮤직젠과 오디오젠에 대해 서로 다른 학습 자료의 범위를 설명했다.[1][2]

연구 공개와 제작 결과의 차이

메타는 이 도구들을 연구 목적의 공개라고 소개했다. 발표는 모델과 도구의 역할을 설명하지만 어떤 곡이나 효과음도 늘 원하는 결과를 낸다고 보증하지 않는다. 연구가 평가한 음질과 지시의 반영 정도도 해당 연구의 조건에서 측정한 결과다. 짧은 예제에서 듣기 좋은 소리가 나왔다고 해서 모든 제작 작업에서 곡의 길이와 편집 요구를 충족한다고 추정할 수는 없다.[1][2]

도구를 사용할 때는 글과 멜로디 가운데 어떤 입력을 제공했는지, 어떤 모델이 무엇을 생성했는지 구분해 기록할 수 있다. 오디오 복원 과정의 품질과 음악 구성이 원하는 방향으로 나왔는지는 평가하는 대상이 다르다. 앞 단계에서 만든 배열이 달라지면 최종 소리도 바뀔 수 있기 때문에 한 단계의 설명을 전체 제작 품질로 확대하지 않아야 한다.[1][2]

공개 날짜가 말해 주는 것

6월 연구는 뮤직젠의 설계와 압축된 음향 단위의 역할을 설명했다. 8월 2일 발표는 음악, 환경음과 음향 처리 도구를 한 묶음으로 소개했다. 두 날짜를 나란히 적으면 음악 생성 원리가 8월에 처음 발표됐다는 오해를 피할 수 있다. 8월 사건에서 확인된 것은 이전 연구와 다른 구성 요소를 함께 제공하는 도구 묶음의 공개다.[1][2]

음악과 효과음 가운데 무엇을 만들지를 고르는 일, 입력이 모델에 조건으로 전달되는 일, 생성 결과가 실제 소리로 복원되는 일을 따로 놓고 보면 발표가 설명한 세 역할이 보인다. 어떤 모델이 어떤 단계에 관여했는지는 음원을 비교하거나 품질 문제가 생겼을 때도 출발점이 된다. 이 글은 8월 공개 시점의 설명과 6월 연구의 원리만을 사용했다.[1][2]

압축과 복원 사이에서 생기는 차이

소리의 표현을 더 작은 단위로 바꾼 뒤 다시 소리로 만들면 모든 정보가 원래 녹음과 같을 필요는 없다. 메타는 8월 공개에서 엔코덱의 복원 부분을 개선해 생성한 음악에서 원치 않는 소리가 덜 생기도록 했다고 설명했다. 복원 단계의 개선이 어떤 가사의 내용이나 악기를 선택할지 정하는 일과 같지는 않다. 음향 처리와 생성 조건을 다른 단계로 읽어야 발표가 말한 개선의 위치가 드러난다.[1][2]

예를 들어 같은 멜로디 단서를 주고도 최종 소리의 질감이 달라질 수 있다. 글 지시와 멜로디는 생성 단계에 제공되는 조건이고, 결과를 들을 때는 음향이 어떻게 재구성됐는지도 함께 듣게 된다. 발표 자료만으로 두 원인 가운데 무엇이 특정 결과의 차이를 만들었는지 확정할 수는 없다. 어떤 입력과 모델, 복원 절차를 사용했는지 맞춰 비교해야 한다.[1][2]

이번 공개를 기록할 때 도구 묶음의 이름과 구성 요소의 이름을 각각 남기면 범위를 놓치지 않는다. 오디오크래프트는 공개한 묶음의 이름이고, 뮤직젠과 오디오젠은 서로 다른 종류의 소리를 생성한다. 엔코덱은 모델이 소리를 처리할 수 있는 표현과 실제로 들을 수 있는 소리 사이를 연결한다. 6월 연구와 8월 발표가 만나는 부분은 그 음향 표현이다.[1][2]

이 글에서 생긴 질문을 다른 관점으로 이어 읽어보세요.

CONNECTED NOTES

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
메타

Introducing AudioCraft: A Generative AI Tool For Audio and Music

↗
02
Jade Copet 외 연구진

Simple and Controllable Music Generation, version 1

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗