본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

2024년 4월 18일 메타 라마 3 공개, 80억·700억 모델과 메타 AI는 무엇이 달랐나

메타는 라마 3의 두 크기와 사전학습·지시 조정 유형을 공개했고 같은 날 이를 사용한 메타 AI 서비스도 소개했다. 모델의 크기, 다룰 수 있는 문맥의 길이, 서비스의 이용 범위는 각각 다른 정보다.

핵심 먼저 읽기

AT A GLANCE
  • 메타는 4월 18일 라마 3를 공개했다. 모델 카드는 매개변수 80억과 700억 두 크기, 사전학습형과 지시 조정형을 설명했다.
  • 모델 카드의 문맥 길이는 두 크기 모두 8천 토큰 규모였다. 700억은 매개변수 수이며 입력할 수 있는 단어 수가 아니다.
  • 메타 AI는 라마 3를 기반으로 한 별도 서비스다. 모델 자료가 공개된 범위와 앱에서 기능을 쓸 수 있는 지역은 서로 다르다.
두 모델 패키지와 한 대화 창을 그린 잉크 삽화
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 6개 주제

두 크기와 두 유형을 구분한다

메타는 2024년 4월 18일 라마 3 모델군을 공개했다. 모델 카드는 매개변수 80억과 700억 두 크기에 각각 사전학습형과 지시 조정형이 있다고 설명했다. 사전학습형과 지시 조정형은 매개변수 크기만 다른 제품이라는 뜻이 아니다. 지시 조정형은 대화와 지시를 받는 용도에 맞춰 추가로 조정한 유형이라고 설명했다. [1]

매개변수 수는 모델 안에 들어 있는 학습된 값의 규모를 가리킨다. 700억을 80억으로 나누면 8.75배다. 이 비율은 모델 크기 수치의 차이이며 답이 8.75배 정확하거나 사용 비용이 꼭 그만큼 높다는 뜻은 아니다. 실제 실행에 필요한 자원과 결과는 모델 설정, 작업, 장비 등 다른 조건에도 영향을 받는다. [1]

문맥 길이는 별도의 조건이다

모델 카드는 두 크기의 문맥 길이를 8천 토큰 규모로 적었다. 토큰은 모델이 글을 처리할 때 사용하는 조각 단위다. 글의 언어나 내용에 따라 같은 단어 수도 다른 토큰 수로 바뀔 수 있다. 8천 토큰을 어느 언어에서나 8천 단어라고 계산하면 입력 길이의 단위가 바뀐다. [1]

가령 더 큰 모델을 쓰면 더 긴 문서를 넣을 수 있다고 가정하기 쉽다. 하지만 당시 모델 카드에서 두 크기의 문맥 길이 항목은 같았다. 매개변수가 더 많다는 사실만으로 모델이 한 번에 처리하도록 설계된 문맥도 길어지는 것은 아니다. 모델 크기와 문맥 한도를 비교표의 다른 열에 두어야 두 제품의 차이를 올바르게 읽을 수 있다. [1]

제품에서 이용하는 범위는 따로 확인한다

메타는 같은 날 라마 3를 기반으로 한 메타 AI도 소개했다. 여러 앱과 웹에서 쓰는 대화형 서비스와, 개발자가 별도로 실행할 수 있도록 공개된 모델은 다른 형태로 제공된다. 앱에서 서비스에 접근할 수 있는지와 모델의 자료를 다운로드할 수 있는지는 같은 질문이 아니다. 메타의 제품 발표는 여러 나라와 앱에서 이용 범위를 넓힌다고 설명했다. [1][2]

예를 들어 어떤 개발자가 모델을 별도 환경에서 실행하려면 실행 프로그램, 장비와 라이선스 등 모델 자체의 조건을 먼저 확인한다. 앱에서 제공하는 서비스를 이용하려는 사람에게는 해당 지역과 계정에서 기능이 열렸는지가 다른 조건이 된다. 한쪽의 공개 여부로 다른 쪽의 이용 가능 여부를 단정할 수 없다. [1][2]

평가 점수도 제품의 모든 답을 대신하지 않는다

모델 카드에 실린 평가 값은 정해진 질문과 채점 조건에서 측정한 결과다. 더 큰 모델이 한 평가에서 높은 점수를 얻었다고 해서 모든 질문에서 항상 좋은 답을 한다는 뜻은 아니다. 특히 앱이 검색과 같은 다른 기능을 함께 제공한다면 서비스에서 보는 결과는 모델만 따로 평가한 숫자와 다를 수 있다. 모델의 비교표와 실제 서비스 기능을 분리하는 이유다. [1][2]

또 사전학습형과 지시 조정형을 비교할 때에는 같은 크기를 썼는지, 어떤 유형의 질문을 평가했는지 확인해야 한다. 예를 들어 사용자가 요청을 했을 때 대화 방식으로 답하는 특성과 특정 문장에 이어 다음 글을 생성하는 기능은 평가의 초점이 다를 수 있다. 크기, 유형, 문맥을 함께 기록하면 어떤 모델을 비교했는지 구체적으로 설명할 수 있다. [1]

발표 당일의 정보를 남긴다

4월 18일 자료에서 확인되는 것은 라마 3 두 크기와 모델 유형, 문맥 길이, 그리고 메타 AI 서비스 발표다. 이후에 더 긴 문맥을 지원하는 새 버전이 나왔더라도 당시 공개한 모델의 한도가 곧바로 바뀌는 것은 아니다. 비교표에는 모델의 이름과 발표 날짜, 그날 확인한 조건을 함께 적어야 다른 제품의 정보를 섞지 않는다. [1][2]

모델이 실제 작업에서 얼마나 유용한지를 판단하려면 정해진 문맥에 맞는지, 필요한 결과를 얼마나 자주 내는지, 사용 환경에서 어떤 방식으로 제공되는지를 따로 살펴야 한다. 80억과 700억은 그 비교를 시작하는 자료이지만 이용 지역이나 답변 결과를 자동으로 정하지 않는다. 당시의 공식 원문 두 건은 기술 사양과 서비스 제공을 각각 설명했다. [1][2]

매개변수 수가 더 큰 모델에 더 긴 문서를 넣는 예를 생각하면 왜 두 항목의 차이가 중요한지 드러난다. 문맥 길이가 같다면 모델 크기만 바꾸어 한 번에 넣을 수 있는 길이를 늘릴 수는 없다. 문서가 길 때 일부를 나누어 넣는 방법과 모델을 바꾸는 방법은 목적과 결과가 다르다. 이 글의 비교는 공개 당일 자료에서 어떤 항목이 같은지 보여 준다. [1]

모델 카드에서 따로 볼 수 있는 날짜

카드는 사전학습 자료의 기준도 모델별로 적었다. 80억 모델은 2023년 3월, 700억 모델은 2023년 12월까지를 사전학습 자료의 기준으로 설명했다. 이 날짜들은 모델이 2024년 4월 18일에 공개됐다는 날짜와 다르다. 또한 그 시점까지 일어난 모든 일을 모델이 알고 있다거나 그 이후의 사실을 앱에서 절대 제공하지 못한다는 뜻도 아니다. 학습 자료의 범위와 외부 정보를 연결하는 서비스 기능은 별도로 판단해야 한다. [1][2]

예를 들어 앱에 검색 기능이 있다면 모델을 학습한 날짜 뒤의 문서를 검색해 보여 줄 수 있다. 반대로 모델만 따로 실행하는 환경에서는 같은 방식으로 검색을 할 수 없을 수 있다. 사용자가 받은 답변을 비교할 때에는 같은 모델을 썼는지 외에 외부 자료를 연결했는지도 확인해야 한다. 당시 메타 AI 소개와 모델 카드가 서로 다른 조건을 설명한 이유다. [1][2]

이 글에서 생긴 질문을 다른 관점으로 이어 읽어보세요.

CONNECTED NOTES

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
메타

Meta Llama 3 Model Card

↗
02
메타

Meet Your New Assistant: Meta AI, Built With Llama 3

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗