본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

메타 라마 3.1의 4050억 매개변수와 128K 토큰은 무엇이 다른가

7월 23일 공개된 라마 3.1은 모델 크기 선택지를 넓히고 문맥 길이를 늘렸다. 모델의 매개변수 수와 한 요청에서 다룰 수 있는 토큰 수를 분리하면, 긴 문서를 처리할 때 어떤 제약이 남는지 볼 수 있다.

핵심 먼저 읽기

AT A GLANCE
  • 메타는 2024년 7월 23일 라마 3.1을 공개했다. 모델 크기는 80억·700억·4050억 매개변수로 나뉜다.
  • 라마 3.1 계열은 최대 128K 토큰 문맥을 지원한다고 발표됐다. 매개변수는 모델 내부의 값이고 토큰은 요청에서 다루는 텍스트 단위다.
  • 최대 문맥은 긴 문서 처리의 상한이다. 실제 요청의 비용, 지연, 답변의 정확도와 배포 환경은 별도로 확인해야 한다.
크기가 다른 계산 모듈과 긴 종이띠를 그린 잉크 삽화
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 4개 주제

같은 제품군의 크기와 문맥 한도

2024년 7월 23일 메타는 라마 3.1 모델 제품군을 공개했다. 공개 자료는 4050억 매개변수 모델을 새로 내고 700억과 80억 모델도 개선했다고 설명했다. 같은 날 아마존웹서비스(AWS)는 베드록에서 다루는 라마 3.1 모델과 제품군의 최대 128K 토큰 문맥을 안내했다. 하나는 모델의 규모를, 다른 하나는 한 번에 다루는 정보 범위를 나타낸다.[1][2]

매개변수는 모델을 학습할 때 조정되고 생성 과정에 쓰이는 내부 수치다. 모델이 한꺼번에 저장할 수 있는 문서 개수나, 한 번의 대화에서 입력할 수 있는 글자 수가 아니다. 같은 저장 정밀도를 가정하면 더 많은 매개변수를 담는 모델에 더 많은 공간이 필요할 수 있다. 실제 장비 규모는 매개변수 정밀도, 연산 방식과 여러 장치에 나누는 방법에 따라서도 달라진다.[1][2]

문맥을 재는 토큰은 입력을 모델이 처리할 수 있도록 쪼갠 단위다. 단어, 일부 음절 또는 기호처럼 쪼개지는 방식은 언어와 변환기에 따라 달라진다. 128K 토큰을 한국어 12만 8천 자나 같은 수의 단어로 읽을 수 없다. 모델에 보내는 안내 문구와 문서의 토큰 수를 직접 세어야 실제로 얼마나 담을 수 있는지 가늠할 수 있다.[2]

같은 문서에서 크기와 문맥을 바꿔 보기

가정한 예시에서 문서와 지시문을 합쳐 40,000토큰인 요청을 생각할 수 있다. 길이만 놓고 보면 라마 3.1 계열이 발표한 최대 128K 범위보다 짧다. 80억 모델과 4050억 모델을 같은 방식으로 비교할 경우 두 모델의 문맥 상한이 같아도 출력 내용과 걸리는 시간은 다를 수 있다. 문맥 상한의 숫자만 가지고 어떤 모델이 질문에 더 정확히 답할지 결정할 수는 없다.[1][2]

반대로 입력에 넣으려는 문서가 운영 환경의 실제 한도보다 길다면 모델의 매개변수만 늘리는 것으로는 해결되지 않는다. 관련 단락을 찾고 나머지는 나중에 불러오거나, 문서를 여러 단위로 나눠 필요한 내용을 각각 확인하는 방법이 있다. 요청과 답변에 쓸 길이를 어떻게 배분하는지도 중요하다. 문맥을 문서 저장 공간처럼 가득 채우면, 답변에 쓸 여유가 줄 수 있다.[2]

AWS는 라마 3.1이 이전 라마 3보다 16배 넓은 문맥을 지원한다고 설명했다. 이 비교는 문맥 길이에 관한 것이지, 같은 요청의 응답 속도나 답변 정확도가 16배가 됐다는 뜻이 아니다. 이번 발표를 이전 모델과 비교하려면 문맥 확대와 4050억 모델 추가를 각자 기록하고, 정확도와 운영 비용은 실제 사용할 요청으로 따로 평가해야 한다.[1][2]

공개 모델과 운영 환경 사이에서 달라지는 것

메타는 모델을 이용할 수 있는 선택지를 제시했고 AWS는 자사의 관리형 환경에서 라마 3.1을 다루는 방식을 소개했다. 직접 실행하는 곳에서는 모델 파일과 서버 자원을 준비해야 하고, 관리형 환경에서는 제공사가 정한 접근 권한과 모델별 실행 조건을 확인하게 된다. 파일이 공개됐다는 사실과 모든 지역에서 원하는 요청을 같은 조건으로 보낼 수 있다는 사실은 다르다.[1][2]

기획 단계에서는 입력이 긴 업무와 짧지만 복잡한 업무를 구분할 수 있다. 분량이 긴 계약서에서 특정 조항을 찾아야 하는 경우에는 문맥이 길어도 필요한 부분을 놓치는지 검토해야 한다. 반대로 짧은 코드 문제는 문맥 한도가 크게 남아도 추론 능력이나 오류 확인이 더 중요할 수 있다. 모델 규모와 길이 한도가 함께 높다는 사실만으로 두 업무를 같은 방식으로 시험할 수는 없다.

같은 길이의 입력으로 비교할 때도 답변 길이, 서버에서 동시에 처리하는 요청 수, 허용할 수 있는 대기 시간을 맞춰야 한다. 처리 조건이 다르면 한 모델에 몇 초가 걸렸다는 측정만으로 다른 곳에서의 지연을 예상하기 어렵다. 당일 공지가 알려 주는 것은 모델 제품군과 문맥 규격이다. 구체적인 시간과 비용은 사용할 환경을 정한 뒤 측정해야 한다.[1][2]

7월 공개 때 확인할 수 있던 한계

128K 문맥을 지원한다는 발표는 긴 입력을 처리할 수 있는 설계의 한도를 알려 준다. 긴 입력에 포함된 모든 사실을 매번 빠짐없이 인용하거나, 문서 뒤쪽의 정보까지 앞쪽과 같은 품질로 다룬다는 보증은 아니다. 실제 도입에서 중요한 문서를 사용한다면 어느 페이지의 정보를 찾아야 하는지 정해 두고 답변을 원문과 대조해야 한다.[1][2]

국내 팀이 당시 도입을 검토하는 경우에는 먼저 한국어 요청의 토큰 수를 실제로 계산하고, 입력과 출력의 예산을 따로 잡는 방법을 쓸 수 있다. 그런 뒤 모델별로 필요한 답을 제대로 찾는지 확인하고, 직접 운영과 관리형 운영의 비용을 같은 요청과 처리량에서 견준다. 4050억과 128K가 각각 무엇을 세는지 적어 두면 모델 크기와 문서 길이를 혼동하지 않고 필요한 제약을 확인할 수 있다.[1][2]

긴 요청을 받아들이는 것과 긴 내용을 모두 한 번에 보낼 필요가 있다는 것도 구별할 수 있다. 업무가 문서 안의 특정 항목을 검토하는 것이라면 필요한 단락과 출처를 먼저 고르고 짧게 요청할 수도 있다. 이 방법과 긴 문맥을 그대로 쓰는 방법은 검색 단계에서 빠질 수 있는 정보, 입력 비용, 확인이 필요한 답의 길이가 다르다. 발표된 최대치만으로 어느 쪽이 현장에 맞는지는 정해지지 않는다.[1][2]

운영 환경에서 같은 문서를 여러 번 처리할 계획이라면 단일 요청에 담기는 양과 하루에 처리할 수 있는 양을 따로 재야 한다. 제품의 문맥 상한은 첫 번째에 관계되고, 동시 실행과 대기열의 설정은 두 번째에 관계된다. 최대 문맥을 한 번 시험한 결과를 하루 처리량으로 옮기려면 실제 동시 요청과 평균 응답 길이를 반영해야 한다.

이 글에서 생긴 질문을 다른 관점으로 이어 읽어보세요.

CONNECTED NOTES

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
메타

Open Source AI Is the Path Forward

↗
02
아마존웹서비스

Meta Llama 3.1 Generative AI Models Now Available in Amazon Bedrock

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗