공개일과 보고서 날짜를 분리한다
딥시크는 2024년 12월 26일 V3를 공개했고, 최초 기술보고서는 12월 27일 arXiv에 올라왔다. 공개문과 보고서 v1은 전체 매개변수 671B, 토큰당 활성 매개변수 37B라는 서로 다른 수치를 제시한다. 이 글은 12월 28일까지 공개된 최초 자료의 범위를 따른다.[1][2]
B는 billion으로 10억을 뜻한다. 따라서 671B는 6,710억 개, 37B는 370억 개다. 두 숫자를 단위 변환 없이 비교하거나 37B를 모델의 전체 크기라고 소개하면 구조를 다르게 전달하게 된다. 무엇의 개수인지 단위 옆에 항목 이름을 붙여야 한다.
혼합 전문가 구조가 나누는 것
혼합 전문가(MoE) 모델은 모든 부분을 매번 같은 방식으로 작동시키는 구조와 달리 입력에 따라 일부 전문가 부분을 선택해 계산에 활용한다. 딥시크의 두 숫자는 전체로 보유한 매개변수와 한 토큰을 처리할 때 활성화되는 부분의 차이를 보여 준다. 서로 경쟁하는 모델 두 개의 크기를 뜻하지 않는다.[2]
토큰은 모델이 텍스트를 처리하는 작은 단위이며 한 단어와 반드시 같지 않다. 따라서 토큰당 활성 매개변수라는 설명을 ‘질문 한 건에서 370억 개만 있으면 된다’로 바꾸면 안 된다. 하나의 질문과 답변은 여러 토큰의 처리로 이어질 수 있고, 입력에 따라 선택되는 경로도 달라질 수 있다.
큰 서랍장과 오늘 여는 서랍
개념을 돕기 위해 많은 서랍이 있는 작업실을 떠올려 보자. 한 작업을 할 때 필요한 일부 서랍만 연다고 해서 작업실 전체가 작은 상자 하나로 바뀌는 것은 아니다. 오늘 손을 댄 도구의 수와 보유해야 하는 도구의 수를 나누면 전체와 활성의 차이를 이해하기 쉽다.
이 비유는 모델의 메모리 배치나 전문가 선택 방식을 정확히 재현한 설계도가 아니다. 전문가는 사람처럼 직업이나 의식을 가진 존재가 아니라 모델 안의 계산 구성 요소다. 특정 서랍 하나가 언제나 같은 주제를 전담한다고 단정하는 설명도 이 두 숫자만으로는 뒷받침되지 않는다.
5.5%라는 나눗셈이 말하는 범위
공개 숫자끼리 나누면 37÷671×100은 약 5.5%다. 이 값은 제시된 전체 매개변수 수에 대한 토큰당 활성 매개변수 수의 단순 비율이다. 이를 계산하는 것과 모델 전체가 기존 방식보다 94.5% 빠르거나 전력을 덜 쓴다고 주장하는 것은 다른 일이다.
속도에는 계산 외에도 메모리 이동, 장치 사이 통신, 입력 길이, 동시 요청과 구현 방식이 작용한다. 동일한 매개변수 비율이 동일한 지연시간 비율을 보장하지 않는다. 나눗셈에 넣은 두 숫자가 매개변수 개수였다는 사실을 유지해야 결과의 의미가 불필요하게 커지지 않는다.
활성이 작아도 저장 문제는 남는다
토큰당 일부를 사용한다고 해도 모델을 운영하려면 필요한 전체 가중치에 접근할 수 있어야 한다. 어느 장치에 어떤 부분을 놓을지와 전문가 사이에 정보를 어떻게 옮길지는 별도의 설계 문제다. 활성 매개변수가 37B라는 이유만으로 어떤 개인용 장치에서도 쉽게 실행된다고 말할 수 없다.
실제 저장·메모리 요구량을 계산하려면 가중치 표현 정밀도, 실행 프레임워크, 추가 상태와 입력 길이 같은 조건이 더 필요하다. 이 글은 특정 메모리 용량이나 장치 대수를 제시하지 않는다. 공개된 매개변수 두 개만으로 그 운영 조건을 확정할 수 없기 때문이다.
훈련 토큰과 매개변수도 다르다
공개문은 14.8T의 훈련 토큰도 함께 언급했다. T는 trillion으로 1조이므로 14.8조 토큰이다. 이는 학습 과정에 투입한 토큰 양을 설명하는 수치이고, 모델 안에 남은 매개변수 수와 같은 단위가 아니다. 두 개수를 더해 모델 크기를 만들 수 없다.[1][2]
가상으로 책을 얼마나 읽었는지와 학습 도구의 조절 손잡이가 몇 개인지를 나눠 생각하면 된다. 읽은 양이 많다는 사실만으로 특정 질문의 정답 여부가 보장되지 않으며, 매개변수 수만으로 실제 성능이 결정되지도 않는다. 훈련 자료의 양과 구조, 평가 결과는 각각 별도로 확인할 정보다.
공개 평가와 사용 환경 사이
최초 보고서는 구조와 학습, 평가를 함께 설명하지만 평가 수치는 개발 주체가 제시한 조건의 결과다. 벤치마크가 다루는 문제와 실제 사용자가 묻는 내용이 같지 않을 수 있다. 전체·활성 매개변수의 구분은 구조를 이해하는 데 도움을 주지만 답변의 정확성을 인증하는 표지는 아니다.[2]
자체 업무에 적용할 때의 품질이나 지연시간을 말하려면 구체적인 입력과 환경을 정한 별도 측정이 필요하다. 여기서는 그런 실행 검증을 했다고 주장하지 않는다. 공개 보고서에서 확인한 구조와 실제 서비스를 운영하며 관찰할 수 있는 결과의 경계를 남겨 둔다.
최초 공개의 범위를 지키는 방법
현재의 제품 소개나 저장소에는 이후 모델과 서비스 안내가 함께 보일 수 있다. 과거 사건을 설명할 때는 12월 26일 공개 항목과 27일 최초 보고서 v1에 맞춰 읽어야 한다. 나중 버전의 수치나 기능을 처음부터 있었던 것처럼 섞으면 당시 기술 선택을 잘못 설명하게 된다.
이번 사례의 핵심은 큰 모델의 일부를 선택해 계산하는 것과 전체 모델을 보유·운영하는 일이 다르다는 점이다. 6,710억과 370억이라는 숫자에 각각 이름을 붙이면 차이가 보인다. 그 차이를 저장량이나 전력, 요금의 확정 절감률로 바꾸는 단계에는 추가적인 근거가 필요하다.
