이어 쓰기와 사이에 넣기의 차이
미스트랄AI는 2024년 5월 29일 코드 작성에 초점을 맞춘 코드스트랄을 소개했다. 같은 날 공개된 모델 카드에는 일반적인 코드 생성과 함께, 앞부분과 뒷부분이 주어졌을 때 가운데 부분을 예측하는 방식이 나왔다. 두 방식 모두 코드를 제안하지만 뒤에 이미 작성된 내용을 입력으로 제공하는지에서 차이가 생긴다. [1][2]
이어 쓰기에서는 문장의 끝이나 코드의 다음 줄을 예상한다. 가운데 채우기에서는 이미 완성돼 있는 다음 줄이나 함수 끝부분도 함께 받는다. 예를 들어 함수의 첫 줄에는 데이터를 받는 이름이 있고, 마지막 줄에는 결과를 돌려주는 코드가 있다고 하자. 가운데를 채우는 제안은 앞에서 받은 값뿐 아니라 뒤에서 기대하는 결과의 형식도 고려할 수 있다. [1][2]
모델 카드 예시는 앞쪽과 뒤쪽 조각을 입력에 나눠 담는 방법을 보여 준다. 개발자가 편집기에서 함수 중간을 비우고 도움을 받을 때, 빈칸 오른쪽에 있는 코드를 없애지 않고도 제안의 조건으로 쓸 수 있다는 뜻이다. 다만 앞뒤 조각이 모호하거나 전체 프로그램의 제약을 전달하지 않으면 중간에 들어간 코드가 컴파일되거나 원하는 동작을 한다는 보장은 없다. [1][2]
32k 문맥은 무엇을 셌나
미스트랄AI는 문맥 창을 32k 토큰이라고 소개했다. 토큰은 코드나 자연어를 모델이 처리할 수 있게 나눈 단위다. 코드의 한 줄이 토큰 하나가 되는 것은 아니다. 들여쓰기, 변수 이름, 기호와 주석이 모델의 방식에 따라 여러 토큰으로 나뉠 수 있다. 숫자를 같은 수의 글자나 코드 줄 수로 바꿔 계산하면 비교 기준이 달라진다. [1][2]
매개변수 220억 개라는 숫자도 문맥 길이와 역할이 다르다. 매개변수는 훈련된 모델이 계산에 사용하는 내부 값의 규모를 나타낸다. 문맥 창은 한 번의 작업에서 참고할 수 있는 입력과 생성의 범위에 관계된다. 큰 모델이라는 사실과 주어진 파일을 얼마나 많이 넣을 수 있는지는 같은 숫자로 설명되지 않는다. [1]
가중치를 받는 권리와 운영에 쓰는 조건
공개 글은 모델 가중치를 내려받을 수 있게 했고, 당시 비운영 라이선스를 연구와 시험 목적으로 설명했다. 가중치 파일에 접근할 수 있다는 사실과 이를 어떤 서비스에서 어떤 용도로 쓸 수 있는지는 따로 확인해야 한다. 모델 파일, 개발자용 인터페이스, 편집기에서 연결하는 서비스가 서로 다른 방식과 조건을 가질 수 있기 때문이다. [1][2]
가령 내부에서 몇 가지 코드 예제로 성능을 살펴보는 일과, 그 모델을 제품에 넣어 고객 요청을 처리하는 일은 사용 맥락이 다르다. 공개 당시 모델 파일의 조건을 서비스의 전체 이용 조건으로 대신할 수 없다. 이 기록은 2024년 5월 29일의 배포와 안내에 관한 것이며, 실제 사용 조건은 사용하려는 버전과 경로의 문서에서 확인할 문제다. [1][2]
제안이 맞는지 확인할 때 남는 일
가운데 채우기는 뒤쪽 코드의 형태를 보여 줄 수 있지만 요구사항을 대신 써 주지는 않는다. 출력이 형식상 자연스럽더라도 예외를 처리하지 못하거나 다른 파일에서 쓰는 함수의 조건을 어길 수 있다. 빈칸을 채운 뒤에는 해당 함수에 어떤 입력이 들어오고 어떤 결과가 나와야 하는지 확인하고, 필요한 경우 테스트로 검증해야 한다. 모델 카드의 예제 동작과 모든 프로젝트에서의 성능은 다르다.
발표문은 자체 평가 결과도 제시했다. 서로 다른 데이터와 테스트 설정의 수치를 그대로 같은 조건이라고 볼 수는 없다. 당시 기술 공개를 읽을 때에는 앞뒤 문맥을 쓸 수 있다는 기능, 32k 토큰이라는 입력 조건, 공개 가중치의 이용 범위를 따로 기록하면 어떤 질문에 어느 문서가 답하는지 분명해진다. [1][2]
가령 뒤쪽 코드에서 결과의 첫 항목을 꺼내 쓰도록 정해 놨다면, 가운데를 채우는 제안도 그 결과가 목록 형태일 가능성을 고려할 수 있다. 앞부분만 주어지면 자료를 처리하는 함수를 제안하더라도 결과가 이후 코드와 맞는지 알기 어렵다. 뒤쪽 문맥을 주는 방식은 이런 정보 차이를 줄일 수 있지만, 실제로 어떤 형식을 반환해야 하는지는 요구사항과 테스트가 결정한다. [1][2]
문맥 창을 비교할 때에는 같은 모델과 토큰 계산을 쓰는지 확인한다. 긴 파일을 넣을 수 있다는 말은 그 안의 필요한 정보를 모두 정확하게 사용한다는 보장과 다르다. 관련 함수나 주석이 입력에서 멀리 떨어져 있으면 어떤 부분을 제안에 활용했는지 시험해야 한다. 기술 사양의 숫자와 실제 코드 품질은 비교할 자료가 다르다. [1][2]
처음 공개된 모델 카드에는 예제를 실행하는 코드도 들어 있다. 예제가 보여 주는 것은 입력의 앞뒤를 나누어 전달하고 그 사이에 들어갈 결과를 요청할 수 있다는 점이다. 예제 문구가 돌아가는지와 큰 프로그램의 수많은 의존성을 처리할 수 있는지는 다른 문제다. 당시 모델을 비교하려면 코드를 넣는 방법과 어떤 과제로 시험했는지를 함께 확인한다. [1][2]
모델의 발표일을 기록할 때에는 나중에 바뀐 배포 페이지와 초기 자료를 구별한다. 이 글은 5월 29일 소개 글과 같은 날의 모델 카드 기록을 대조했다. 공개 가중치와 라이선스의 설명은 그 당시 배포에 관한 것이다. 이름이 비슷한 후속 모델의 문맥 크기나 조건을 초기 버전에 그대로 옮기지 않는다. [1][2]
코드에 빈칸이 여러 곳 있을 때도 각 구간이 독립이라고 볼 수는 없다. 한곳에서 값을 바꾸면 다른 함수가 받는 결과도 달라질 수 있기 때문이다. 공개 예제가 보여 준 가운데 채우기는 입력한 특정 구간의 제안을 만드는 방법이다. 파일 전체의 동작을 바꾸려면 여러 변경의 관계를 개발자가 함께 확인해야 한다. [1][2]
