모델과 서비스가 같은 날 발표됐다
미스트랄 AI는 2024년 2월 26일 새 텍스트 생성 모델 미스트랄 라지를 공개했다. 발표문은 문서 이해와 변환, 코드 생성 등을 활용 사례로 제시했다. 같은 날 마이크로소프트는 미스트랄과 협력해 이 모델을 애저에서 이용할 수 있도록 한다고 발표했다. 하나는 모델의 기능 설명이고 다른 하나는 개발자가 모델을 호출하고 서비스에 연결하는 방법에 관한 발표였다. [1][2]
미스트랄은 자체 서비스인 라 플라트포름과 애저 AI 스튜디오 및 애저 머신러닝을 이용 경로로 소개했다. 애저의 관리형 서비스에서 제공한다는 설명은 클라우드 환경 안에서 모델을 선택하고 요청을 보낼 수 있다는 뜻이다. 어느 경로를 택하더라도 모델 발표의 기능 설명과 실제 계정에서 적용하는 지역, 비용, 배포 조건을 구별해야 한다. [1][2]
32K가 세는 단위
미스트랄이 발표한 32K 문맥은 모델이 요청을 처리할 때 한 번에 고려할 수 있는 토큰 범위의 표시다. 토큰은 모델이 글을 나누어 다루는 단위다. 한 토큰이 늘 한 글자나 한 단어에 해당하지 않으며, 언어와 표현에 따라 분할 방식이 달라질 수 있다. 그래서 32K를 문서의 글자 수나 페이지 수로 그대로 바꿀 수는 없다. [1]
예를 들어 여러 문서에서 특정 계약 기간을 찾는 작업을 가정할 수 있다. 요청에 문서 본문뿐 아니라 질문, 답변 형식과 조건을 적은 지시도 들어간다. 긴 자료를 통째로 다룰 수 있는 여지가 늘더라도, 답변이 모든 조항을 찾아 제대로 인용하는지는 따로 시험해야 한다. 문맥 범위는 한 번에 무엇을 넣을 수 있는지에 관한 기준이며 검색과 답변의 정확도를 측정한 값과는 다르다. [1]
함수 호출이 외부 작업으로 이어지는 방식
미스트랄은 모델이 함수 호출을 지원하고 자체 서비스에서는 출력 형식을 제한할 수 있다고 밝혔다. 함수 호출은 응용 프로그램이 정해 둔 기능의 이름과 인수를 모델이 정해진 형태로 제안하는 데 쓰인다. 예를 들어 주문 상태를 확인하는 서비스에서는 모델이 조회 기능의 이름과 주문 번호를 제안할 수 있다. 실제 조회 권한을 확인하고 결과를 가져오는 작업은 응용 프로그램이 맡는다. [1]
같은 고객 문의라도 문서에서 답을 요약하는 일과 주문 번호로 외부 데이터를 요청하는 일은 연결 방식이 다르다. 전자는 입력으로 제공한 자료를 참고해 답을 작성하고, 후자는 입력과 출력 사이에 별도의 도구 실행이 들어갈 수 있다. 문맥 길이와 함수 호출을 별도로 발표한 이유는 이 기능들이 다른 개발 문제를 다루기 때문이다. 도구가 필요한 작업이라면 잘못된 번호나 권한 부족을 어떻게 처리하는지도 따로 정해야 한다. [1][2]
언어 지원과 비교 시험
회사 발표는 영어, 프랑스어, 스페인어, 독일어, 이탈리아어를 주요 언어로 소개했다. 또 여러 언어로 된 평가 문제에서 비교 결과를 공개했다. 이 자료는 회사가 시험에 사용한 언어와 과제를 보여 준다. 그 결과만으로 한국어 계약서나 국내 고객 상담에 같은 품질이 나온다고 판단하기는 어렵다. 실제로 쓰려는 글과 요청을 넣어 답변이 정확한지 살피는 작업이 별도로 필요하다. [1]
예를 들어 같은 기술 문서의 영어판과 한국어판을 처리하려는 개발팀은 두 입력의 토큰 수와 출력의 정확도를 따로 기록할 수 있다. 글자 수가 비슷해도 토큰 수가 같을 필요는 없고, 시험에서 잘 답한 모델도 고유명사나 사내 용어를 잘못 읽을 수 있다. 32K와 다섯 언어에 대한 설명을 비교할 때도 길이 제한과 언어별 성능을 별개로 두어야 한다. [1]
접근 방법을 정하는 데 필요한 정보
마이크로소프트는 애저에서 관리형 모델 서비스로 제공하는 방식과 차세대 모델 개발에 필요한 인프라 협력을 설명했다. 현재 모델을 서비스에서 호출하는 것과 미래 모델을 학습하거나 운영할 기반을 마련하는 것은 시점과 대상이 다르다. 2월 26일 자료는 새 모델과 협력을 알렸으며, 모든 계정에서 같은 이용 조건이 적용된다는 근거를 제공하지는 않았다. [1][2]
한국의 개발팀이 당시 공개 내용으로 선택지를 비교하려면 모델이 필요한 자료 길이와 응답 형식을 처리하는지, 애플리케이션이 어느 클라우드 경로에서 호출하는지부터 따로 적을 수 있다. 이후 서비스의 요금과 요청 한도, 자료 관리 조건을 확인해야 한다. 새 모델을 발표한 문서와 이를 배포한 클라우드 문서를 함께 읽으면, 모델 자체의 기능과 실제 이용 경로가 각각 무엇을 설명하는지 분명해진다. [1][2]
같은 모델 이름이 여러 접속 경로에 보이더라도 개발자가 호출하는 인터페이스나 운영 조건은 서비스에 따라 달라질 수 있다. 모델 기능을 평가할 때는 입력과 답변을 비교하고, 서비스 경로를 고를 때는 기존 시스템과 연결할 수 있는지 확인한다. 미스트랄이 제시한 문맥 범위와 애저가 발표한 관리형 접근은 각각 이 두 판단을 돕는 자료였다. [1][2]
서비스를 바꿔도 별도로 시험할 부분
동일한 문서 요약 기능을 두 경로에서 실행한다고 가정하자. 모델이 같아도 응용 프로그램이 어떤 형식으로 요청을 보낼지, 서비스가 어떤 응답을 돌려주는지, 오류가 발생하면 어떻게 처리할지는 연결 단계에서 시험해야 한다. 같은 문서 묶음을 사용해 결과를 비교하고 권한이나 시간 제한으로 생긴 오류를 분리하면 모델과 서비스의 문제를 구별하기 쉽다. 애저 제공 발표는 그중 선택 가능한 접근 경로를 추가한 소식이었다. [1][2]
미스트랄과 마이크로소프트 발표의 공통점은 새 모델을 애저에서 제공한다는 것이다. 미스트랄 자료는 32K 문맥과 언어, 함수 호출을 구체적으로 소개했고, 마이크로소프트 자료는 애저의 모델 카탈로그와 인프라 협력에 더 집중했다. 2월 26일에 발표된 두 문서를 나란히 놓으면 제품 기능을 확인할 문서와 서비스 연결을 확인할 문서를 찾을 수 있다. [1][2]
