본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

구글 젬마 스코프 공개, 모델이 반응한 패턴을 어떻게 들여다보나

구글과 딥마인드는 7월 31일 젬마 2의 내부 신호를 분석하는 젬마 스코프를 공개했다. 연구자가 모델의 중간 단계에서 함께 섞여 있는 신호를 나눠 보고, 같은 패턴이 어떤 입력에서 나타나는지 살펴볼 수 있게 했다.

핵심 먼저 읽기

AT A GLANCE
  • 구글 딥마인드는 2024년 7월 31일 젬마 2의 내부 신호를 분석하는 도구 모음 젬마 스코프를 공개했다.
  • 젬마 2의 20억·90억 매개변수 모델을 대상으로 희소 오토인코더를 제공했다. 연구자는 특정 입력에서 어떤 내부 특징이 반응하는지 살필 수 있다.
  • 특징에 사람이 붙인 이름은 분석을 돕는 설명이다. 같은 특징이 반응했다는 관찰만으로 모델의 출력 원인이나 안전성을 확정할 수 없다.
여러 잉크 층을 확대하는 렌즈를 그린 수채 삽화
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 4개 주제

모델 내부를 연구하기 위한 별도 도구

2024년 7월 31일 구글과 구글 딥마인드는 언어 모델 젬마 2의 내부 신호를 분석하는 젬마 스코프를 공개했다. 대상은 젬마 2의 20억 및 90억 매개변수 모델이다. 공개한 자료에는 내부 신호를 분석할 수 있도록 학습시킨 희소 오토인코더 수백 개가 들어 있었다. 이 도구의 목적은 모델에 새 문장을 쓰게 하는 것과 별개로, 모델이 입력을 처리하는 중간에 어떤 패턴이 나타나는지 살펴보는 데 있다.[1][2]

언어 모델은 단어를 쪼갠 입력을 여러 층에서 처리한다. 각 층에는 다음 계산으로 넘기는 숫자의 묶음이 생긴다. 연구자는 그 중간 신호를 읽을 수 있어도 개별 숫자 하나에서 사람이 이해할 수 있는 설명을 얻기 어렵다. 여러 종류의 정보가 같은 신호에 섞일 수 있어서다. 젬마 스코프는 이런 신호를 다시 표현해 일부 특징을 따로 관찰할 수 있게 한다.[2]

희소 오토인코더는 중간 신호를 다른 표현으로 바꿨다가 가능한 한 복원하도록 학습한 도구다. 이때 새 표현에서 동시에 강하게 나타나는 특징의 수를 제한해 어떤 특징이 반응했는지 추적하기 쉽게 만든다. 복원 결과와 원래 신호 사이에는 차이가 남을 수 있다. 사람이 설명하기 쉬운 표현을 찾는 목적과 원래 신호의 세부 정보까지 담는 목적 사이에 조정이 필요하다.[1][2]

같은 문장을 바꿔 반응을 살펴보기

가정한 연구에서 입력 문장에 도시 이름을 넣거나 빼고 같은 모델의 같은 층을 비교해 볼 수 있다. 어떤 특징이 여러 도시 이름에서 되풀이해 강하게 나타나면 지명과 관련된 패턴인지 조사할 단서가 된다. 이후 도시 외에 사람 이름, 장소가 없는 문장, 다른 언어로 쓴 문장을 넣어 봐야 그 반응이 어디까지 이어지는지 알 수 있다.

연구자가 특징에 지명이라는 이름을 붙였다 해도 그 이름은 확인한 입력 범위를 바탕으로 한 설명이다. 새로운 문장에서 비슷한 반응이 나오거나, 한 문장이 여러 특징을 동시에 자극할 수 있다. 입력 조건과 모델의 층, 어떤 버전의 분석 도구를 사용했는지 기록하면 다른 연구자가 같은 관찰을 재현하거나 이름의 범위를 더 좁힐 수 있다.[2]

특징이 어느 입력에서 켜지는지 관찰하는 일과 그 특징이 실제 출력에 영향을 주는지 확인하는 일은 절차가 다르다. 출력과의 관계를 더 보려면 다른 조건을 맞춘 채 그 신호의 강도를 바꿔 결과가 어떻게 달라지는지 실험할 수 있다. 그 경우에도 한 문장에서 나타난 효과가 다른 언어와 작업, 모델에서도 같을지는 별도로 확인해야 한다.[2]

같은 날 공개한 안전 도구와 역할 비교

같은 날 구글 개발자 발표에는 실드젬마도 포함됐다. 실드젬마는 입력이나 답변에 특정 유형의 유해 콘텐츠가 있는지 분류하는 용도로 소개됐다. 젬마 스코프는 연구자가 모델 내부 신호를 분석하는 용도다. 분류기의 결과는 메시지의 처리 여부를 판단하는 데 쓸 수 있고, 내부 분석 도구의 결과는 왜 어떤 패턴이 관찰되는지 추가로 묻는 데 쓸 수 있다. 평가해야 할 결과가 서로 다르다.[1][2]

두 도구를 한 서비스에서 검토한다면 분류기의 오탐과 누락은 실제 입력과 답변을 기준으로 측정할 수 있다. 내부 분석에서는 어떤 입력을 넣었을 때 어떤 층과 특징이 반응하는지 기록하게 된다. 분류 정확도가 높아졌다는 평가가 특정 내부 특징의 의미를 입증하지는 않는다. 반대로 내부 특징을 하나 찾았다는 관찰로 실서비스의 차단 정책을 검증했다고 볼 수도 없다.[1][2]

구글은 20억 매개변수의 젬마 2 모델도 같은 날 소개했다. 개발자 발표에서 이 모델은 가벼운 실행 옵션으로, 젬마 스코프는 그 모델을 포함한 내부 연구 도구로 설명됐다. 제품을 선택하는 팀이라면 모델을 실행하는 데 필요한 자원과 내부 실험을 재현하는 데 필요한 자료를 따로 확인해야 한다. 공지에서 한꺼번에 공개했다는 이유로 용도와 실행 조건이 같아지지는 않는다.[1][2]

7월 공개 자료에서 확인할 수 있는 범위

당시 공개된 도구는 지정된 젬마 2 모델의 내부 신호를 대상으로 했다. 같은 방식의 분석을 다른 모델에서 하려면 그 모델에 맞는 신호와 분석 도구가 필요할 수 있다. 한국어 서비스에서 도구를 연구에 적용한다면 실제 사용하는 표현과 업무 문장을 별도로 넣고, 영어 예시에서 얻은 특징 이름이 그대로 통하는지 확인할 수 있다.[1][2]

자료를 다시 읽을 때는 어떤 모델과 층을 대상으로 하는지, 관찰하려는 특징을 어떤 입력으로 확인했는지, 출력에 관한 별도 검증이 있었는지 적어 두면 된다. 7월 공개의 의미는 연구자가 모델의 중간 신호를 직접 탐색할 수 있는 자료가 생겼다는 데 있다. 관찰한 특징이 실제 결과에 얼마나 기여하는지는 이후 실험의 질문으로 남는다.[1][2]

다른 연구자와 결과를 비교하려면 모델 버전과 도구의 범위를 먼저 맞추는 편이 좋다. 같은 입력을 사용하더라도 서로 다른 층의 중간 신호를 분석하면 관찰하는 특징 자체가 달라질 수 있다. 특징의 반응을 보고할 때 모델의 크기와 조사한 층, 토큰의 위치를 함께 적으면 어느 조건에서 재현해야 하는지 알 수 있다.[1][2]

공개 자료는 연구자가 직접 시도할 수 있는 시연도 소개했다. 시연에서 몇 가지 입력을 비교하는 일은 도구가 무엇을 보여 주는지 이해하는 데 쓸 수 있다. 제품의 오류율이나 안전성을 평가하려면 실제 서비스의 요청과 별도 검증 기준이 필요하다. 도구 공개와 평가 결과의 적용 범위를 나누면 내부 신호를 조사하는 장점도 구체적으로 설명할 수 있다.[1][2]

이 글에서 생긴 질문을 다른 관점으로 이어 읽어보세요.

CONNECTED NOTES

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
구글 딥마인드

Gemma Scope: Helping the Safety Community Shed Light on the Inner Workings of Language Models

↗
02
구글 개발자 블로그

Smaller, Safer, More Transparent: Advancing Responsible AI with Gemma

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗