처음 공개된 지표의 관찰 대상
2025년 2월 10일 앤트로픽은 첫 Economic Index를 공개했다. 발표는 AI 사용 방식이 인간의 역량을 돕는 협업 쪽 57%, 과업을 직접 수행하는 자동화 쪽 43%로 나뉘었다고 설명했다. 이 숫자는 분석한 Claude 사용의 분류다. 노동자의 57%가 AI와 협업한다거나 일자리의 43%가 사라졌다는 고용 통계가 아니다. [1]
핵심은 무엇을 하나의 관측 단위로 삼았는지다. 대화 한 건과 사용자 한 명, 직업 한 종류, 실제 일자리 한 개는 같은 단위가 아니다. 대화를 분류한 결과를 사람 수나 고용 규모로 바꾸려면 추가 연결 정보가 필요하다. 숫자에 붙은 퍼센트 기호보다 그 앞에서 세고 있는 대상을 먼저 확인해야 한다.
과업과 직업을 나누어 본다
연구는 대화에서 수행된 활동을 O*NET의 직업 관련 과업과 연결했다. 하나의 직업에는 여러 과업이 들어 있고 같은 과업이 여러 직업에서 쓰일 수 있다. 따라서 어떤 과업에서 AI 사용이 관찰됐다고 그 직업 전체가 자동화됐다고 말할 수 없다. 부분적인 활동의 관찰을 직업 전체의 결과로 확대하면 분석 단위가 달라진다.
가령 보고서 초안을 작성하는 과업을 AI와 함께 수행한 경우에도 자료의 진위를 확인하거나 최종 의사결정을 하는 일은 다른 과정일 수 있다. 이는 과업 분해를 설명하는 가상의 예이며 특정 직업의 실제 자동화 수준을 측정한 사례는 아니다. 직업 이름 아래 무엇이 묶여 있는지 확인하면 기술의 역할을 더 구체적으로 논의할 수 있다.
대화 방식의 분류가 뜻하는 것
발표는 반복적으로 수정하거나 배우는 상호작용 등을 협업의 예로, 사람의 개입이 적은 요청 수행 등을 자동화의 예로 설명한다. 이 구분은 대화 안에서 AI와 사람이 어떤 방식으로 상호작용하는지에 관한 것이다. 실제 업무 전체에서 인간이 사라졌는지, 결과물이 성공적으로 사용됐는지까지 직접 관찰한 뜻은 아니다.
짧은 요청 뒤 답을 받은 사용자가 대화창 밖에서 오랫동안 수정했을 수도 있다. 반대로 긴 대화를 나눴어도 최종 결과가 실제 업무에 쓰이지 않았을 수 있다. 화면 안의 상호작용과 화면 밖의 작업을 연결하는 증거가 없으면 성과나 대체 효과를 바로 계산할 수 없다. 분류 결과의 이름을 일상의 뜻으로 지나치게 넓히지 않는 주의가 필요하다.
표본의 경계를 확인한다
발표문은 Claude.ai의 Free와 Pro 대화 약 100만 건을 과업 분류에 사용했다고 설명한다. 원 논문도 해당 과업 분석의 표본을 밝히고 기업 고객과 API 활동이 제외됐다고 적는다. 이는 모든 AI 서비스와 모든 기업의 업무를 무작위로 대표하는 노동시장 조사와 다르다. 서비스와 이용 방식의 경계가 결과 해석에 남아 있다. [2]
논문은 여러 분석을 수행하므로 전체 연구에 언급되는 대화 수와 특정 과업 분석의 표본 수를 같은 숫자로 단순화하지 않는 편이 좋다. 큰 표본이라는 사실만으로 대표성이 자동으로 생기지도 않는다. 누가 해당 서비스를 선택했는지, 어떤 활동이 대화창에서 드러나는지에 따라 관찰되는 업무의 모습이 달라질 수 있다.
같은 사람이 여러 번 대화할 수 있다
대화 건수를 세는 통계와 사용자 수를 세는 통계는 분모가 다르다. 한 사람이 같은 주제에 대해 여러 번 질문하면 대화 기준으로는 여러 관측치가 생길 수 있다. 따라서 대화의 구성비를 곧바로 사람들의 구성비로 바꾸면 이용 강도와 이용자 수를 섞게 된다. 두 방식 중 어느 것이 맞는지는 연구 질문에 달려 있다.
예를 들어 한 사용자가 글쓰기 대화를 열 번 하고 다른 사용자가 계산 대화를 한 번 했다면 대화 비중과 사람 비중은 다르게 나온다. 이는 분모 차이를 보여 주는 가상의 상황이다. 이와 같은 차이를 이해하면 대화에서 특정 활동이 많다는 관찰을 해당 직업에 종사하는 사람이 그만큼 많다는 주장으로 잘못 옮기는 일을 줄일 수 있다.
직업 분류가 이용자의 직업은 아니다
어떤 대화가 특정 직업의 과업과 연결됐다고 해서 그 이용자가 실제로 그 직업에 종사한다고 확인된 것은 아니다. 연구도 이런 한계를 설명한다. 개인적인 궁금증으로 전문 분야의 질문을 할 수도 있기 때문이다. 직업 과업의 언어와 대화 내용을 연결하는 분류는 유용하지만 이용자의 이력서나 고용 상태를 읽은 자료는 아니다.
따라서 이 자료로 특정 직군의 실업률이나 임금 변화를 계산할 수는 없다. 그런 질문에는 실제 고용과 임금 자료, 비교 기간과 적절한 분석 설계가 필요하다. 기술 사용이 관찰됐다는 사실과 노동시장 결과가 바뀌었다는 사실을 연결하려면 여러 단계의 증거가 추가돼야 한다. 상관관계나 분류만으로 인과관계를 완성할 수는 없다.
현재 사용과 미래 영향의 구분
이 발표는 사용 대화에서 관찰한 패턴을 보여 주려는 자료다. 이를 특정 시점까지 일자리가 얼마나 대체될지에 대한 확정 예측으로 읽으면 관찰과 전망의 경계가 사라진다. 모델의 가능성, 실제 도입, 현장의 생산성, 고용 변화는 관련될 수 있지만 같은 지표로 측정되지 않는다. 각 단계에 맞는 자료가 필요하다.
이 글은 2월 15일까지 공개된 첫 발표와 당시 원 연구 PDF를 사용한다. 이후 달에 공개된 논문 버전이나 후속 지표의 결과를 첫 발표의 정보로 덧붙이지 않는다. 자료 링크가 나중에 바뀌어도 당시 판단의 범위를 유지하려면 원문과 발표일을 함께 보존하는 것이 중요하다. 연구의 한계를 설명하는 문장도 결과 숫자와 함께 읽어야 한다.
AI 통계를 읽는 확인 순서
새 AI 활용률을 접하면 무엇을 세었는지, 어느 서비스의 누구를 포함했는지, 어떤 기준으로 분류했는지를 먼저 적어 보자. 다음으로 그 관찰이 사용 방식인지 성과인지 고용 결과인지 구분한다. 마지막으로 화면 밖 활동이나 제외된 고객처럼 관찰할 수 없는 부분을 표시하면 통계가 답할 수 있는 질문이 명확해진다.
첫 Economic Index의 협업과 자동화 비중은 AI가 실제 대화에서 어떻게 쓰이는지 살피는 출발점이다. 그 비중을 곧바로 노동자의 수나 사라진 일자리의 수로 바꾸지 않을 때 자료의 가치도 더 분명해진다. 기술에 대한 큰 기대나 불안을 덧붙이기 전에 관측 단위와 표본의 경계를 확인하는 것이 이 발표를 읽는 기본이다.
