Cloudflare는2025년7월1일 콘텐츠 소유자가 AI 크롤러의 접근에 가격을 붙일 수 있는 Pay Per Crawl을 소개했다. 같은 날 개발자 변경 기록도 비공개 베타로 표시했다. 무료 허용과 차단 외에 유료 접근이라는 선택을 만들려는 실험이며,당시 누구나 바로 켤 수 있는 일반 제공 기능으로 발표된 것은 아니다.[1][2]
크롤러는 웹페이지를 자동으로 요청하는 프로그램이다. 이 발표의 과금 단위는 AI가 최종 사용자에게 답변한 횟수나 만들어 낸 매출이 아니라 콘텐츠에 접근하는 요청이다. 페이지를 읽는 단계와 그 정보를 이용해 제공하는 서비스의 결과를 분리해야 수익화 방식의 범위가 보인다.
허용과 과금과 차단
사이트 소유자는 크롤러에 무료 접근을 허용하거나 설정한 가격을 요구하거나 아예 접근을 막는 세 선택을 할 수 있다고 회사는 설명했다. 차단은 돈을 내면 항상 통과한다는 상태가 아니다. 기존 보안 정책과 봇 차단이 적용된 뒤 허용·과금 규칙이 작동하도록 설계됐다는 조건도 있다.[1]
또한 과금 관계가 없는 크롤러를 유료 대상으로 지정했다고 즉시 돈이 들어오는 것은 아니다. Cloudflare는 이 경우 콘텐츠를 주지 않는 네트워크 수준 차단과 같은 효과를 낼 수 있다고 설명했다. 지불 주체의 등록과 인증,결제 관계가 없는 상태에서 가격표만 붙여 수익이 보장되는 구조는 아니다.[1]
무료 허용은 그 운영자가 선택한 접근 정책이고 유료는 별도 지불 절차다. 둘을 섞어 AI 봇이 접근하기만 하면 모두 청구된다고 말할 수 없다. 기능을 제공하는 것과 실제 크롤러가 참여하는 것,그 결과 정산이 발생하는 것은 다른 단계다.
402는 가격을 알려 주는 단계
반응형 흐름에서 크롤러가 유료 주소를 요청하면 서버는402 Payment Required 응답과 가격 정보를 보낼 수 있다. 크롤러는 그 가격에 동의하는 정보를 넣어 다시 요청할 수 있다. 첫402는 결제 필요를 알리는 신호이며 콘텐츠의 성공 전달이나 돈이 이미 빠져나갔다는 영수증이 아니다.[1]
선제적으로 요청에 최대 지불가격을 넣는 방식도 설명됐다. 사이트 가격이 그 한도 이하면 실제 설정 가격으로 접근이 진행되고,사이트 가격이 한도보다 높으면 결제 필요 응답을 받는다. 최대값을 높게 썼다는 이유로 그 최대값 전부를 내는 구조로 설명하지 않았다.[1]
가정한 예시로 요청당 사이트 가격이0.02달러이고 크롤러의 최대 지불가격이0.05달러라면 조건이 맞을 때 실제 가격0.02달러가 적용되는 구조다. 이 금액은 서비스의 실제 요금표가 아니라 공개된 상한 비교 원리를 설명하기 위한 가정이다. 다른 보안·인증 검사도 통과해야 한다.
성공한 콘텐츠 전달과 정산
회사 설명에서는 인증된 지불 의사 요청이 검사를 통과하고 과금 정보를 담은200번대 성공 응답으로 콘텐츠를 받으면 청구 사건이 기록된다. 이후 Cloudflare가 사건을 모아 크롤러에게 청구하고 발행자에게 수익을 배분하는 역할을 맡는다. 요청 신호와 콘텐츠 전달,정산 시점은 같지 않다.[1]
개발자 변경 기록은 사이트 소유자의 가격 설정과 대상 선택,성공한 콘텐츠 전달 분석,결제 관리 기능을 소개했다. 크롤러 쪽에는 가격을 요청·수락하는 헤더와 명확한 과금 확인을 제시했다. 양쪽 설정이 필요한 접근 거래라는 점을 확인하는 자료다.[2]
가정한 요청1000건 중600건이 과금 조건을 충족해 성공 전달되고 실제 가격이0.02달러라면 단순 곱은12달러다. 전체1000건에 곱한20달러와는 다르다. 이 계산은 참여·성공 조건을 설명하며 수수료·환불·세금·정산 시차 등은 포함하지 않아 발행자의 실제 순수익을 보장하지 않는다.
당시 가격 설정의 범위
7월1일 소개 글은 사이트 전체에 요청당 고정 가격을 둘 수 있다고 설명했다. 경로·콘텐츠 종류·AI 서비스의 사용자 규모에 따라 세밀한 가격을 정하는 방식은 앞으로 발전할 가능성으로 다뤘다. 그러므로 당시 모든 페이지에 자동으로 다른 가격을 매긴다고 확대해서는 안 된다.[1]
특정 크롤러는 무료로 우회시키거나 서비스 밖에서 별도 콘텐츠 제휴를 맺는 선택도 가능하다고 회사는 설명했다. 사이트 가격 하나가 모든 접근 관계와 콘텐츠 사업 모델을 통일한다는 뜻은 아니다. 접근 관리의 공통 장치를 제공하는 것과 각 당사자의 계약을 완전히 대신하는 것은 다르다.[1]
접근 과금은 요청과 콘텐츠 전달을 관리하는 기술적 절차다. 어떤 자료를 어떻게 재이용할 수 있는지의 모든 조건까지 이 기능 이름 하나로 확인됐다고 볼 수는 없다. 이 발표만으로 모든 콘텐츠의 권리 관계나 AI 출력의 정확성이 해결됐다고 주장하지 않았다.
또한 사람 독자의 일반 구독료나 검색 유입 광고 수익과도 단위가 다르다. 한 사용자가 질문을 여러 번 해도 크롤러 접근과 일대일로 대응한다는 자료는 없다. 요청 횟수를 최종 독자 수나 AI 서비스의 이용자 수로 바꾸려면 별도의 연결 자료가 필요하다.
이 기록은2025년7월5일까지 공개된 출시 소개와 당일 개발자 변경 기록을 대조했다. 기능을 실제로 설정하거나 결제를 시험했다는 주장은 하지 않았다. 비공개 베타,접근 선택,가격 신호·성공 전달·정산,당시 고정 가격 범위를 나누면 새 수익화 장치의 가능성과 아직 확인되지 않은 결과를 구별할 수 있다.
