클라우드플레어, AI 크롤러 기본 차단 조치 도입···“업계 최초”

이번 조치로 웹사이트 소유자는 AI 크롤러의 접근을 허용할지 여부를 직접 설정할 수 있게 됐다. 또한 AI 기업은 크롤러가 콘텐츠를 수집하는 목적이 학습, 추론, 검색 중 어떤 것인지 명확히 밝혀야 하며, 웹사이트 소유자는 이를 바탕으로 접근을 허용할지 결정할 수 있다. 클라우드플레어는 이러한 기본 정책이 콘텐츠 제공자와 AI 기업 간의 균형을 맞추고, 보다 건전한 인터넷 환경 조성에 기여할 수 있을 것으로 기대하고 있다.

클라우드플레어에 따르면, 최근 AI 크롤러가 기사, 텍스트, 이미지 등 다양한 콘텐츠를 수집해 자체적으로 응답을 생성하면서 사용자들이 원 출처를 방문하지 않고 정보를 소비하는 방식이 확산되고 있다. 이로 인해 콘텐츠 제작자는 수익은 물론, 콘텐츠가 실제로 소비된다는 창작의 동기마저 잃을 수 있다. 클라우드플레어는 이러한 문제를 기술적으로 해결하고자 이번 조치를 도입했다고 밝혔다.

클라우드플레어 CEO 겸 공동 창업자 매튜 프린스는 “AI시대에 인터넷이 지속 가능하려면, 퍼블리셔에게 정당한 통제권을 주고 창작자, 소비자, 미래의 AI 창업자 및 웹 생태계 전체가 상생할 수 있는 새로운 경제 모델이 필요하다”라며 “원본 콘텐츠는 인터넷이라는 지난 세기의 위대한 발명을 가능하게 한 핵심 자산이다. AI 크롤러는 사실상 지금까지 무제한으로 콘텐츠를 수집해왔다. 클라우드플레어는 창작자에게 권한을 돌려주는 동시에 AI 혁신은 지속할 수 있도록 균형을 잡고자 한다. 이는 모두를 위한 새로운 모델을 통해 자유롭고 역동적인 인터넷의 미래를 보호하는 일”이라고 밝혔다.

레딧 공동 창립자 겸 CEO  스티브 허프먼은 보도자료를 통해 “AI 기업, 검색 엔진, 연구자 등 웹사이트를 크롤링하는 모든 이는 자신이 누구인지 밝혀야 하며, 웹상의 모든 플랫폼은 누가 왜 자신들의 콘텐츠를 수집하는지에 대해 통제권을 가져야 한다”라며 “크롤링의 투명성과 제어가 높아질수록 생태계 전체가 더 나아지며, 클라우드플레어의 이번 조치는 그 방향으로의 올바른 첫걸음이다”라고 말했다.

클라우드플레어는 전 세계 인터넷 트래픽의 약 20%를 처리하며, 매일 수조 건에 달하는 요청을 처리하는 글로벌 네트워크를 운영하고 있다. 이러한 인프라를 기반으로, 사람과 AI 크롤러를 구분할 수 있는 고도화된 봇 관리 솔루션을 제공하고 있다. 2024년 9월에는 클릭 한 번으로 AI 크롤러의 접근을 차단할 수 있는 기능을 도입했으며, 현재까지 100만 개 이상의 고객이 이 기능을 활용 중이다. 클라우드플레어는 이 기능이 AI 전략을 준비 중인 기업들에게 간편한 콘텐츠 보호 수단이 될 수 있다고 보고 있다.

이번 조치로 AI 기업은 웹사이트의 콘텐츠를 수집하기 전에 명시적인 허가를 받아야 한다. 새롭게 클라우드플레어에 가입하는 모든 도메인은 AI 크롤러 허용 여부를 처음부터 설정하게 되며, 기본값은 ‘차단’이다. 이에 따라 웹사이트 소유자는 별도의 설정을 하지 않아도 기본적인 보호를 받을 수 있다. 사용자는 필요에 따라 언제든지 설정을 변경해 크롤러의 접근을 허용할 수도 있다.

 클라우드플레어는 이번 변화에 대해 AP 통신, 버즈피드(BuzzFeed), 콘데 나스트(Condé Nast), 포춘(Fortune), 핀터레스트(Pinterest), 레딧(Reddit), 유니버설 뮤직 그룹(Universal Music Group) 등 세계 주요 콘텐츠, 미디어, 기술 기업들로부터 지지를 얻고 있다고 밝혔다.
dl-ciokorea@foundryco.com