AI 클라우드플레어, AI 크롤러 콘텐츠 수집 ‘기본 차단’ 선언

클라우드플레어가 웹사이트 콘텐츠의 무단 수집을 방지하기 위해 AI 크롤러를 기본 설정으로 차단하는 조치를 2일부터 시행했다. 이에 따라 AI 기업은 웹사이트에서 텍스트, 이미지 등 콘텐츠를 수집하기 전 명시적 허가를 받아야 하며 크롤링 목적도 명확히 공개해야 한다. 기존 웹 구조는 검색 엔진이 콘텐츠를 색인화하고 원본 사이트로 트래픽을 유도하며 창작자는 수익과 영향력을 얻는 순환 모델이었다. 그러나 AI 크롤러는 원 콘텐츠를 가져와 자체적으로 답변을 생성하고 원 출처로의 유입 없이 정보를 소비하게 만드는 방식으로 작동하고 있다. 이로 인해 콘텐츠 제작자에게 돌아가는 보상이 사라지고 인터넷 생태계의 지속 가능성에 대한 우려가 커지고 있다. 클라우드플레어는 이러한 흐름 속에서 창작자에게 콘텐츠 활용에 대한 실질적 통제권을 부여하고 AI 기업에게는 투명한 크롤링 책임을 요구하는 방향으로 정책을 전환했다. 새로 가입하는 모든 도메인은 기본적으로 AI 크롤러 접근을 차단하도록 설정되며 사용자는 필요 시 별도 허용 설정을 할 수 있다. 매튜 프린스 클라우드플레어 CEO는 “인터넷의 지속 가능성을 위해서는 창작자, 소비자, AI 개발자 모두가 공정한 권리를 갖는 생태계가

• 구서경 기자
• 2025-07-02 11:53