Cloudflare에서 25.03.19.에 공식 블로그를 통해 AI Labyrinth를 발표했습니다.
이는 웹 익스플로잇 방어 기술이라기보다, 허가 없이 콘텐츠를 수집하는 AI 크롤러 대응 기능입니다.
일반적인 차단은 크롤러에게 차단 사실을 알려 우회할 단서를 줄 수 있습니다.
그러나 AI Labyrinth는 의심되는 자동화 요청을 감지하면 사람에게는 보이지 않는 링크를 노출하고, 사이트 본문과 무관한 AI 생성 페이지가 서로 이어지는 경로로 유도합니다.
이 과정에서 공격자를 반드시 막지 못하더라도, 가치 없는 경로에서 요청과 시간, 연산 자원을 계속 쓰게 만듭니다.
위의 그래프는 공식 블로그에 포함된 AI Bot 요청량 그래프입니다.
절대적인 수치를 공개하지는 않았지만, 관측 기간 동안 AI Scraper 트래픽이 AI Search나 AI Assistant보다 훨씬 크고 변동도 크다는 점을 보여줍니다.
즉 이 그래프는 AI Labyrinth의 성능 결과가 아니라, 대응하려는 트래픽 환경을 설명하는 자료입니다.
작동 방식은 네 단계로 정리할 수 있습니다.
먼저 부적절한 Bot 행동을 탐지하고, 의심되는 AI Scraper에게만 숨겨진 링크를 노출합니다.
링크를 따라가면 Workers AI로 미리 생성하고 검수한 콘텐츠가 R2에서 제공됩니다.
크롤러가 이 경로를 깊게 따라갈수록 요청 수와 처리 시간이 늘며, 그 행동은 새로운 Bot 지문이 되어 탐지 모델에 다시 활용됩니다.
따라서 AI Labyrinth는 방어와 탐지가 분리되어 있지 않습니다. 자원을 소모시키는 유도 경로가 동시에 탐지 신호를 만드는 구조입니다.