웹에서 안정적으로 데이터를 수집하는 능력이 이커머스와 인공지능(AI) 업계의 새로운 핵심 경쟁력으로 떠오르고 있는 가운데, 글로벌 웹 인프라 기업들이 AI 학습용 크롤러에 대한 통제를 강화하면서 데이터 확보를 위한 기업들의 셈법도 복잡해지고 있다.

최근 클라우드플레어(Cloudflare)는 광고가 게재되는 신규 도메인에서 AI 학습 및 에이전트 목적의 크롤러 접근을 기본적으로 차단하겠다고 밝혔으며, 이는 최근 HTML 콘텐츠 트래픽 기준 자동화된 봇 요청 비중이 사람에 의한 트래픽을 처음으로 앞질렀다는 분석에 따른 조치다.

하지만 이 같은 차단 기술 고도화는 악성 봇뿐만 아니라 정당한 비즈니스 목적의 데이터 수집까지 차단하는 부작용을 낳고 있다. 보안기업 휴먼시큐리티의 2026년 보고서에 따르면 소매·이커머스 업종은 AI 관련 트래픽의 상당수를 흡수하는 주요 업종으로, 가격표와 카탈로그 등 공개 정보를 대량 추출하려는 글로벌 스크래핑 시도가 2022년 대비 138% 이상 급증함에 따라 방어 기술 역시 함께 강화되는 추세다.

국내 시장 역시 온라인쇼핑 거래액이 2024년 259조 원, 2025년 271조 원을 거쳐 2026년에도 성장세를 이어갈 것으로 전망됨에 따라 경쟁사의 가격·재고·프로모션을 실시간으로 추적하려는 수요가 급증하고 있으나, 강화된 차단벽 앞에서는 정상적인 데이터 수집조차 예외를 인정받기 어려운 실정이다.

이에 따라 실제 인터넷서비스제공업체(ISP)가 실사용자에게 할당한 회선을 경유해 일반 접속자와 구분하기 어려운 주거용 프록시(Residential Proxies)가 대안으로 거론되고 있다. 브라이트데이터(Bright Data) 등 관련 인프라 제공 기업들은 국가 및 도시 단위의 지역 타겟팅을 지원하여 이커머스 가격 비교나 시장 조사를 돕는 한편 고객확인(KYC) 절차를 통해 자체 수집 기준을 강화하고 있다.

결국 웹 인프라 기업들의 AI 크롤러 통제가 심화될수록 콘텐츠 생산 능력 못지않게 필요한 데이터에 적법하고 안정적으로 접근할 수 있는 인프라 구축이 향후 비즈니스의 성패를 가를 전망이다.


leechemy@heraldcorp.com