Cloudflare将默认禁止AI代理爬取含广告网页

2026年7月1日，美国Cloudflare公司宣布升级爬虫管理策略，计划于9月15日起默认屏蔽AI代理与训练类爬虫访问含广告的网页。此举旨在平衡内容可发现性与网站收益保护，针对混合型爬虫实施‘一行为违规即全功能受限’机制。平台同步推出新版归因洞察仪表板、页面变动监控及按量计费抓取服务，以支持SEO向AEO演进。