Cloudflare升级爬虫屏蔽:默认禁止AI代理和训练爬虫访问广告页面

3天前更新 Content True
2 0 0

互联网基础服务企业 Cloudflare 宣布进一步细化网络爬虫屏蔽管理,将依据爬虫行为为机器人打上搜索、代理、训练等多类标签,并计划在 2026 年 9 月 15 日起默认禁止 AI 代理与训练爬虫访问带有广告的网页。

Cloudflare 表示,绝大多数网站所有者都希望内容既能被人工智能检索发现,又不至于因此失去知识产权带来的收益。真正负责任的 AI 企业通常会明确标注自家网络爬虫的用途,但现实中仍有不少“混合型”爬虫同时承担多种功能,识别与区分难度更高。

与此同时,Cloudflare 还将向网站所有者推出新版归因业务洞察仪表板,以适配搜索优化正在经历的从 SEO 到 GEO 再到 AEO 的变化。

Cloudflare升级爬虫屏蔽:默认禁止AI代理和训练爬虫访问广告页面的封面图

相关快讯

微软或将整合消费版与企业版 AI 聊天机器人

微软计划将Copilot消费版与企业版整合为一个单一应用,并加入AI编码工具和新的AI代理功能,但相关能力需额外付费使用。据知情人士透露,升级后的Copilot预计将在8月发布。

全球首个“无人公司”来了:Matrix 把 AI 开公司赚钱这件事跑通了

近半年,AI 使用者分成两类:一类热衷 Coding Agent,写脚本、做网站、修 bug;另一类使用 AI 助理整理资料、写文档和做规划。Matrix 可视为“AI 公司操作系统”,其多 Agent 架构由团队耗时 8 个月打造,并支持灵活接入 Neo、Codex Agent、Claude Code 等协作 Agent。

Anthropic推出Claude Science AI科研工作台,科研效率再升级

Anthropic周二正式推出面向科学家的AI工作台Claude Science,目标是把分散的科研工具整合到统一环境中,支持AI代理端到端完成分析,并由专门审核代理核查引文和计算结果。这被视为其在科研领域最深布局,也是在冲刺IPO前争夺付费客户的重要商业动作。

告别验证码烦恼:Cloudflare与主流浏览器联手抵御恶意爬虫

Cloudflare 于 22 日宣布,与 Mozilla Firefox、谷歌 Chrome 和微软 Edge 浏览器合作开发“私密访问控制令牌”(PACT),并推动其成为行业标准。PACT 旨在在保护隐私的基础上,帮助用户和授权机器人证明其访问流量的真实性,防止恶意自动化流量的干扰。随着互联网操作逐渐由 AI 代替人类点击,网站面临的挑战增多,需在阻挡恶意流量与避免强制登录和侵入式追踪之间找到平衡。生成式 AI 的快速发展使得恶意自动化流量更加复杂,给网站带来更大经济损失。

Meta计划为“Hatch”AI代理推出每月最高200美元的收费方案

Meta正在规划一款名为“Hatch”的消费级AI代理,并考虑每月收取最高200美元的费用。内部文件显示,该公司可能会推出分级付费模式,以满足不同用户的需求。

Cloudflare裁员1100人以上,迈向AI驱动的运营新模式

美国网络安全公司Cloudflare宣布将裁减约20%的员工,影响超过1100人,作为向“以AI为先的智能体运营模式”转型的一部分。尽管公司季度业绩超出预期,但股价在盘后交易中仍下跌14%。此次裁员是美国科技行业近期与人工智能相关的最新案例。

暂无评论

暂无评论...