背景:BotBase 生态需要双向参与
Cloudflare 此前在“内容独立日”发布了 BotBase 可搜索机器人目录与 Business Insights,帮助网站所有者了解自动化流量。然而 bot 运营者一方缺乏透明参与渠道:提交表单后无法获知审核进度、被拒原因或更新已登记信息。为此,官方推出 BotBase for Operators,优先解决透明度问题。
控制台入口与功能分区
新版提交体验移至 Protect & Connect → Application Security → BotBase 路径下,与既有安全工具并列。所有 Cloudflare 客户均可在面板中访问。该模块按场景拆分为三块:
- 机器人目录:浏览、搜索及筛选 Cloudflare 已追踪的 bot,数据与 Radar 一致。
- 提交表单:登记新的自动化程序。
- 提交历史:跟踪本账户提交的全部记录。
提交状态可见性
过往运营者反馈提交流程如同“黑盒”。现在“提交历史”标签展示每条记录的状态:
- 等待审核:已入队,尚未处理。
- 已接受:通过审查并进入目录,若分类被调整也会显示变更。
- 已拒绝:注明原因与修正步骤,便于重新提交。
运营者无需邮件联系支持即可自助查询。目录界面还支持按当前账户筛选“我的 bot”。
信息维护与分类模型
bot 标识可能随时间变化(如 IP 列表迁移、启用 Web Bot Auth 签名)。现允许编辑已提交条目或撤销等待中的申请,保持信息准确是获取 Verified 状态的关键。
新 intake 表单基于务实分类法,要求运营者从三个维度描述:
- 行为:可多选(索引、代理用户、数据采集、模型训练、SEO 等)。
- 内容使用方式:遵循网站主使用的 Content Signals 模型,声明读取后用途(如搜索摘要、训练、引用)。
- 运营主体:直接运营基础设施,还是作为承载他方流量的中介平台。
审核流程自动化
自 2023 年来年度新 bot 提交量增长约 7 倍,纯人工审查难以扩展。Cloudflare 重构流程为自动校验:检测是否重复、User-Agent 模式是否足够特异、声明的验证机制(IP 列表抓取、反向 DNS 确认、Web Bot Auth 签名验证)是否生效。通过后即可即时收录。
对读者的意义 / 技术解读
本文介绍的 BotBase for Operators 属于 CDN 厂商的自动化流量治理功能,虽不直接提供 Ping、Tcping、HTTP 测速或路由追踪等网络诊断能力,但与本平台读者(运维、SRE、站长)关注的站点可用性与网络质量存在间接关联。异常爬虫流量可能导致源站负载升高、延迟增加甚至触发防护规则,此时可结合 Cloudflare 的 bot 管理视图与本平台的 HTTP 测速、DNS 查询等工具做交叉分析。对于 bot 运营者,若需验证自身服务端点连通性,亦可利用 Tcping 检测 TCP 端口握手情况。理解云厂商的 bot 生态有助于在网络故障排查时区分人工与机器流量成因。更多背景见 Cloudflare 官方博客。