它其实是一份约定

这个文件放在站点根目录下，用固定的文件名，内容是写给来访的自动程序看的。它不是强制性的技术手段，是否遵守取决于对方，但正规的搜索引擎都会读取并遵循，这也是它的价值所在。

因为不具备强制性，它不能用来保护敏感内容。真正不能公开的东西，应该靠身份校验和访问控制来保护，而不是靠一句约定。

这一点在配置时经常被搞混：有人把后台目录写进约定里，以为就安全了，实际只是告诉善意的一方不要来，对恶意的一方没有任何约束。

基本写法和常见内容

文件里通常按来访者分组，每一组指定适用的对象，然后列出允许或不允许的路径。路径匹配按前缀进行，写的时候注意用对开头，避免误伤同一目录下的其他内容。

除了路径，还可以指定抓取间隔，提示对方两次请求之间的最短时间。这个设置对礼貌的来访者有效，能减轻高峰期的压力，但对不遵守约定的一方没有作用。

也可以在文件里声明站点地图的位置，帮助对方更快了解有哪些内容需要收录。这一步对收录效率有帮助，尤其是内容较多、层级较深的站点。

需要注意的是，不同来访者对写法的支持程度不完全一样，个别设置可能被忽略。重要的限制不要只依赖这一处。

常见的写法问题

一种是把不需要收录的页面全部列出来，随着站点更新，这份列表很快就不反映现状，反而让来访者读到过期的信息。更实用的做法是只写清楚的规则，配合页面上的标记来控制收录。

另一种是直接禁止所有来访者。这看起来省事，代价是自己的站点从搜索结果里消失，长期看损失不小。确实需要完全封闭的环境，应该从访问层面处理，而不是写在这里。

还有一种是路径写错位置。同一段路径写在了错误的分组下，或者大小写不一致，实际效果和预期完全不同。写完用工具验证一次，能避免这类问题。

对于不遵守约定的来访者

这类来访需要换手段。频率限制、来源限制、要求登录访问，这些才是有约束力的办法。判断时可以从请求特征入手，比如固定的标识、集中的路径、均匀的间隔。

处理的时候注意区分。有些看起来像恶意抓取的流量，其实是合作方或者监控服务，把它们一起挡掉会带来别的问题。

把约定文件、访问日志和限制规则联系起来看，才能形成完整的判断依据，单看任何一项都不够。站点内容策略变化时记得同步更新这份文件，它对外表达的是你的态度，过期太久就会失去参考价值。

怎么验证写对了

写完不要凭感觉判断。用工具模拟一次抓取，看返回内容是否正常、路径是否允许，能发现大部分写法问题。

搜索引擎的站长工具里通常能看到抓取情况，包括哪些页面被拒绝、有没有报错。对照这些数据，可以确认自己的意图有没有被正确理解。

如果站点结构做了调整，记得回头同步这份文件。路径变了而文件没改，效果会和预期完全相反。

收录之外的意义

除了引导收录，这份文件也是对外说明站点态度的地方。写清楚哪些内容欢迎采集、希望以什么节奏访问，能让愿意配合的一方有据可依。

对内容型站点来说，收录直接影响流量。与其在流量下降之后找原因，不如平时把这份文件维护好，让搜索引擎能顺畅地了解站点上有哪些内容。

站点地图的更新可以顺带一起做。内容发布之后同步更新，收录的及时性会明显提升。把这些事情安排进内容发布的流程里，就不需要单独记着去做。

不同环境的区别

正式环境的规则不建议直接照搬到测试环境。测试环境常常不希望被收录，规则会写得更严格；如果直接同步到正式环境，可能把本来需要收录的页面一起挡在外面，效果和预期相反。

变更之前先在测试环境验证一遍，确认抓取结果符合预期，再同步过去。两边的规则各留一份说明，写明各自的用途，日后维护时不用重新推断。

文件里的注释也可以用来提醒后来接手的人，哪些规则是临时加的，哪些已经不再需要。