我们都知道谷歌机器人是非常友好的。就像所有的友好的搜索引擎机器人一样，他耐心地听取我们的意见并且尊重我们的意愿不去爬行任何我们不希望它爬行的网站部分。我们可以仅仅给他一个robots.txt文件说明什么是我们希望他做的，然后他就会愉快地遵从。但是如果我们迫不得已只能与谷歌机器人直接交流呢？毕竟，不是所有的人都熟悉robots.txt文件的语言。这就是我们为什么如此高兴地向您介绍一款专属于您的搜索引擎机器人翻译工具：网站管理员工具中的robots.txt生成器。它旨在为您提供一个既简单又互动的方式去建立一个robots.txt文件。它的操作非常简单，您只需输入您不希望搜索引擎机器人爬行的文件和目录即可。

或者，如果您需要的话，您可以为特定的搜索引擎机器人或您网站的特定区域建立更加细致的规则。

当您完成了对生成器的配置之后，您可以利用我们的robots.txt分析工具检测新生成的robots.txt文件的效果。如果测试无误，您只需将生成的文件保存在您网站的根目录下即可。除此之外，这里还有一些关于robots.txt文件的重要事实希望您能牢记：

• 不是所有的搜索引擎都支持robots.txt文件的所有扩展
  
  Robots.txt生成器可以生成谷歌机器人能够理解和识别的文件，而且绝大多数搜索引擎机器人也都能够正确识别。但是，一些例外情况也是存在的，或许有一些搜索引擎机器人不能完全识别生成器生成的所有特性。

• Robots.txt文件仅仅是一个请求
  
  尽管在主要搜索引擎上极为少见，搜索引擎中还是有一些肆无忌惮的搜索引擎机器人会无视robots.txt的内容，对禁止访问的网站区域也进行爬行。如果您有一些需要进行彻底保护的敏感信息，您应该设置访问密码来对它们加以保护，而不是仅仅依赖于robots.txt文件。

转载请注明：夜阑小雨 » 看看google的robots.txt如何工作的？