然后再继续执行后续步骤

habibajahanjan

到达网站后，在进行蜘蛛抓取之前，Google 机器人会查找 WordPress robots.txt 文件。如果它找到 robots.txt 文件，它将首先读取该文件，。 robots.txt 文件将包含有关 Google 工具应如何抓取网站的信息。在这里，这些机器人将获得有关此过程的更具体信息的指导。 如果 robots.txt 文件不包含任何用户代理指令，或者您没有为网站创建 robots.txt 文件，机器人将收集网络上的其他信息。 robots.txt 文件位于网站的什么位置？ 当您创建 WordPress 网站时，它会自动在服务器根目录下创建一个 robots.txt 文件。 例如，如果您的网站位于 gtvseo.com 的根目录中，您将能够访问 文件，初始结果将类似于以下内容： User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ 正如我上面所说，User-agent: * 之后的部分表示该规则适用于网站上任何地方的所有类型的机器人。在这种情况下，该文件将告诉机器人它们不允许出现在 wp-admin 和 wp-includes 目录文件中。很合理不是吗，因为这两个文件夹中包含了大量的敏感信息文件。




请记住，这是一个虚拟文件，由 WordPress 在安装时默认设置，并 阿曼电话号码数据 且无法编辑（尽管它仍然有效）。通常，标准的 WordPress robots.txt 文件位置位于根目录中，通常称为 public_h（或网站名称）。要创建您自己的 robots.txt 文件，您需要创建一个新文件来替换放置在该根目录中的旧文件。 机器人.txt WordPress 下面，我将向您展示多种轻松为 WordPress 创建新 robots.txt 文件的方法。但首先，让我们研究一下您应该在此文件中使用的规则。 如何检查网站是否有robots.txt文件？ 如果您想知道您的网站是否有 robots.txt 文件。输入您的根域，然后将 /robots.txt 添加到 URL 末尾。如果您没有出现 .txt 页面，那么您的网站肯定没有为 WordPress 创建 robots.txt。很简单的！同样，您可以通过执行上述操作来检查我的网站 gtvseo.com 是否创建了 robots.txt 文件： 输入根域名 >在末尾插入 > 按 Enter。



并立即等待结果就知道了！ robots txt，SEO标准robots.txt文件 如何检查文件robots.txt 需要将哪些规则添加到 WordPress robots.txt 文件中？ 到目前为止，它们一次都处理一项规则。但是如果您想对不同的机器人应用不同的规则怎么办？ 您只需在每个机器人的用户代理声明中添加每组规则即可。 例如，如果您想创建一条适用于所有机器人的规则和另一条仅适用于 Bingbot 的规则，您可以这样做： User-agent: * Disallow: /wp-admin/ User-agent: Bingbot Disallow: / 在这里，所有机器人都将被阻止访问 /wp-admin/，但 Bingbot 将被阻止访问您的整个网站。 获取免费文件 创建 WordPress robots.txt 文件的 3 种简单方法 如果检查后您发现您的网站没有 robots.txt 文件，或者您只是想更改 robots.txt 文件。请参考以下3种为WordPress创建robots.txt的方法： 1.使用Yoast SEO 您可以通过几个简单的步骤在 WordPress 仪表板本身上编辑或创建 WordPress 的 robots.txt 文件。登录您的网站，登录后您将看到仪表板界面。