了解 Google 和 Bing 如何抓取网站并将其编入索引，以便您可以提高搜索可见性。

抓取和索引网站是了解网页内容的复杂过程的第一步，以便将它们作为用户查询的答案呈现。

搜索引擎不断改进他们抓取和索引网站的方式。

了解 Google 和 Bing 如何处理网站抓取和索引任务有助于制定提高搜索可见性的策略。

当今搜索引擎的工作方式：索引

让我们看看搜索引擎如何运作的具体细节。

本文重点介绍索引。那么，让我们潜入…

索引

索引是在抓取网站后开始排名过程的地方。

索引本质上是指将网页内容添加到 Google 中以考虑排名。

当您在网站上创建新页面时，可以通过多种方式对其进行索引。

获取页面索引的最简单方法是完全不做任何事情。

谷歌有跟踪链接的爬虫，因此，如果您的网站已经在索引中，并且新内容是从您的网站内链接到的，谷歌最终会发现它并将其添加到其索引中。稍后再谈。

如何更快地获得页面索引

但是，如果您希望 Googlebot 更快地访问您的页面怎么办？

如果您有及时的内容，或者您​​对需要 Google 了解的页面进行了重要更改，这可能很重要。

当我优化关键页面或调整标题和/或描述以提高点击率时，我会使用更快的方法。我想具体知道它们何时被拾取并显示在 SERP 中，以了解改进的衡量标准从哪里开始。

在这些情况下，您可以使用一些其他方法。

1. XML 站点地图

XML 站点地图是引起搜索引擎关注内容的最古老且普遍可靠的方式。

XML 站点地图为搜索引擎提供了您站点上所有页面的列表，以及有关它的其他详细信息，例如上次修改的时间。

站点地图可以通过 Bing Webmaster Tools 提交给 Bing，也可以通过Search Console提交给 Google 。

绝对推荐！

但是当您需要立即索引页面时，它并不是特别可靠。

2. 使用 Google Search Console 请求索引

在 Search Console 中，您可以“请求索引”。

您首先单击顶部的搜索字段，该字段默认显示为“在 domain.com 中检查和 URL”。

输入要编入索引的 URL，然后按 Enter。

如果该页面已为 Google 所知，您将看到有关该页面的大量信息。我们不会在这里讨论，但如果您还没有登录，我建议您登录并查看其中的内容。

对于我们这里的目的，重要的按钮会显示该页面是否已被编入索引——这意味着它有利于内容发现或只是请求 Google 了解最近的更改。

您将找到如下所示的按钮。

在几秒钟到几分钟内，您可以在 Google 中搜索新内容或 URL，并找到更改或提取的新内容。

3.参与必应的IndexNow

必应有一个基于推送方法的开放协议，该方法会提醒搜索引擎有新的或更新的内容。

这种新的搜索引擎索引协议称为 IndexNow。

它被称为推送协议，因为其想法是使用 IndexNow 提醒搜索引擎有关新的或更新的内容，这将导致它们来索引它。

拉取协议的一个示例是旧的 XML Sitemap 方式，它依赖于搜索引擎爬虫来决定访问和索引它（或由 Search Console 获取）。

IndexNow 的好处是它浪费了更少的网络托管和数据中心资源，这不仅环保而且节省了带宽资源。

然而，最大的好处是更快的内容索引。

IndexNow 目前仅由 Bing 和 Yandex 使用。

实现 IndexNow 很简单：

• 有一个IndexNow WordPress 插件。
• Drupal IndexNow 模块。
• Duda 上的 IndexNow默认启用。
• Cloudflare 支持的 IndexNow。
• 由 Akamai 支持的 IndexNow。

4. 必应网站管理员工具

除了参与 IndexNow 之外，还可以考虑使用 Bing 网站管理员工具帐户。

如果您没有 Bing 网站管理员工具帐户，我再怎么推荐也不为过。

其中提供的信息非常丰富，将帮助您更好地评估问题领域并提高您在 Bing、Google 和其他任何地方的排名——并且可能还提供更好的用户体验。

但是为了让您的内容被索引，您只需单击：配置我的站点 > 提交 URL。

从那里输入您想要索引的 URL，然后单击“提交”。

因此，这几乎是您需要了解的有关索引以及搜索引擎如何进行索引的所有内容（着眼于事情的发展方向）。

更多详细信息请参见Bing 网站管理员工具 URL 提交工具帮助页面。

还有一个必应网站管理员工具索引 API，它还可以将内容出现在必应搜索结果中的时间加快到数小时内。有关Bing 索引 API 的更多信息，请点击此处。

抓取预算

如果不讨论爬网预算，我们就不能真正谈论索引。

基本上，抓取预算是一个术语，用于描述 Google 将花费多少资源来抓取网站。

分配的预算是基于多种因素的组合，其中两个核心因素是：

• 您的服务器有多快（即 Google 可以抓取多少而不降低您的用户体验）。
• 您的网站有多重要。

如果您运营的主要新闻网站内容不断更新，搜索引擎用户会希望知道您的网站会经常被抓取（我敢说……经常）。

如果您经营一家小型理发店，有几十个链接，并且在这种情况下被认为不重要（您可能是该地区的重要理发师，但在抓取预算方面并不重要），那么预算会很低。

您可以在此处的 Google 解释中详细了解抓取预算以及它们是如何确定的 。

谷歌有两种爬取方式

谷歌索引从抓取开始，它有两种。

第一种爬取是发现，谷歌在其中发现要添加到索引的新网页。

第二种抓取方式是刷新，Google 会在其中查找已编入索引的网页中的更改。

探索搜索引擎的工作原理

为搜索引擎优化网站始于良好的内容，并以发送它以获取索引结束。

无论您是使用 XML 站点地图、Google Search Console URL 提交工具、Bing 网站管理员工具还是 IndexNow，都可以将内容编入索引是您的网页开始进入搜索结果顶部之旅的时刻（如果一切正常！） .

这就是为什么了解搜索索引的工作原理很重要的原因。

搜索引擎如何工作 解决搜索引擎如何运作以及影响搜索引擎结果页面的关键因素。