含对与该单词或短语关联的所有文档的引用。 我们经常说“文档已被索引”，但我们实际上的意思是“与文档相关的一些单词现在被定向到该文档。” 该文档按原样存档在另一个位置。 此外，我的老朋友、前 Google 员工Vanessa Fox解释说： Google 了解 URL，然后将它们添加到其抓取调度系统中。它会估计列表，然后按优先级重新排列 URL 列表，并按该顺序对它们进行爬网。 优先级取决于多种因素…一旦页面被抓取，Google 就会运行另一个算法过程来决定是否将其保留在索引中。 最重要的是，Google 不会抓取它所知道的每个页面，也不会为它抓取的每个页面建立索引。 以下是Google提供的路线图的简化版本： 搜索引擎如何工作 还有其他。
些事情需要记住仅阻止页面被
抓取。这就是为什么谷歌有时会在其搜索结果中显示类似上面示例的页面。尽管 单词关联起来，但无法抓取页面的内容。 – 页级 noindex 命令不是确定性的。Google 可以抓取页 沙特阿拉伯 电话号码 面并将页面上的单词与其索引相关联，但它并不打算将该页面包含在其搜索结果中。 但是，Google 可能会在其记录中包含未编入索引的页面，供任何人查看。事实上，谷歌已经明确表示，如果其他信号表明它应该被索引，它可能会忽略noindex 命令。这是 Google 区别于其他搜索引擎的一个重要领域：Yahoo! Bing 遵循 noindex 命令，不会将其索引或包含在搜索结果中。 还值得注意的。
是当 解该页面并对其进行
爬网/索引时，也会处理其他因素，包括规范和参数排除。 链接和链接图 您需要了解的下一件事是链接及其处理方式。最重要的是，在抓取过程中不会处理 捷克共和国电话号码列表 链接（以及扩展的 PageRank）。换句话说，虽然Google按照前面解释的那样进行抓取，但它在抓取过程中并不考虑页面排名，而是在单独的阶段进行处理。 这一点意味着什么？ 无论别人怎么说，页面排名都是链接数量和质量的衡量标准。与页面上的文字无关。 许多 SEO 认为页面排名有两个组成部分：域级别和页面级别。域级 PageRank 标识域的权威性，并且是许多 SEO 从业者认为用于对网站进行排名的一个因素。我个人认为谷歌使用了域名权限的。