知道”几乎是所有行业的关

[fomayof928@mowline]

行为
“第一个键部分，链接索引也不例外。您希望尽快了解链接何时打开或关闭以及该链接的质量如何，以便您可以在需要时做出响应。这是我们当前的速度指标。


快速滚动
从一组随机选择的 RSS 源中将最新帖子编入索引的概率是多少？


与讨论的其他指标不同，这里的采样过程有点不同。我们 伯利兹 WhatsApp 数据 没有使用上面的随机化，而是从超过一百万个知名 RSS 源中随机选择，找到他们的最新帖子，并检查它们是否包含在 Moz 和各种竞争对手的索引中。虽然该图中存在一些不准确之处，但我认为只有一条清晰的路径。 Ahrefs 关于其爬虫的说法是正确的。它们速度很快，而且无处不在。尽管 Moz 显着且迅速地增加了我们的覆盖范围，但它在 FastCrawl 指标方面几乎没有取得任何进展。

现在你可能会问，如果 Ahrefs 的爬行速度这么快，Moz 怎样才能赶上呢？嗯，有几个答案，但也许最大的一个是新 URL 只代表网络的一小部分。大多数 URL 都不是新的。假设两个索引（一个新，一个旧）有一组正在考虑爬行的 URL。两者都可能优先考虑他们以前从未见过的重要域上的 URL。对于大型旧索引，这将只占该组的一小部分，因为它们长期以来一直在更快地爬行。因此，在白天，较高比例的旧索引抓取将专门用于重新抓取它已经知道的页面。新索引可以将更多的爬网能力用于新的 URL。

然而，这给 Moz 带来了改善其爬行基础设施的压力，因为我们在某些大小指标上捕获并克服了 Ahrefs。根据这篇文章，Ahrefs 赢得了快速抓取指标。