网络爬虫活动增加，关于苹果将推出搜索引擎的猜测再现

8 月 28 日消息 多名开发者最近在他们的网站日志中看到苹果的网络爬虫 Applebot 的活动增加，这再次引发了苹果可能计划推出一个成熟的搜索引擎的猜测。然而，更有可能的是，这些爬虫活动应该与苹果改善 Siri 和 Spotlight 搜索结果的工作有关。

数字营销洞察公司 Coywolf 的创始人乔恩 - 亨肖 (Jon Henshaw)本周在一篇博客文章中称，Applebot 已经开始每天定时抓取他的网站，这是他之前没有注意到的。而在 Twitter 上，Stack Overflow 工程师 Nick Craver 和数字营销顾问 Michael James Field 也注意到最近几天 Applebot 在他们所监管的网站上的抓取量激增。

和其他网络爬虫一样，Applebot 也会扫描网络，根据几个因素来帮助确定搜索结果的排名，这些因素包括用户参与度、搜索词与网页主题和内容的相关性和匹配度、网页从其他网站获得的链接数量，以及网页的设计特点。

正如 Henshaw 所指出的那样，苹果在 7 月份更新了 Applebot 的支持文档，增加了新的细节。

- 增加了如何验证 Applebot 的流量

- 扩充了 Applebot 用户代理的细节，包括桌面版和移动版的区别

- 扩展的 robots.txt 规则

- 增加了一个部分，说明他们不仅仅是抓取 HTML，还可以渲染类似于 Google 的页面。

- 增加了一个关于搜索排名和影响网络搜索结果排名的因素的部分。

鉴于苹果宣传自己是一家注重隐私的公司，没有像谷歌或 Facebook 那样的广告或数据驱动的商业模式，因此不确定它是否会想走推出一个成熟的搜索引擎的道路。

至少从 2015 年开始，苹果要推出搜索引擎的传闻就出现了，当时苹果首次确认了其 Applebot，并发布了一系列与搜索相关的工作招聘。

目前，Applebot 可能仍然致力于改善 Siri 和 Spotlight 的搜索结果，正如苹果在其支持文件中所说的那样。了解到，在 6 月份的 WWDC 主题演讲中，苹果表示，Siri 可以提供的事实数量是三年前的 20 多倍。