首页 > 生活 > 正文

爬行能力更强谷歌宣布推出两款新的爬虫机器人

来源:生活2024-05-22 16:12:24
导读 Google通过引入两个新的Google爬虫程序扩展了其爬虫程序机器人列表:GoogleOther-Image和GoogleOther-Video。这些新增内容分类在GoogleOthe...

Google通过引入两个新的Google爬虫程序扩展了其爬虫程序机器人列表:GoogleOther-Image和GoogleOther-Video。这些新增内容分类在GoogleOther下,专门为抓取图像和视频等二进制数据而设计,以满足研究和开发目的。爬虫机器人——艺术诠释。

这些专门的机器人被Google产品团队用于内部索引构建目的,其中Googlebot主要专注于索引构建,而GoogleOther则管理其他历史任务。有关这些机器人的详细文档,用户可以参考以下内容:

GoogleOther-Image针对获取可公开访问的图像URL进行了优化,由用户代理令牌GoogleOther-Image和GoogleOther使用完整的用户代理字符串GoogleOther-Image/1.0进行标识。

同样,GoogleOther-Video针对获取可公开访问的视频URL进行了优化,由用户代理令牌GoogleOther-Video和GoogleOther使用完整的用户代理字符串GoogleOther-Video/1.0进行标识。

据谷歌称,这些新的爬虫分别针对获取图像和视频字节进行了优化,旨在增强对爬行研发工作中使用的二进制数据的支持。此外,Google还更新了GoogleOther的用户代理字符串列表,以确保其准确反映最活跃的用户代理版本。

GoogleOther于2023年4月推出,最初被描述为“通用爬虫”,被各个产品团队用来从网站检索可公开访问的内容。谷歌的加里·伊利斯(GaryIllyes)澄清说,这个爬虫程序旨在承担以前由Googlebot处理的任务,从而释放后者的爬行能力。

关键词:
版权声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

最新文章