Google通过引入两个新的Google爬虫程序扩展了其爬虫程序机器人列表:GoogleOther-Image和GoogleOther-Video。这些新增内容分类在GoogleOther下,专门为抓取图像和视频等二进制数据而设计,以满足研究和开发目的。爬虫机器人——艺术诠释。
这些专门的机器人被Google产品团队用于内部索引构建目的,其中Googlebot主要专注于索引构建,而GoogleOther则管理其他历史任务。有关这些机器人的详细文档,用户可以参考以下内容:
GoogleOther-Image针对获取可公开访问的图像URL进行了优化,由用户代理令牌GoogleOther-Image和GoogleOther使用完整的用户代理字符串GoogleOther-Image/1.0进行标识。
同样,GoogleOther-Video针对获取可公开访问的视频URL进行了优化,由用户代理令牌GoogleOther-Video和GoogleOther使用完整的用户代理字符串GoogleOther-Video/1.0进行标识。
据谷歌称,这些新的爬虫分别针对获取图像和视频字节进行了优化,旨在增强对爬行研发工作中使用的二进制数据的支持。此外,Google还更新了GoogleOther的用户代理字符串列表,以确保其准确反映最活跃的用户代理版本。
GoogleOther于2023年4月推出,最初被描述为“通用爬虫”,被各个产品团队用来从网站检索可公开访问的内容。谷歌的加里·伊利斯(GaryIllyes)澄清说,这个爬虫程序旨在承担以前由Googlebot处理的任务,从而释放后者的爬行能力。