微软通过采用一种新的人工智能技术,显着提高了生产翻译模型的质量,极大地推动了其翻译软件和服务。这家软件巨头最终旨在通过其更大的 XYZ 代码计划将文本、视觉、音频和语言的 AI 模型结合起来。作为该计划的一个组成部分,Z-code 支持创建能够说、看、听和理解的人工智能系统。
微软已使用其新的 Z 代码模型更新了其Microsoft 翻译软件以及其他 Azure AI 服务。为了将这些模型投入生产,这家软件巨头正在使用Nvidia GPU和 Triton 推理服务器来有效地扩展和部署它们。
还值得注意的是,Microsoft Translator 是第一家为客户实时引入 Z-code Mixture of Experts 模型的机器翻译提供商。
与以前的AI 模型不同,Z-code 模型利用称为混合专家 (MoE) 的新架构,模型的不同部分可以学习不同的任务。因此,模型学习同时在多种语言之间进行翻译。
同时,新引入的 Z-code MoE 模型利用了迁移学习,可以在英语和法语等相似语言之间进行有效的知识共享。这些模型在训练过程中还使用并行和单语数据,这允许在高资源语言之外进行高质量的机器翻译。
去年 10 月,微软在一篇博文中宣布,微软翻译现在能够翻译 100 多种语言。为此,该公司使用了支持 100 个语言对的 2000 亿个参数。然而,由于训练具有数十亿参数的大型模型具有挑战性,Translator 团队与 Microsoft DeepSpeed 合作开发了一个高性能系统,用于帮助训练其大规模 Z 码 MoE 模型。
微软随后与 Nvidia 合作优化更快的引擎,这些引擎可在运行时用于在 GPU 上部署其新的 Z-code/MoE 模型。就其本身而言,Nvidia 开发了自定义CUDA内核,该内核利用 CUTLASS 和 FasterTransformer 库在单个V100 GPU上实现 MoE 层。
微软的新 Z-code 模型现在可以通过使用其文档翻译功能向客户提供,该功能可以翻译各种不同文件格式的整个文档甚至大量文档,同时保持其原始格式不变。