今天，Meta在《自然》（@Nature）杂志发表了一篇文章推出一种AI模型：No Language Left Behind (NLLB) ，能够在 200 种语言之间直接提供高质量的翻译
No Language Left Behind (NLLB) 模型架构详解
No Language Left Behind (NLLB) 项目旨在通过先进的神经机器翻译技术，实现对200种语言的高质量支持，尤其关注低资源语言的翻译。本文将详细介绍NLLB模型的架构设计及其技术创新，展示其在多语言翻译中的突破性进展
翻译质量
NLLB-200模型相比之前的最先进系统，在翻译质量上取得了显著提升。平均而言，NLLB-200模型的翻译质量提升了44%。这一提升在多个语言方向上均有体现，尤其是低资源语言
使用NLLB-200翻译的文章具有最低的删除率（0.13%）和最高的修改保留率（10%以下）
模型架构
NLLB模型采用了稀疏门控专家混合（Sparsely Gated Mixture of Experts, MoE）架构。这种架构通过稀疏激活机制，实现了高效的参数利用和计算资源分配，大幅提升了模型在处理多语言任务时的性能
稀疏门控专家混合架构
基础原理： 稀疏门控专家混合架构的核心理念是将模型的计算资源分配给不同的专家网络（专家层），每个专家专注于处理特定语言或语言组。通过门控机制，模型能够在处理不同输入时激活相应的专家，从而提高翻译效果
专家网络的设计： NLLB模型中的专家网络是多个并行的子网络，每个子网络由若干层的神经单元组成。这些子网络通过共享的参数和独立的参数相结合，在共享知识的同时，保留了对特定语言的专门优化
门控机制： 门控机制通过动态选择激活哪些专家网络来处理输入数据。具体来说，门控网络根据输入的语言特征和上下文信息，决定激活哪些专家网络。这样，模型能够根据不同语言的需求，灵活调整计算资源的分配
数据挖掘与预处理
NLLB项目在数据挖掘和预处理方面也采用了创新的方法，以解决低资源语言的数据匮乏问题。项目团队利用多种数据源，包括网络爬虫、文档库以及社区贡献，收集了大量平行语料。同时，利用先进的数据清洗和对齐技术，确保数据的高质量和多样性
模型训练与优化
多语言训练： 在模型训练过程中，NLLB采用了多语言联合训练的方法，即在一个统一的模型中同时训练多种语言。这样可以充分利用高资源语言的数据，提升低资源语言的翻译性能。通过共享多语言的知识，模型能够更好地泛化到不同语言的翻译任务上
优化策略： 为了进一步提升模型的性能，NLLB团队采用了多种优化策略，包括学习率调节、梯度裁剪、正则化等技术。同时，利用分布式训练和混合精度训练，显著加快了模型的训练速度，并有效降低了计算资源的消耗
性能评估与测试
NLLB项目开发了一套综合评估工具，用于测试和验证模型在不同语言上的翻译性能。这些工具包括：
FLORES-200：一套自动评估基准，覆盖了200种语言的测试数据，用于衡量翻译质量
XSTS：人工评估指标，通过人类评审员对翻译结果的质量进行主观打分
有害内容检测：针对所有支持语言，模型还集成了有害内容检测器，以确保翻译结果的安全性和可靠性
paper：
https://www.nature.com/articles/s41586-024-07335-x/tables/3
⭐星标AI寒武纪，好内容不错过⭐
用你的赞和在看告诉我～
👇👇