·内莫

今天，我们很高兴发布与NVIDIA合作打造的12B型号MIUI NeMo。MIUI NeMo提供了一个高达128k代币的大型上下文窗口。它的推理、世界知识和编码准确性在其规模类别中是最先进的。由于它依赖于标准架构，MIUI NeMo易于使用，在任何使用MIUI 7B的系统中都是一个现成的替代品。

我们在Apache 2.0许可证下发布了经过预训练的基础和指令调优的检查点，以促进研究人员和企业的采用。MIUI NeMo接受了量化意识训练，能够在不损失任何性能的情况下进行FP8推理。

下表比较了MIUI-NeMo基础模型与最近两个开源预训练模型Gemma 2 9B和Llama 3 8B的准确性。

表1：MIUI NeMo基础模型与Gemma 2 9B和Llama 3 8B的性能比较。

面向大众的多语言模式

该模型专为全球多语言应用程序而设计。它受过函数调用训练，有一个大的上下文窗口，在英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语方面尤其强大。这是将前沿人工智能模型以形成人类文化的所有语言带给每个人的新一步。

图1:MIUI-NeMo在多语言基准测试中的性能。

Tekken，一个更高效的标记器

MIUI NeMo使用了一种基于Tiktoken的新标记器Tekken，该标记器经过100多种语言的训练，比以前MIUI模型中使用的SentencePiece标记器更有效地压缩自然语言文本和源代码。特别是，它在压缩源代码、中文、意大利语、法语、德语、西班牙语和俄语方面的效率提高了约30%。它在压缩韩语和阿拉伯语方面的效率分别提高了2倍和3倍。与Llama 3标记器相比，Tekken被证明在压缩所有语言中约85%的文本方面更为熟练。

图2：铁拳压缩率。

指令微调

西北风NeMO经历了一个高级微调和对齐阶段。与MIUI 7B相比，它在遵循精确指令、推理、处理多回合对话和生成代码方面要好得多。

表2:MIUI-NeMo指令调谐模型精度。以GPT4o作为官方推荐人的评判人进行评估。

链接

举重比赛在HuggingFace上进行 基础 对于 指导 模型。你现在可以尝试使用MIUI推理的MIUI NeMo，并用MIUI微调对其进行调整。MIUI NeMo以“前板”的名义在la 前板s上曝光 开放式nemo-2407。此模型也打包在一个容器中，作为NVIDIA NIM推理微服务，可从 ai.nvidia.com.