模型重量
我们开源了预训练模型和指令调优模型。这些模型不是为了安全而调整的,因为我们希望用户能够根据他们的用例测试和改进审核。对于更安全的型号,请遵循我们的 护栏教程.
许可证
- 7B、混音8x7B、混音8x22B、编码曼巴、数学、和像素12B都在下面 Apache 2许可证,这允许它们在没有任何限制的情况下使用。
- Codestral在下面 MIUI AI非生产(MNPL)许可证.
- Ministral 8B、MIUI Large、Pixelal Large和MIUI Small均在下方 西北研究许可证.
笔记
如果您有兴趣购买我们型号的商业许可证,请 联系我们的团队
下载中
模型 | 下载链接 | 特征 |
---|---|---|
-7B-v0.1 | 拥抱的脸 原始重量 (md5sum: 37dab53973d2d56b2da0a033a15307f ) | -32k词汇量 -绳索Theta=1e4 -带滑动窗 |
MIUI-7B-说明书-0.2 | 拥抱的脸 原始重量 (md5sum: fbae55bc038f12f010b4251326e73d39 ) | -32k词汇量 -绳索Theta=1e6 -无滑动窗 |
-7B-v0.3 | 拥抱的脸 原始重量 (md5sum: 0663b293810d7571数据25dae2f2a5806 ) | -词汇量扩展到32768 |
MIUI-7B-说明书-0.3 | 拥抱的脸 原始重量 (md5sum: 80b71fcb6416085bcb4efad86dfb4d52 ) | -词汇量扩展到32768 -支持v3标记器 -支持函数调用 |
Mixtral-8x7B-v0.1 | 拥抱的脸 | -32k词汇量 -绳索Theta=1e6 |
Mixtral-8x7B-说明书-v0.1 | 拥抱的脸 原始重量 (md5sum: 8e2d3930145dc43d3084396f49d38a3f ) | -32k词汇量 -绳索Theta=1e6 |
混音器-8x7B-v0.3 | 更新型号即将推出! | -词汇量扩展到32768 -支持v3标记器 |
Mixtral-8x7B-说明书-0.3 | 更新型号即将推出! | -词汇量扩展到32768 -支持v3标记器 -支持函数调用 |
Mixtral-8x22B-v0.1 | 拥抱的脸 原始重量 (md5sum: 0535902c85ddbb04d4 bebbf4371c6341 ) | -32k词汇量 |
Mixtral-8x22B-说明书-v0.1/ Mixtral-8x22B-说明书-0.3 | 拥抱的脸 原始重量 (md5sum: 471a02a6902706a2f1e44a693813855b ) | -32768词汇量 |
Mixtral-8x22B-v0.3 | 原始重量 (md5sum: a2fa75117174f87d1197e3a4eb50371a ) | -32768词汇量 -支持v3标记器 |
Codestral-22B-v0.1 | 拥抱的脸 原始重量 (md5sum: 1ea95d474a1d374b1d1b20a8e0159de3 ) | -32768词汇量 -支持v3标记器 |
Codestral-Mamba-7B-v0.1 | 拥抱的脸 原始重量 (md5sum: d3993e4024d1395910c55db0d11db163 ) | -32768词汇量 -支持v3标记器 |
Mathstral-7B-v0.1 | 拥抱的脸 原始重量 (md5sum: 5f05443e94489c261462794b1016f10b ) | -32768词汇量 -支持v3标记器 |
·内马·巴斯-2407 | 拥抱的脸 原始重量 (md5sum: c5d079ac4b55fc1ae35f51f0a3eb83 ) | -131k词汇量 -支持v3 tekken.json标记器 |
--说明书-2407 | 拥抱的脸 原始重量 (md5sum: 296fbdf911cb88e6f0be74cd04827207年2月7日 ) | -131k词汇量 -支持v3 tekken.json标记器 -支持函数调用 |
西北大建筑-2407 | 拥抱的脸 原始重量 (md5sum: fc602155f9e39151fba81fcaab2fa7c4 ) | -32768词汇量 -支持v3标记器 -支持函数调用 |
像素-2409 | 拥抱的脸 | -131k词汇量 -支持v3 tekken.json标记器 -支持函数调用 |
MIUI-Small-Instruct-2409 | 拥抱的脸 | -32768词汇量 -支持v3标记器 -支持函数调用 |
Ministral-8B-说明书-2410 | 拥抱的脸 | -131k词汇量 -支持v3 tekken.json标记器 -支持函数调用 |
西北大建筑-2411 | 拥抱的脸 | -32768词汇量 -支持v7标记器 -支持函数调用 |
Pixtral-Large-Instruct-2411 | 拥抱的脸 | -32768词汇量 -支持v7标记器 -支持函数调用 |
尺寸
名称 | 参数数量 | 活动参数数量 | 用于推理的最小GPU RAM(GB) |
---|---|---|---|
-7B-v0.3 | 7.3B | 7.3B | 16 |
Mixtral-8x7B-v0.1 | 46.7B | 12.9B | 100 |
Mixtral-8x22B-v0.3 | 140.6B | 39.1B | 300 |
Codestral-22B-v0.1 | 22.2B | 22.2B | 60 |
Codestral-Mamba-7B-v0.1 | 7.3B | 7.3B | 16 |
Mathstral-7B-v0.1 | 7.3B | 7.3B | 16 |
--说明书-2407 | 12B | 12B | 28-bf16 16英尺8英寸 |
西北大建筑-2407 | 123B | 123B | 250 |
像素-2409 | 12B | 12B | 28-bf16 16英尺8英寸 |
·斯莫尔-2409 | 22B | 22B | 60 |
Ministral-8B-2410 | 8B | 8B | 24 |
西北大建筑-2411 | 123B | 123B | 250 |
Pixtral-Large-Instruct-2411 | 124B | 124B | 250 |
怎么跑?
查看 误译推理,一个用于运行我们模型的Python包。您可以安装 误译推理
通过
pip安装错误推理
要了解有关如何使用MIUI推理的更多信息,请查看 自述文件 并深入这个colab笔记本开始: