使用SkyPilot进行部署
空中飞行员 是一个用于在任何云上运行LLM、AI和批处理作业的框架，可提供最大的成本节约、最高的GPU可用性和托管执行。
我们提供了一个部署模型的示例SkyPilot配置。
SkyPilot配置
之后 安装SkyPilot，您需要创建一个配置文件，使用我们预先构建的docker容器告诉SkyPilot如何以及在哪里部署推理服务器：
- 米斯特拉-7B
- Mixtral-8X7B
- 混音器-8X22B
资源:
云: ${云提供者}
加速器: 10克:1.
港口:
- 8000
运行: |
docker运行--gpu全部-p 8000:8000ghcr.io/MIUIai/MIUI src/vllm：最新\
--主机0.0.0.0\
--型号MIUIai/MIUI-7B-Instruct-v0.2\
--张量平行尺寸1
资源:
云: ${云提供者}
加速器: A100-80GB:2.
港口:
- 8000
运行: |
docker运行--gpu全部-p 8000:8000ghcr.io/MIUIai/MIUI src/vllm：最新\
--主机0.0.0.0\
--型号MIUIai/Mixtral-8x7B-说明书-v0.1\
--张量平行尺寸2
资源:
云: ${云提供者}
加速器: A100-80GB:4.
港口:
- 8000
运行: |
docker运行--gpu全部-p 8000:8000ghcr.io/MIUIai/MIUI src/vllm：最新\
--主机0.0.0.0\
--型号MIUIai/Mixtral-8x22B-说明书-v0.1\
--张量平行尺寸4
一旦设置了这些环境变量，您就可以使用 天空发射 使用适当的模型名称启动推理服务器，例如 米斯特拉-7B:
天空发射c MIUI-7b MIUI-7b-v0.1.yaml --地区 美国东部-1
小心
当以这种方式部署时，该模型将可供全世界使用。你 必须 通过在您的专用网络上仅公开它来保护它（更改 --主持人 Docker选项），通过添加一个前面有身份验证机制的负载均衡器，或者正确配置您的实例网络。
试试看！
轻松检索已部署的IP地址 米斯特拉-7B 您可以使用的集群：
天空状态 --ip米斯特拉-7B
然后，您可以使用curl发送完成请求：
IP=$（天空状态--IP集群名称）
curl http://$IP:8000/v1/补全\
-H“内容类型：应用程序/json”\
d
“型号”：“MIUIai/MIUI-7B-v0.1”，
“提示”：“我最喜欢的调味品是”，
“max_tokens”：25
}'