跳到主要内容

顶点AI

介绍​

MIUI AI的开放和商业模型可以作为完全受管理的端点部署在Google Cloud Vertex AI平台上。Vertex AI上的MIUI模型是无服务器服务，因此您不必管理任何基础设施。

截至今天，有以下型号可供选择：

  • 西北风大
  • ·内莫
  • 编码（聊天和FIM完成）

有关更多详细信息，请访问 模型 页面。

入门指南​

以下部分概述了在Vertex AI平台上部署和查询MIUI模型的步骤。

请求访问模型​

需要以下项目：

  • 使用Vertex AI API访问Google云项目
  • 相关IAM权限能够通过以下角色启用模型和查询端点：

要启用您选择的模型，请在顶点模型花园目录，然后单击“启用”。

查询模型（聊天完成）​

可用的模型公开了一个REST API，您可以使用MIUI的SDK或纯HTTP调用进行查询。

运行以下示例：

  • 安装 gcloud CLI用于对Google Cloud API进行身份验证，请参阅此页面了解更多详情。
  • 设置以下环境变量：
    • 谷歌云区域：目标云区域。
    • GOOGLE_CLOUD_PROJECT_ID：你的项目名称。
    • VERTEX_MODEL_NAME：要查询的模型的名称（例如。 大).
    • VERTEX_MODEL_VERSION：要查询的模型版本（例如。 2407).
base_url=“https://$GOOGLE_CLOUD_REGION-aiplatform.googleapis.com/v1/projects/$GOOGLE_CLOUD_PROJECT_ID/地点/$GOOGLE_CLOUD_REGION/出版商/米斯特拉伊/模特”
型号版本="$VERTEX_MODEL_NAME@$VERTEX_MODEL_VERSION"
url="$base_url/$model_version：rawPredict“

cURL --地点 $url\
  头球 “内容类型：应用程序/json” \
  头球 “授权：持票人 $(gcloud身份验证打印访问令牌)" \
  --数据 '{
 “模型”：“”"$VERTEX_MODEL_NAME"'",
      “温度”: 0,
      “消息”: [
        {“角色”: “用户”,“内容”: “谁是最好的法国画家？用一句话回答。”}
      ],
      “流”: 错误的
    }'

查询模型（FIM完成）​

Codestral可以使用称为中间填充（FIM）的附加完成模式进行查询。有关更多信息，请参阅代码生成部分.

VERTEX_MODEL_NAME=代码
VERTEX_MODEL_VERSION=2405

base_url=“https://$GOOGLE_CLOUD_REGION-aiplatform.googleapis.com/v1/projects/$GOOGLE_CLOUD_PROJECT_ID/地点/$GOOGLE_CLOUD_REGION/出版商/米斯特拉伊/模特”
型号版本="$VERTEX_MODEL_NAME@$VERTEX_MODEL_VERSION"
url="$base_url/$model_version：rawPredict“

cURL --地点 $url\
  头球 “内容类型：应用程序/json” \
  头球 “授权：持票人 $(gcloud身份验证打印访问令牌)" \
  --数据 '{
 “模型”：“”"$VERTEX_MODEL_NAME"'",
      “提示”: “def count_words_in_file（file_path:str）->int：”,
      “后缀”: “返回n_words”,
      “流”: 错误的
    }'

更进一步​

有关更多信息和示例，您可以查看：