跳到主要内容

AWS基岩

介绍​

MIUI AI的开放和商业模型可以作为完全托管的端点部署在AWS Bedrock云平台上。AWS Bedrock是一种无服务器服务，因此您不必管理任何基础设施。

截至今天，有以下型号可供选择：

  • 7B
  • 混音器8x7B
  • 小
  • 西北风大

有关更多详细信息，请访问 模型 页面。

入门指南​

以下部分概述了在AWS Bedrock平台上部署和查询MIUI模型的步骤。

需要以下项目：

  • 访问a AWS帐户 在支持AWS Bedrock服务并提供对所选模型访问的区域内：请参阅AWS文档每个地区的型号可用性。
  • AWS IAM负责人 （用户、角色）具有足够的权限，请参阅AWS文档了解更多详情。
  • 当地人 代码环境 使用相关的AWS SDK组件进行设置，即：
    • AWS CLI：请参阅 AWS文档安装程序。
    • 这个 肉毒杆菌3 Python库：请参阅 AWS文档安装程序。

请求访问模型​

按照以下说明操作AWS文档解锁您选择的MIUI型号的访问权限。

查询模型​

AWS Bedrock模型可通过Converse API访问。

在运行以下示例之前，请确保：

  • 为您的开发环境正确配置身份验证凭据。AWS文档提供了对所需步骤的深入解释。
  • 使用创建Python虚拟环境 肉毒杆菌3 软件包（版本>= 1.34.131).
  • 设置以下环境变量：
    • AWS_REGION：部署模型的区域（例如。 us-west-2),
    • AWS_BEDROCK_MODEL_ID：型号ID（例如。 MIUI。MIUI-large-2407-v1:0).
进口肉毒杆菌3
进口 os

区域 = os.环境.得到(“AWS_REGION”)
model_id = os.环境.得到(“AWS_BEDROCK_MODEL_ID”)

基岩客户端 =肉毒杆菌3.客户(服务名称='基岩运行时', 区域名称=区域 )

user_msg = “谁是最好的法国画家？用一句话回答。”
信息 = [{“角色”: “用户”, “内容”: [{“文本”:user_msg }]}]
温度 = 0
max_tokens = 1024

参数 = {“型号ID”:model_id ,
          “消息”:信息 ,
          “推理配置”: {“温度”:温度 ,
                              “最大令牌数”:max_tokens }}

respond =基岩客户端 .converse(**参数 )

打印(respond [“输出”][“消息”][“内容”][0][“文本”])

更进一步​

有关更多详细信息和示例，请参阅以下资源：