使用Cloudflare Workers AI进行部署

Cloudflare 是一家提供内容分发网络（CDN）、DDoS保护、互联网安全和分布式域名服务器服务的网络性能和安全公司。Cloudflare推出了Workers AI，允许开发人员在Cloudflare的全球网络上运行由无服务器GPU驱动的LLM模型。

要了解有关Workers AI上MIUI模型的更多信息，您可以阅读专门的 Cloudflare文档页面.

设置

要在Cloudflare上设置Workers AI，您需要在 Cloudflare仪表板，获取您的帐户ID，并生成具有Workers AI权限的令牌。然后，您可以发送完成请求：

卷曲
打字稿
python

卷曲 https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}/ai/run/@cf/MIUI/MIUI-7b-struct-v0.1 \
  十、 职位 \
  H “授权：承载器｛API_TOKEN｝” \
  d '｛“消息”：〔｛“角色”：“用户”，“内容”：“[INST]2+2？[/INST]”｝｝'

async 功能 运行(模型, 促使) {
  const 信息 = [
    { 角色: “用户”, 内容: 促使},
  ];

  const 响应 = 等待 取来(
    `https://api.cloudflare.com/client/v4/accounts/｛ACCOUNT_ID｝/ai/run/${模型}`,
    {
 标题: { 授权: “承载器｛API_TOKEN｝” },
 方法: “帖子”,
 身体: JSON.串化({ 信息 }),
    }
  );
  const 结果 = 等待 响应 .JSON();
  返回 结果 ;
}

运行(“@cf/MIUI/MIUI-7b-struct-v0.1”, “[INST]2+2？[/INST]”).然后(
  ( 响应 ) => {
    慰问.日志(JSON.串化( 响应 ));
  }
);

进口 请求：

API_BASE_URL = "https://api.cloudflare.com/client/v4/accounts/｛ACCOUNT_ID｝/ai/run/“
 标题= {“授权”: “承载器｛API_TOKEN｝”}

def 运行(模型, 促使):
  输入 = {
    “消息”: [
      { “角色”: “用户”, “内容”: 促使}
    ]
  }
 响应 = 请求：. 职位 (f{API_BASE_URL }{模型}", 标题= 标题,JSON=输入)
  返回 响应 .JSON()

输出 =运行(“@cf/MIUI/MIUI-7b-struct-v0.1”, “[INST]2+2=？[/INST]”)
打印(输出 )

这是您应该收到的输出

{'结果': {'响应': '2 + 2 = 4.'}, “成功”: 没错, '错误': [], '消息': []}

设置​

设置