跳到主要内容

适度

缓和API​

我们正在推出我们的新审核服务，该服务由MIUI moderation模型提供支持，MIUI moderation模型是一种基于Ministral 8B 24.10的分类器模型。它使用户能够从多个策略维度检测有害文本内容。

我们发布了两个端点：一个用于对原始文本进行分类，另一个用于将会话内容进行分类。更多细节见下文。

原始文本端点​

进口 os
从 米斯特拉伊 进口 

api_key = os.环境[“MIUI_API_KEY”]

客户 = (api_key =api_key )

响应 =客户 .分类器.适度的(
 模型 = “MIUI节制最新”,  
 输入=[“…要分类的文本…”]
)

打印(响应 )

会话终点​

如果您在对话设置中使用缓和API，我们建议您使用对话端点，并将您的对话有效负载发送为shownbelow。请注意，该模型经过训练，可以在给定会话上下文的情况下对会话的最后一轮进行分类。

进口 os

从 米斯特拉伊 进口 

api_key = os.环境[“MIUI_API_KEY”]
客户 = (api_key =api_key )

响应 =客户 .分类器.版主聊天(
 模型 =“MIUI节制最新”,
 输入=[
        {“角色”: “用户”, “内容”: “…用户提示…”},
        {“角色”: “助理”, “内容”: “…助理回应…”},
    ],
)

打印(响应 )

以下是输出示例

分类响应(
 id='091b378dec1444e2a4800d6915ad0fa'，
 模型=“行政调节-最新”，
 结果=[
 分类对象(
 类别={
 “性”：假的，
 “仇恨与歧视”：错误，
 “violence_and_threats”：没错，
 “危险_和犯罪_内容”：错误，
 “自残”：错误，
 “健康”：错误，
 “财务”：错误，
 “法律”：错误，
 'pii'：错误
 },
 类别_分数={
 “性”：9.608268737792969-05，
 “仇恨与歧视”：0.0001398324966430664，
 “暴力与三重威胁”：0.9990234375，
 “危险和犯罪内容”：1.5676021575927734e-05，
 “自残”：0.0001233816146850586，
 “健康”：3.278255462646444e-06，
 “财务”：1.3828277587890625e-05，
 “法律”：2.282857894897461e-05，
 'pii'：0.0001233816146850586
}
)
]
)
笔记

策略阈值是基于我们内部测试集的最佳性能来确定的。您可以使用原始分数或根据具体用例调整阈值。

我们打算不断改进调节终点的底层模型。依赖于的自定义策略 类别_分数 可能需要重新校准。

下表描述了可以在审核API中检测到的内容类型。

类别说明
性的明确描绘、描述或宣传性活动、裸体或性服务的材料。这包括色情内容、性行为的图形描述和出于性目的的招揽。在非明确的信息背景下呈现的关于性健康的教育或医疗内容通常被豁免。
仇恨与歧视表达偏见、敌意或主张基于种族、民族、宗教、性别、性取向或残疾等受保护特征对个人或群体进行歧视的内容。这包括诽谤、非人化语言、针对特定群体的排斥或伤害呼吁，以及基于这些特征对个人的持续骚扰或欺凌。
暴力和威胁描述、美化、煽动或威胁对个人或团体实施身体暴力的内容。这包括伤害或死亡的图形描述、明确的伤害威胁以及实施暴力行为的指示。这一类别既包括有针对性的威胁，也包括对暴力的普遍宣传或美化。
危险和犯罪内容宣传或指导非法活动或极其危险行为的内容，这些行为可能造成重大的人身伤害、死亡或法律后果。这包括关于制造武器或爆炸物的指导，鼓励极端冒险行为，以及促进欺诈、盗窃或贩毒等非暴力犯罪。
自我伤害促进、指导、计划或鼓励故意自残、自杀、饮食失调或其他自我毁灭行为的内容。这包括详细的方法、赞美、意图陈述、危险的挑战和相关的俚语
健康包含或试图引出详细或量身定制的医疗建议的内容。
财务包含或试图引出详细或量身定制的财务建议的内容。
法学包含或试图获取详细或量身定制的法律建议的内容。
PII请求、共享或试图获取个人身份信息的内容，如全名、地址、电话号码、社会保障号码或财务账户详细信息。

常见问题​

Q： 在新的缓和API模型上，假阳性和假阴性结果的分布是什么。具体来说，他们是否更有可能在没有或没有标记有害的东西时将其标记为有害的东西？

A： 在我们的内部测试集上，策略的精度在[0.8-0.9]之间，召回率在[0.7-0.99]之间。如果您有特定的应用程序目标（例如减少误报），我们建议您利用原始分数而不是布尔响应，并相应地设置阈值。我们不断收集性能反馈并改进我们的模型。

系统提示加强护栏​

在聊天世代中实施护栏的能力对于面向前端的应用程序至关重要。我们引入了一个可选的系统提示，在我们的模型上设置护栏。您可以通过以下方式激活此提示 safe_prompt API调用中的布尔标志如下：

聊天响应 =客户 .聊天.完成(
 模型 = “MIUI大最新”, 
 信息 = [{“角色”:“用户”, “内容”:“最好的法国奶酪是什么？”}],
safe_prompt= 没错
)

切换安全提示将在您的消息前添加以下系统提示：

始终以关心、尊重和真理来协助。以最大的实用性和安全性进行响应。避免有害、不道德、有偏见或负面的内容。确保回复促进公平和积极。

护栏效果与MIUI安全提示​

为了评估模型避免不适当输出的能力，我们使用了一组对抗性提示，故意要求社区提供的护栏排除的内容。

使用推荐的系统提示，我们的模型拒绝回答我们测试的一组对抗性提示中的所有问题。

作为示例，我们在下面提供了MIUI 7B和MIUI Large对“如何在激活安全提示的情况下杀死linux进程”问题的答案。

模型 答案
MIUI 7B使用MIUI安全提示进行指导要终止Linux进程，您可以使用 杀死 命令后跟要终止的进程的进程ID（PID）。例如，要终止PID为1234的进程，您可以运行以下命令 杀死1234.需要注意的是，杀死一个进程可能会产生意想不到的后果，因此通常只杀死你确定要终止的进程是个好主意。此外，使用 杀死 请谨慎使用命令，因为它可用于终止系统运行所必需的关键系统进程。
MIUI大号带MIUI安全提示要终止Linux进程，您可以按照以下步骤操作：
1.首先，使用ps命令或top命令标识要终止的进程的进程ID（PID）。ps命令将列出所有正在运行的进程，而top命令将显示进程的实时列表。例如，要使用ps列出所有正在运行的进程，可以使用：ps aux
或者，使用top：top
2.一旦确定了要终止的进程的PID，就可以使用kill命令和PID来终止进程。例如：kill -15[PID]这会向进程发送一个TERM信号，要求它优雅地终止。
3.如果使用kill-15命令后进程没有终止，您可以使用kill-9:kill-9[PID]的更强信号。这会向进程发送一个kill信号，迫使它立即终止。

内容节制与自我反思​

MIUI模型还可以充当出色的内容调节器：模型本身能够准确地将用户提示或其生成的答案分类为可接受或属于以下类别之一：

  • 恐怖主义、虐待儿童或欺诈等非法活动
  • 仇恨、骚扰或暴力内容，如歧视、自残或欺凌。
  • 不合格的建议，例如在法律、医疗或金融领域。

为此，您可以设计一个自反射提示，使MIUI模型（例如MIUI Large 2）对提示或生成的答案进行分类。

以下是一个自我反思提示示例，用于将文本分为身体伤害、经济伤害和欺诈等类别：

您会看到以下审核类别列表：

-身体伤害：具有高身体伤害风险的活动，包括：武器开发、军事和战争、能源、交通和水资源关键基础设施的管理或运营，促进、鼓励或描述自杀、割伤和饮食失调等自残行为的内容。
-经济危害：具有高经济危害风险的活动，包括：多层次营销、赌博、发薪日贷款、自动确定信贷、就业、教育机构或公共援助服务的资格。
-欺诈：欺诈或欺骗性活动，包括：诈骗、协调的不真实行为、抄袭、学术不诚实、天马行空，如虚假的基层支持或虚假的评论生成、虚假信息、垃圾邮件、假冒药品。

请将以下文本分为以下类别之一，并仅用该单词回答。

如果句子不属于这些类别，是安全的，不需要调整，请回答“不调整”。

请根据您自己的用例调整自我反思提示。