AI 功能
AI 功能调用大模型服务商的接口,为图片生成标签和描述,或按文字要求修改图片(图片润色);图片安全中的 AI 大模型审核也使用大模型识别违规图片。管理员在后台创建 AI 驱动,再通过角色组控制哪些用户可以使用、可以用多少次。
支持的供应商
共支持 19 家服务商,后台按以下分组显示:
- 国际服务商:OpenAI、Anthropic Claude、Google Gemini、xAI Grok、Mistral AI、Groq、OpenRouter、Together AI、Ollama
- 国内服务商:火山引擎(豆包)、阿里百炼(通义千问)、智谱 AI(GLM)、月之暗面(Kimi)、百度千帆(文心)、腾讯混元、硅基流动、阶跃星辰、魔搭社区
- 其他:自定义 OpenAI 兼容接口,用于 OneAPI、NewAPI、vLLM 等兼容 OpenAI 接口的服务
所有服务商都支持生成标签和生成描述。图片润色需要服务商提供图片生成能力,目前只有 OpenAI、Google Gemini、火山引擎(豆包)和自定义 OpenAI 兼容接口支持。
TIP
Ollama 用于调用自己部署的模型,不需要 API Key。
AI 能力说明
图片润色
用文字描述要怎样修改图片,例如「将背景替换为蓝天白云」「提高亮度和对比度」「转为水彩画风格」,由 AI 生成修改后的图片。提交时可以选择是否替换原图,不替换时会保存为一张新图片。
生成标签
AI 分析图片内容,为图片生成若干描述性的标签。
生成描述
AI 分析图片内容,生成一段简短的描述,保存到图片的简介中。
上传后自动生成
角色组开启 AI 后,用户可以在用户设置的「AI 设置」中打开「上传后自动生成标签」「上传后自动生成描述」,并为每项选择一个 AI 驱动。之后上传的图片会自动提交对应的任务;使用次数用完时自动跳过,不影响上传。
创建 AI 驱动
在管理后台的「AI」页面,点击「新建」按钮创建 AI 驱动,填写以下内容:
| 字段 | 说明 |
|---|---|
| 驱动名称 | 显示给用户的名称 |
| 简介 | 可选,驱动的简要说明 |
| AI 驱动 | 选择服务商,不同服务商支持的能力不同 |
| API Key | 服务商的 API 密钥 |
| API 地址 | 可选,留空时使用默认地址;使用中转服务或代理时填写 |
| 模型能力 | 勾选要开启的能力(图片润色、生成标签、生成描述),服务商不支持的能力不能勾选 |
除 Ollama 和自定义 OpenAI 兼容接口外,API Key 都必须填写。API 地址留空时,程序会先使用 .env 中对应服务商的环境变量(例如 OPENAI_URL),没有设置时使用下方的默认地址。自定义 OpenAI 兼容接口必须填写 API 地址,地址中需要包含版本路径(如 /v1)。
根据勾选的能力,还需要填写模型:
- 图片润色:填写「图片模型」,并选择「图片质量」(高、中、低)
- 生成标签、生成描述:填写「视觉模型」,必须是支持图片输入的模型
模型输入框会列出推荐的模型,也可以直接输入其他模型 ID,例如服务商发布的新模型或中转服务自定义的模型名称。
自定义提示词
勾选「生成标签」或「生成描述」后,表单底部会出现对应的提示词设置(默认折叠),每项包括:
- 系统指令:告诉 AI 如何分析图片、按什么格式输出
- 用户提示词:每次请求时发送给 AI 的具体要求
留空时使用内置的默认提示词,输入框中会显示默认内容。需要调整时可以自定义,例如要求始终返回中文标签、限制标签数量、修改描述的长度或风格。
多驱动配置
同一个服务商可以创建多个驱动,使用不同的 API Key、API 地址或模型。例如一个使用官方接口,另一个使用中转服务。
各供应商默认 API 地址
| 服务商 | 默认 API 地址 |
|---|---|
| OpenAI | https://api.openai.com/v1 |
| Anthropic Claude | https://api.anthropic.com/v1 |
| Google Gemini | https://generativelanguage.googleapis.com/v1beta |
| xAI Grok | https://api.x.ai/v1 |
| Mistral AI | https://api.mistral.ai/v1 |
| Groq | https://api.groq.com/openai/v1 |
| OpenRouter | https://openrouter.ai/api/v1 |
| Together AI | https://api.together.xyz/v1 |
| Ollama | http://localhost:11434 |
| 火山引擎(豆包) | https://ark.cn-beijing.volces.com/api/v3 |
| 阿里百炼(通义千问) | https://dashscope.aliyuncs.com/compatible-mode/v1 |
| 智谱 AI(GLM) | https://open.bigmodel.cn/api/paas/v4 |
| 月之暗面(Kimi) | https://api.moonshot.cn/v1 |
| 百度千帆(文心) | https://qianfan.baidubce.com/v2 |
| 腾讯混元 | https://api.hunyuan.cloud.tencent.com/v1 |
| 硅基流动 | https://api.siliconflow.cn/v1 |
| 阶跃星辰 | https://api.stepfun.com/v1 |
| 魔搭社区 | https://api-inference.modelscope.cn/v1 |
| 自定义 OpenAI 兼容接口 | 无,必须填写 |
Ollama 部署在其他服务器上时,请把 API 地址改为对应的地址。
AI 大模型审核
AI 大模型审核是图片安全驱动的一种,用视觉大模型判断上传的图片是否违规。在管理后台的「图片安全」页面新建驱动,「审核驱动」选择「AI 大模型审核」,然后在储存中关联。
它不使用「AI」页面中的 AI 驱动,需要在表单中单独填写 AI 服务商、API Key、API 地址和视觉模型。其他字段:
| 字段 | 说明 |
|---|---|
| 审核场景 | 勾选要识别的内容:色情、性感低俗、涉未成年人不良内容、暴恐、血腥恶心、政治敏感、违禁品、赌博、广告引流、辱骂不良 |
| 自定义审核规则 | 用文字描述其他要拦截的内容,每行一条 |
| 违规阈值 | 1 到 100,默认 80,模型判断的分数达到这个值时视为违规 |
| 疑似违规阈值 | 1 到 100,默认 50,达到这个值但未达到违规阈值时视为疑似违规,转人工审核 |
| 图片压缩尺寸 | 发送给模型前把图片缩小到这个尺寸以内,默认 1024 像素,0 表示不压缩 |
| 请求超时时间 | 默认 30 秒 |
| 调用失败时 | 接口调用失败或返回结果无效时的处理方式,见下方 |
| 审核提示词 | 系统指令和用户提示词,留空使用默认 |
| 同步审核 | 默认关闭,见下方 |
审核场景默认勾选色情、涉未成年人不良内容、暴恐、血腥恶心、政治敏感、违禁品。填写了自定义审核规则时,可以不勾选审核场景。
「调用失败时」的选项:
- 转人工审核:默认。图片标记为疑似违规,由管理员处理
- 直接放行:图片按正常图片处理
- 审核失败:同步审核时拒绝上传;异步审核时按队列配置稍后重试,最终仍失败的进入失败任务列表,图片保持正常状态
服务商因内容安全原因拒绝处理请求时,无论如何设置,都会转人工审核。
同步与异步:默认异步审核,上传成功后在消息队列中审核。开启「同步审核」后,上传时就完成审核,检测到违规时直接拒绝上传,删除本次上传的图片记录,不产生违规记录,已写入储存的文件由消息队列清理。上传耗时会增加。
WARNING
异步审核时,请求超时时间应小于队列任务的超时时间(默认 60 秒),否则任务可能在审核完成前被中断。
角色组配置
AI 功能通过角色组控制。编辑角色组时,在「AI」标签页中设置以下选项。
启用 AI
打开「启用 AI 功能」后,该角色组的用户才能使用图片润色、生成标签和生成描述。
关联 AI 驱动
在「AI 驱动」中勾选该组可以使用的驱动。用户只能使用所在角色组关联的驱动。
使用频率限制
可以分别设置每分钟、每小时、每天、每周、每月的 AI 使用限制,0 表示不限制。所有限制同时生效,任意一项达到上限后就不能继续使用。
注意
每张图片的每个任务计为一次使用。例如同时选择 10 张图片生成标签,会一次消耗 10 次。
任务处理机制
AI 任务在消息队列中执行。提交后页面会立即显示任务状态,并自动刷新进度。
| 状态 | 说明 |
|---|---|
| 等待中 | 任务已提交,等待队列处理 |
| 处理中 | 正在调用 AI 接口 |
| 已完成 | 处理成功 |
| 失败 | 处理失败,可以查看错误信息 |
生成标签、生成描述和 AI 大模型审核在发送图片之前,会把尺寸过大的图片等比缩小,并把 webp、gif、avif、heic 等格式转为 JPEG,以减少费用和耗时。图片润色发送的是原图。
TIP
任务一直处于「等待中」时,请检查消息队列是否正常运行。
