聊天补全
各来源的说明
重要提示!
大多数 API 平台仅在创建 API 密钥时允许你查看一次生成的密钥。如果丢失,你需要重新生成一个新密钥。请务必妥善保管!
OpenAI
使用 OpenAI 的开发者平台来访问各种 OpenAI 模型,包括 gpt-4o、gpt-4.1、o3 等。
如何获取 API 密钥:
- 前往 OpenAI 并登录。
- 使用“View API keys”选项来创建新的 API 密钥。
Claude
Claude 是由 Anthropic 开发的 AI 模型系列。你可以通过 Anthropic 控制台访问 Claude 模型。
如何获取 API 密钥:
- 前往 Anthropic Console 并登录。
- 使用“Get API Key”部分来创建新的 API 密钥。
Mistral AI
Mistral AI 是一个既开发开放模型也开发专有模型的团队,注重高科学标准与开放性。你可以在本地运行他们的模型,也可以通过他们的 API 服务 La Plateforme 来使用。
如何获取 API 密钥:
- 第一步是在 La Plateforme 上创建一个账户。
- 完成后,你可以选择一个方案并设置付款信息,或者选择免费档。
- 接下来,你可以创建你的 API 密钥。密钥可能需要等待几分钟才能生效!
DeepSeek
DeepSeek 平台通过 API 提供对最新 DeepSeek 模型的访问。他们提供了一系列模型,包括 DeepSeek V3 和 DeepSeek R1。
如何获取 API 密钥:
- 在 DeepSeek 平台上注册。
- 注册并为账户充值后,你可以在“API keys”部分创建 API 密钥。
AI21
AI21 Labs 提供了一系列 AI 模型,包括其旗舰产品 Jamba 系列。你可以通过 AI21 Studio API 访问他们的模型。
如何获取 API 密钥:
- 前往 AI21 Studio 并登录。
- 进入“Settings => API Keys”部分来创建新的 API 密钥。
Cohere
Cohere 提供一套适用于各种任务的 AI 模型,包括文本生成和嵌入。你可以通过 Cohere API 访问他们的模型。
如何获取 API 密钥:
Perplexity
Perplexity AI 通过其 API 提供对支持联网的 Sonar 模型的访问,用于实时研究和信息检索。
官方入门指南:Perplexity 快速入门
如何获取 API 密钥:
- 前往 Perplexity 并登录。
- 进入“API billing”部分,为 API 使用购买额度。
- 进入设置中的“API keys”部分来创建新的 API 密钥。
Fireworks AI
Fireworks AI 是一个高性能平台,以快速、经济的方式提供对最先进开源语言模型的访问。该平台提供无服务器部署,使用 OpenAI 兼容 API,并支持最高达 256,000 token 的上下文窗口。
如何获取 API 密钥:
- 前往 Fireworks AI 创建账户或登录。
- 进入账户设置中的 API Keys 页面。
- 点击“Create API key”并提供一个有描述性的名称(例如“SillyTavern”)。
Electron Hub
Electron Hub 是一个统一的 OpenAI 兼容平台,通过单个 API 密钥即可访问来自多家厂商的模型。
如何获取 API 密钥:
- 在 Electron Hub 创建账户。
- 从 Console → API Keys 页面生成一个 API 密钥。
自定义 OpenAI 兼容端点
请注意,对于你可能遇到的问题,我们不提供支持! 我们不保证与所有可能的 API 端点兼容!
如果你打算使用此功能来连接本地端点,例如 TabbyAPI、Oobabooga、Aphrodite 或类似的程序,你可能需要改用针对这些程序的内置兼容支持。自定义端点功能主要面向其他暴露 OpenAI 兼容 API 聊天补全端点的服务和程序。
大多数文本补全 API 支持的定制选项远比 OpenAI 标准所允许的更多。这些更丰富的定制选项(例如 Min-P 采样器)值得 SillyTavern 用户去尝试,它们可以大幅提升生成质量。
你可以为聊天补全后端配置一个替代端点。此自定义端点可以连接到任何支持通用 OpenAI API 架构的服务器。
兼容的后端示例包括:
连接
要使用此功能:
- 切换到“Chat Completion”API 类型
- 在“Chat Completion Source”中选择“Custom (OpenAI-compatible)”
输入自定义端点 URL,如果需要的话还要输入 API 密钥。例如,TabbyAPI 需要一个 API 密钥进行身份验证。
提示: 如果遇到连接问题,请尝试在端点 URL 末尾添加 /v1。请勿添加 /chat/completions 后缀。
选择模型
如果自定义 API 实现了 /v1/models 端点以提供可用模型列表,你可以从下拉列表中选择。否则,请使用文本框手动输入模型 ID。
勾选“Bypass API status check”可防止 SillyTavern 在 API 端点无法正常工作时向你发出警告。如果你的 API 端点工作正常,但 SillyTavern 仍持续显示警告,请启用此选项。
点击“Test Message”,通过向模型发送一个简单的提示词来验证连通性。
提示词后处理
注意: 当使用带“no tools”的后处理选项时,不支持工具调用!
某些端点可能对传入提示词的格式施加特定限制,例如只允许一条系统消息,或要求角色严格交替。
SillyTavern 提供内置的提示词转换器来帮助满足这些要求(从最宽松到最严格):
- None —— 除非 API 严格要求,否则不进行显式处理
- 合并来自同一角色的连续消息
- Semi-strict —— 合并角色,并仅允许一条可选的系统消息
- Strict —— 合并角色,仅允许一条可选的系统消息,并要求第一条消息为用户消息
- Single user message —— 将所有角色的所有消息合并为单条用户消息
Merge、Semi-strict 和 Strict 还会从提示词中移除所有工具调用,除非选择了“with tools”变体。这对于不支持工具调用而你的现有提示词中又包含工具调用的 API 很有用。
对于 SillyTavern 中除“Custom OpenAI-compatible”以外实现的更严格端点,较宽松的选项不会对其产生影响;而 Custom 在请求无效时可能会报错。
在严格模式下,如果第一条助手消息之前不存在用户消息,则会插入来自 config.yaml 的 promptPlaceholder,其默认值为“[Start a new chat]”。