TabbyAPI

一个基于 FastAPI 的应用程序，使用 Exllamav2 后端通过 LLM 生成文本，支持 Exl2、GPTQ 和 FP16 模型。

• GitHub

快速入门

1. 按照 TabbyAPI 官方 GitHub 上的安装说明进行操作。

2. 创建你的 config.yml 来设置你的模型路径、默认模型、序列长度等。如果愿意，你可以忽略其中大部分（甚至全部）设置。

3. 启动 TabbyAPI。如果成功，你会看到类似这样的界面：

   

4. 在 SillyTavern 的文本补全 API 下，选择 TabbyAPI。

5. 从 TabbyAPI 终端中复制你的 API 密钥填入 Tabby API key，并确保你的 API URL 正确（默认应为 http://127.0.0.1:5000）。

如果一切操作正确，你应该会在 SillyTavern 中看到类似这样的界面：

你现在可以使用 TabbyAPI 进行聊天了！

TabbyAPI Loader

TabbyAPI 的开发者创建了一个官方扩展，可直接从 SillyTavern 加载/卸载模型。安装很简单：

1. 在 SillyTavern 中，点击扩展标签页，进入下载扩展与素材（Download Extensions & Assets）。

2. 将 https://raw.githubusercontent.com/theroyallab/ST-repo/main/index.json 复制到 Assets URL 中，然后点击右侧的插头按钮。

3. 你应该会看到类似这样的界面。点击 Tabby Loader 旁边的下载按钮。

   

4. 如果安装成功，你会在屏幕顶部看到一条绿色的弹窗消息。在扩展标签页下，进入 TabbyAPI Loader，并将 TabbyAPI 终端中的管理员密钥复制到 Admin Key 中。

5. 点击模型选择（Model Select）旁边的刷新按钮。当你点击其下方的文本框时，应该会看到模型目录中的所有模型。

你现在可以直接从 SillyTavern 加载和卸载模型了！

支持

仍需要帮助？请访问 TabbyAPI GitHub 获取开发者官方 Discord 服务器的链接，并阅读 wiki。