跳转到主要内容
Tokios 连接器可转发至本机任何暴露 OpenAI 兼容 Chat Completions API（/v1/chat/completions）的模型服务器。Ollama、llama.cpp、vLLM、LM Studio、MLX Studio 和 MLX-LM Server 均支持该协议。网关将每个传入请求转换为 Chat Completions 格式并通过隧道发送；连接器再将其转发至上游 BaseUrl（在 tokios-connector.json 中设置）。只需在 BaseUrl 中指向你的服务器——并包含 /v1 路径段。
务必包含 /v1 在 BaseUrl 中，并使用后端的 OpenAI 兼容端点。对于 Ollama，应使用 /v1 API（而非原生 /api）。
初次接触本地模型？ 从最易上手的工具开始：Ollama（一条命令）或 LM Studio（图形化桌面应用）。vLLM 和 SGLang 是强大的 GPU 服务器，但需要更多配置——等你熟练后再用它们获取更高吞吐量。

​
安装便捷程度

无论你选择哪种方式，Tokios 的连接方法都相同——设置上游 BaseUrl（包含 /v1），即可获得统一端点。
此列表并非穷举。连接器可转发至任何在 /v1 基础 URL 上暴露 OpenAI 兼容 Chat Completions API 的服务器——因此 SGLang、Xinference、LocalAI 等同样可用。Ollama、llama.cpp、vLLM 和 LM Studio 只是本文档详细介绍的几个。
Jan 也可以作为客户端使用——它不在本地提供模型服务，而是通过 Tokios 调用运行在其他地方的更大模型。请参阅在自有硬件上使用 Jan。

​
默认端口

将对应的 Upstream 添加到 tokios-connector.json 中（完整文件说明参见连接器配置）：
你的服务器使用的模型 ID（对于 Ollama，就是你 ollama run 的模型）就是你在连接器的 Models / Routes 中列出的内容。在注册部署时，你为它指定一个公共 API 名称。

​
后端详情

​
Ollama

上游： http://127.0.0.1:11434/v1 Ollama 在 /v1 路径上提供 OpenAI 兼容 API，监听端口 11434。先拉取并运行你的模型——你给 Ollama 的模型 ID 就是连接器服务的上游模型 ID：

​
llama.cpp

上游： http://127.0.0.1:8080/v1 运行自带的 OpenAI 兼容服务器 llama-server。它默认监听端口 8080，提供 /v1 服务：

​
vLLM

上游： http://127.0.0.1:8000/v1 vLLM 的 OpenAI 兼容服务器监听端口 8000。启动方式：

​
LM Studio

上游： http://127.0.0.1:1234/v1 LM Studio 内置 OpenAI 兼容服务器：
  1. 打开 LM Studio，进入 Developer（本地服务器）标签页。
  2. 加载模型并启动服务器。它监听端口 1234。

​
MLX Studio

上游： http://127.0.0.1:8000/v1 MLX Studio 是一款原生 macOS 应用（macOS 14.0+ Sonoma，支持所有 Apple Silicon M1–M4），封装了 vMLX 推理服务器。它自带 Python 3.12 环境——无需终端、无需 pip、无需 venv。下载应用，从 Hugging Face 上的 mlx-community 仓库中选择模型，然后启动内置 API 服务器。 MLX Studio 包含聊天、视觉、图像生成、文本转语音、语音转文本和工具调用功能。其推理引擎支持 JANG 混合精度量化、基于 PagedAttention 的连续批处理、推测解码、KV 缓存量化和前缀缓存。内置交互式 API 文档和测试 playground，菜单栏模式可快速访问而无需打开完整窗口。
  1. 打开 MLX Studio，从 Model Manager 下载模型。
  2. 从 Server 标签页启动 API 服务器。它监听端口 8000。
MLX Studio 是 Mac 用户最简单的图形界面方案，无需接触终端即可获得原生 Apple Silicon 体验。如果需要在相同硬件上进行无头或可脚本化的设置，请改用 MLX-LM Server。

​
Lemonade Server

上游： http://127.0.0.1:13305/v1 Lemonade Server 是 AMD 支持的开源推理服务器。它自动检测你的硬件并选择最佳后端——Vulkan、ROCm、CUDA 或 Metal——无需手动选择。它是此列表中唯一支持 AMD Ryzen AI NPU 的后端。可通过 Windows 上的 MSI、Ubuntu 上的 APT PPA 或 Arch 上的 AUR 安装。详情请参阅 lemonade-server.ai。 Lemonade Server 默认在 /v1 路径上暴露 OpenAI 兼容 API，监听端口 13305。它还支持 Ollama 兼容和 Anthropic 兼容端点。
Lemonade Server 简化了 AMD Strix Halo 和 DGX Spark 设备上的设置——它自动选择 Vulkan 或 CUDA，无需手动配置后端参数。

​
MLX-LM Server

上游： http://127.0.0.1:8080/v1 MLX-LM Server 是 mlx-lm Python 包的一部分，在 Apple Silicon 上原生运行。它使用 MLX 框架的统一内存架构和零拷贝数据路径，模型权重与 CPU 和 GPU 共享同一内存池——无需单独管理 VRAM。安装该包并使用 Hugging Face 上的任何 mlx-community 模型启动服务器：
该服务器默认监听端口 8080，在 /v1 路径上暴露 OpenAI 兼容 Chat Completions API。它支持连续批处理、工具调用、结构化输出和提示缓存。可用量化包括 4-bit（默认）、8-bit 和 BF16。
MLX-LM Server 是 Apple Silicon 的原生方案——在 M 系列芯片上与 llama.cpp 持平或略有优势，并充分利用 M5 Neural Accelerators（4x 更快提示处理）。详情请参阅 mlx-framework.org。
使用了不同端口？只需修改 BaseUrl 中的端口号即可。任何支持 OpenAI Chat Completions 协议的服务器都可以使用。