Skip to main content
您的 RTX 工作站早已在运行模型。真正的难点在于让其他设备无需将游戏电脑直接暴露在公网环境下即可访问该模型。只需在运行时环境旁运行 Tokios 连接器，即可在 https://api.tokios.com 处生成一个经过身份验证的端点，该端点同时支持 OpenAI 与 Anthropic 的请求格式，如此一来无论是 Claude Code、基于 OpenAI SDK 的脚本还是其他受邀用户均可轻松连接，而无需改动路由器设置。

​
部署后的效果：端点配置难题

拥有桌面端 RTX 显卡的用户——比如 5090、4090、3090 以及同类显卡——通常会在本地借助 Ollama、LM Studio、llama.cpp 或 vLLM 来运行模型，但随后便会遇到下一个难题：如何在桌面机之外的地方调用该模型。
  • 可从外部访问的端点：默认情况下运行时环境绑定至 127.0.0.1。若需从笔记本电脑、远程编程智能体或其他成员的设备访问，则需将绑定地址改为 0.0.0.0，或者配置路由器端口转发或搭建隧道——每种方案均需独立设置，且缺乏针对各客户端的身份验证机制。
  • API 格式差异：Claude Code 采用 Anthropic 消息格式，而 Ollama、LM Studio、llama.cpp 与 vLLM 则使用 OpenAI 聊天补全格式。要兼容两者通常需要自行编写并维护代理程序。
  • 稳定的工具接入点：即便在同一台设备上切换 Ollama、LM Studio、llama.cpp 或 vLLM，甚至更换加载的模型，也不应要求所有客户端重新配置。
Tokios 仅作为运行环境之上的连接层存在，它并不会取代 Ollama、LM Studio、llama.cpp 或 vLLM。
DeepSeek-V4-Flash-0731 并非适用于单台工作站的常规模型。两张 RTX PRO 6000 Blackwell 显卡所提供的 192 GB 显存总量足以支撑该模型运行，但采用 2 张显卡的配置方案仍需社区验证。关于运行时环境及硬件适配注意事项，请参阅 DeepSeek V4 Flash 本地部署指南。

​
现在即可在您的工作站上完成配置

1

在工作站上启动运行环境

按常规方式运行模型服务器，例如：
或者借助 LM Studio 的本地服务器、llama.cpp 或 vLLM 来运行：
在添加连接器之前，请先确认该服务器能通过兼容 OpenAI 协议的 /v1 API 正常响应请求。
2

获取授权令牌并完成连接器配对

在 dashboard 控制台中，打开 Setup 选项卡并选择 Start pairing，即可获得一个格式为 TKS-XXXX-XXXX 的一次性授权令牌（有效期约为 15 分钟）。在 Windows 系统下（使用 PowerShell）：
在 Linux 系统下：
返回控制台后，在 Setup 或 Connectors 选项卡中批准该设备。连接器的令牌会通过安全通道自动传输，无需手动粘贴至任何文件。
3

将连接器指向运行环境中的 /v1 端点

The connector’s upstream is the runtime’s own OpenAI-compatible API on the workstation, not a port you forward on your router. Default ports: Ollama 11434, LM Studio 1234, llama.cpp 8080, vLLM 8000 (all with /v1 appended; for Ollama use its /v1 OpenAI-compatible API, not the native /api). No inbound firewall rule or port forward is needed — the connector only dials out.
4

完成部署配置

On the Models tab, map your upstream model id to a public deployment name such as rtx-coder. Clients send this deployment name in the model field, not the upstream id.
5

创建 API 密钥

在 Keys 选项卡中创建一个令牌。这些令牌属于 sk-tok-… 类型的持有者令牌，系统仅显示一次，且可限定仅适用于特定的部署名称模式。

​
在笔记本电脑或代理端调用该令牌

当连接器完成配对且部署信息已注册后，请将客户端指向 Tokios 而非工作站本地网络地址。
Claude Code 的模型选择器仅显示 claude* 类型的 ID，因此你的 Tokios 部署不会出现在列表中——此时需手动指定 --model rtx-coder 参数。
若工作站上运行多个后端服务——比如 Ollama 处理某模型而 vLLM 处理另一模型——请借助 连接器配置文件 定义多条路由规则与多个上游模型，而非仅配置单一上游模型。关于如何在同一端点下注册并切换多个部署，可参阅 模型路由配置。

​
可运行多大规模的模型？

可运行的模型规模取决于你的显存容量，这与 5090、4090 或 3090 硬件规格相关，属于硬件层面的考量而非 Tokios 功能范畴。关于模型尺寸选择指南，请参阅 本地模型挑选指南；若流量已通过 Tokios 传输，可参考 Tokios 部署性能基准测试 对比不同部署方案下的延迟与吞吐量表现。
Meta tested Muse Glimmer 30B specifically on an RTX 5090, and reports its largest DFlash speedup there — 3.1x. The 5090’s 32 GB runs the -dflash build comfortably. A 24 GB 3090 or 4090 runs the plain 4-bit build (18 GB) fully resident.

​
为何仅设一个端点？

  • 无需修改客户端配置即可切换后端。即便从 Ollama 切换至 LM Studio 或 vLLM，所有原本指向 rtx-coder 的代理程序与脚本仍可正常运行——只需调整连接器对应的上游模型设置，客户端配置无需改动。
  • 家用游戏电脑无需开放入站端口。 该连接器仅发起出站连接，因此你无需在路由器上设置端口转发，也无需将运行环境绑定至 0.0.0.0，更无需搭建专属隧道即可从笔记本电脑或其他编程工具访问它。
  • 采用受限权限的令牌而非共用绑定地址。 你可以为团队成员分配仅适用于特定部署模式的 API 密钥，而无需将运行环境的端口向整个网络开放。

​
后续操作指引

快速入门

从零开始完成连接器部署并获取有效的 API 密钥。

安装连接器

适用于各类平台的连接器安装与配对操作指南。

使用 Claude Code

详细配置 ANTHROPIC_BASE_URL 与 ANTHROPIC_API_KEY 的相关参数。

连接器配置参考手册

借助 tokios-connector.json 即可在一台工作站上同时运行多个模型。