跳转到主要内容
你的 RTX 工作站已经在运行模型。难点在于从笔记本电脑、编码智能体或团队成员的机器上访问它，同时不将你的游戏 PC 暴露到互联网。在运行时旁边运行 Tokios 连接器，你就能在 https://api.tokios.com 获得一个经过认证的端点，同时支持 OpenAI 和 Anthropic 请求格式，这样 Claude Code、OpenAI SDK 脚本或你邀请的任何人都能访问这台机器，而无需动你的路由器。

​
运行之后：端点缺口

桌面 RTX 用户——5090、4090、3090 及类似显卡——通常已经用 Ollama、LM Studio、llama.cpp 或 vLLM 在本地运行模型并得到回答，然后遇到下一个问题：从桌面以外的地方使用该模型。
  • 可从其他地方访问的端点。 运行时默认绑定到 127.0.0.1。要从笔记本电脑、在其他地方运行的编码智能体或团队成员的机器访问，意味着绑定到 0.0.0.0、在家庭路由器上转发端口，或搭建隧道——每种方式都有自己的配置，且前面没有按客户端的认证。
  • API 格式。 Claude Code 使用 Anthropic Messages 格式；Ollama、LM Studio、llama.cpp 和 vLLM 使用 OpenAI Chat Completions。桥接两者通常意味着编写和维护一个小型代理。
  • 稳定的工具指向位置。 在同一台机器上切换 Ollama、LM Studio、llama.cpp 或 vLLM，或更改加载的模型，不应该意味着重新配置每个与之通信的客户端。
Tokios 是构建在你已有运行时之上的连接层——它不替代 Ollama、LM Studio、llama.cpp 或 vLLM。
DeepSeek-V4-Flash-0731 不是典型的单工作站模型。一对 RTX PRO 6000 Blackwell 显卡拥有足够的 192 GB 总 VRAM 来满足其权重下限，但这种 2 卡方案属于社区验证领域。请参阅 DeepSeek V4 Flash 本地硬件 了解运行时和上下文的注意事项。

​
在工作站上配置

1

在工作站上启动运行时

像平时一样运行模型服务器，例如：
或使用 LM Studio 的本地服务器、llama.cpp 或 vLLM：
在添加连接器之前，确认它通过自身的 OpenAI 兼容 /v1 API 响应。
2

获取配对码并配对连接器

在 dashboard 中，打开 Setup 标签页并选择 Start pairing 获取一个一次性配对码，格式为 TKS-XXXX-XXXX（约 15 分钟内有效）。在 Windows (PowerShell) 上：
在 Linux 上：
回到控制台，在 Setup 或 Connectors 标签页上批准该设备。连接器的令牌通过隧道传输——你无需将其粘贴到文件中。
3

将连接器指向运行时的 /v1 端点

连接器的上游是工作站上运行时自身的 OpenAI 兼容 API，而不是你在路由器上转发的端口。默认端口：Ollama 11434、LM Studio 1234、llama.cpp 8080、vLLM 8000（均追加 /v1；Ollama 使用其 /v1 OpenAI 兼容 API，而非原生 /api）。无需入站防火墙规则或端口转发——连接器仅拨出。
4

注册部署

在 Models 标签页上，将上游模型 ID 映射到公共部署名称，例如 rtx-coder。客户端在 model 字段中发送此部署名称，而非上游 ID。
5

创建 API 密钥

在 Keys 标签页上，创建一个密钥。密钥是 sk-tok-… Bearer 令牌，仅显示一次，并且可以限定到特定的部署名称模式。

​
从笔记本电脑或智能体使用

配对连接器并注册部署后，将客户端指向 Tokios，而不是工作站的局域网地址。
Claude Code 的模型选择器仅列出 claude* ID，因此你的 Tokios 部署不会出现在列表中——请显式传递 --model rtx-coder。
如果你在工作站上运行多个后端——例如一个模型用 Ollama，另一个用 vLLM——请使用连接器配置文件定义多个路由和上游，而不是单上游配对流程。请参阅模型路由了解如何在同一端点后注册和切换多个部署。

​
能运行多大的模型？

你的 VRAM 决定了在 5090、4090 或 3090 上哪些模型尺寸和量化方案是可行的，这是硬件问题，不是 Tokios 的问题。请参阅选择本地模型获取尺寸指南，以及测试你的部署了解在流量通过 Tokios 后如何比较不同部署的延迟和吞吐量。
Meta 对 Muse Glimmer 30B 在 RTX 5090 上进行了专门测试，并报告了该卡上最大的 DFlash 加速——3.1x。5090 的 32 GB 可以轻松运行 -dflash 版本。24 GB 的 3090 或 4090 可以完全驻留普通 4 位版本（18 GB）。

​
为什么只需要一个端点

  • 切换后端而无需修改客户端配置。 在同一台机器上从 Ollama 切换到 LM Studio 或 vLLM，每个已指向 rtx-coder 的智能体和脚本继续工作——你只需更改连接器的上游，而不是客户端。
  • 家庭游戏 PC 无需开放入站端口。 连接器仅建立出站连接，因此你无需在路由器上转发端口、将运行时绑定到 0.0.0.0，或维护自己的隧道来从笔记本电脑或编码智能体访问。
  • 限定范围的密钥而非共享绑定地址。 给团队成员一个限定到特定部署模式的密钥，而不是将运行时的端口开放给你的网络。

​
后续步骤

快速开始

从零开始获得一个可用的连接器、部署和 API 密钥。

安装连接器

所有平台的完整连接器安装和配对参考。

使用 Claude Code

详细配置 ANTHROPIC_BASE_URL 和 ANTHROPIC_API_KEY。

连接器配置参考

使用 tokios-connector.json 从一台工作站提供多个模型。