Skip to main content
您的 Strix Halo 设备早已运行着模型。真正的难点在于无需开放入站端口即可从笔记本电脑、编辑器或编程代理端访问该模型。只需在运行环境旁启动 Tokios 连接器，即可在 https://api.tokios.com 地址处获得一个同时支持 OpenAI 与 Anthropic 请求格式的认证端点，这样 Claude Code、opencode 或其他任何兼容 OpenAI 协议的客户端都能直接访问该设备，而无需修改防火墙设置。

​
部署完成之后：端点配置问题

Framework Desktop, mini-PC, and other AMD Ryzen AI Max+ 395 (“Strix Halo”) owners buy the 128GB unified-memory configuration specifically to run large local models. On this silicon, the community’s general experience is that llama.cpp with the Vulkan backend is more reliable than ROCm/HIP. 当模型能在本地主机上正常响应后，大多数用户接下来便希望将其接入编程代理——如 opencode、Claude Code 等工具。这涉及以下环节：
  • 可从外部访问的兼容 OpenAI 协议端点。默认情况下运行环境会绑定至 Strix Halo 设备上的 127.0.0.1 地址。若要从其他位置的笔记本电脑或编程代理访问，则需绑定至 0.0.0.0 地址、开放端口或搭建隧道——每种方式均需独立配置，且缺乏针对各客户端的身份验证机制。
  • API 协议格式差异。Claude Code 采用 Anthropic 消息格式；而 llama.cpp、Ollama 与 LM Studio 则使用 OpenAI 聊天补全格式。实现两者互通通常需要自行编写并维护一个小型代理程序。
  • 便于工具统一指向的稳定地址。即便在同一设备上切换 llama.cpp、Ollama 或 LM Studio，或变更加载的模型版本，也无需重新配置所有相关客户端。
Tokios 仅作为运行环境之上的连接层使用——它并不会取代 llama.cpp、Ollama、LM Studio 或 vLLM。
2 款 Strix Halo 机箱能够容纳足够容量的内存来存储 DeepSeek-V4-Flash-0731 格式的 GGUF 模型权重，不过所需的 llama.cpp RPC 传输路径存在诸多缺陷，既不稳定也不安全，目前仅处于概念验证阶段。切勿将其用于正式生产环境的部署。关于相关实验性技术边界，可参阅 DeepSeek V4 Flash 本地硬件配置指南。

​
在您的 Strix Halo 设备上完成相关设置

1

启动该设备上的运行环境

像往常一样运行模型服务器，例如在 Vulkan 后端使用 llama.cpp：
或者借助 LM Studio 的本地服务器或 Olla ma：
在添加连接器之前，请先确认该设备能通过兼容 OpenAI 协议的 /v1 API 正常响应请求。
2

获取令牌并完成连接器配对

在 dashboard 控制台中，进入 Setup 选项卡并选择 Start pairing，即可获得仅可使用一次的令牌，其格式为 TKS-XXXX-XXXX，有效期约为 15 分钟。在 Linux 系统中：
在 Windows 系统中（通过 PowerShell）：
回到控制台后，在 Setup 或 Connectors 选项卡中批准该设备。连接器的令牌会通过安全通道自动传输，您无需手动将其粘贴至任何文件中。
3

将连接器指向运行环境的 /v1 端点

The connector’s upstream is the runtime’s own OpenAI-compatible API on the box, not a port you expose externally. Default ports: llama.cpp 8080, LM Studio 1234, Ollama 11434 (all with /v1 appended; for Ollama use its /v1 OpenAI-compatible API, not the native /api). No inbound firewall rule is needed — the connector only dials out.
4

执行部署操作

在 Models 选项卡中，将您的上游模型 ID 对应至一个公开的部署名称，例如 strix-coder。客户端会在 model 字段中发送该部署名称而非上游模型 ID。
5

生成 API 密钥

在 Keys 选项卡中创建新密钥。这些密钥属于 sk-tok-… 类型的承载令牌，仅显示一次，且可限定仅适用于特定部署名称规则。

​
在编程代理中调用该服务

完成连接器配对并成功部署后，请将编程代理的访问目标设为 Tokios 而非本地服务器地址。
Claude Code 的模型选择器仅显示 claude* 格式的 ID，因此您的 Tokios 部署不会出现在列表中——此时需显式指定 --model strix-coder 参数。
若服务器上运行多个后端服务——例如为某模型启用 llama.cpp 服务，同时为另一模型运行 Ollama——请通过 连接器配置文件 定义多路由与多上游模型配置，而非仅配置单一上游模型。关于如何注册及切换同一端点下的多个部署，请参阅 模型路由 说明。

​
为何仅设一个端点

  • 无需修改代理配置即可切换后端。即便从 llama.cpp 切换至 LM Studio 或 Ollama，所有指向 strix-coder 的代理程序仍可正常运行——您只需调整连接器的上游模型设置，无需改动客户端配置。
  • 基于范围的密钥管控替代全局绑定地址。可生成仅适用于特定部署模式的令牌授予团队成员，避免将运行环境端口开放至整个网络。
  • 服务器无需开放入站端口。连接器仅执行出站连接，因此无需将运行环境绑定至 0.0.0.0 端口，也无需搭建专用隧道即可实现笔记本电脑或编程代理的访问。

​
Strix Halo 能够运行 Kimi K3 吗？

No. Strix Halo’s 128 GB unified memory pool (~90–110 GB available after OS overhead) is far below what Kimi K3 requires. K3 has 2.8 trillion total parameters and needs about 1.4 TB at its native MXFP4 precision (4 bits per parameter) — before block scales, runtime buffers, activations, and KV cache. Even if you could use every byte of the 128 GB pool for weights, you would still be roughly 1.27 TB short. Moonshot 建议将 Kimi K3 部署在配备 64 个或更多加速器的超级节点上。关于内存需求计算与集群规模规划的详细内容，请参阅 Kimi K3 硬件配置深度解析。
正在寻找能完美适配 Strix Halo 的模型吗？请查看可替代 Kimi K3 的模型推荐，这是最适合具备 128 GB 统一内存的设备使用的编程与通用型模型。

​
后续操作指引

快速入门

按照步骤即可完成连接器部署、配置流程并获取所需 API 密钥。

连接器安装方法

适用于各类平台的连接器安装与配对操作指南。

使用 Claude Code

对 ANTHROPIC_BASE_URL 与 ANTHROPIC_API_KEY 参数进行细致配置。

连接器配置参数说明

借助 tokios-connector.json 即可在同一设备上部署运行多个模型。