跳转到主要内容
您的 Strix Halo 设备已经在运行模型。真正的难点在于如何从笔记本电脑、编辑器或编程代理访问它，而无需开放入站端口。在运行环境旁启动 Tokios 连接器，您就能在 https://api.tokios.com 获得一个经过认证的端点，同时支持 OpenAI 和 Anthropic 请求格式，这样 Claude Code、opencode 或任何兼容 OpenAI 的客户端都能直接访问该设备，无需修改防火墙规则。

​
运行之后：端点缺口

Framework Desktop、mini-PC 及其他 AMD Ryzen AI Max+ 395（“Strix Halo”）设备用户选择 128GB 统一内存配置，专门用于运行大型本地模型。在这款芯片上，社区的普遍经验是 llama.cpp 搭配 Vulkan 后端比 ROCm/HIP 更可靠。 当模型能在本地主机上正常响应后，大多数用户接下来希望接入编程代理——opencode、Claude Code 或类似工具。这意味着：
  • 一个可从外部访问的兼容 OpenAI 端点。 运行环境默认绑定 Strix Halo 设备上的 127.0.0.1。要从其他位置的笔记本电脑或编程代理访问，需要绑定到 0.0.0.0、开放端口或搭建隧道——每种方式都有各自的配置要求，且前方没有按客户端的认证机制。
  • API 格式。 Claude Code 使用 Anthropic Messages 格式；llama.cpp、Ollama 和 LM Studio 使用 OpenAI Chat Completions 格式。桥接两者通常意味着编写和维护一个小型代理。
  • 一个稳定的工具指向地址。 在同一台设备上切换 llama.cpp、Ollama 或 LM Studio，或更换加载的模型，都不应该意味着重新配置每个与之通信的客户端。
Tokios 是 sit 在您已运行的运行环境之上的连接层——它不会取代 llama.cpp、Ollama、LM Studio、vLLM 或 Lemonade Server。
2 台 Strix Halo 机箱的合计内存可能足以容纳 DeepSeek-V4-Flash-0731 的 GGUF 权重，但所需的 llama.cpp RPC 路径脆弱、不安全且仅为概念验证。请勿将其视为生产部署。请参阅 DeepSeek V4 Flash 本地硬件 了解实验边界。

​
在 Strix Halo 设备上完成设置

1

在设备上启动运行环境

按常规方式运行模型服务器，例如在 Vulkan 后端上使用 llama.cpp：
或使用 LM Studio 的本地服务器，或 Ollama：
Lemonade Server 是另一个选择——它会自动检测 Strix Halo 硬件并为您选择 Vulkan 后端，从而跳过手动后端选择：
Lemonade Server 默认监听端口 13305，并在 /v1 处提供兼容 OpenAI 的 API。它还支持 AMD Ryzen AI NPU，这是此处其他后端都不支持的特性。请参阅 Lemonade Server 远程访问 获取完整设置指南。在添加连接器之前，请确认它能在自身的兼容 OpenAI 的 /v1 API 上正常响应。
2

获取配对码并配对连接器

在 dashboard 中，打开 Setup 选项卡并选择 Start pairing 获取一次性配对码，格式为 TKS-XXXX-XXXX（有效期约 15 分钟）。在 Linux 上：
在 Windows 上（PowerShell）：
回到控制台中，在 Setup 或 Connectors 选项卡上批准该设备。连接器的令牌通过隧道传输——您无需将其粘贴到文件中。
3

将连接器指向运行环境的 /v1 端点

连接器的上游是运行环境在设备上的兼容 OpenAI 的 API 本身，而非您对外暴露的端口。默认端口：llama.cpp 8080、LM Studio 1234、Ollama 11434、Lemonade Server 13305（均追加 /v1；对于 Ollama，使用其兼容 OpenAI 的 /v1 API，而非原生 /api）。无需入站防火墙规则——连接器仅拨出。
4

注册部署

在 Models 选项卡上，将上游模型 ID 映射到公共部署名称，例如 strix-coder。客户端在 model 字段中发送此部署名称，而非上游 ID。
5

创建 API 密钥

在 Keys 选项卡上创建密钥。密钥为 sk-tok-… Bearer 令牌，仅显示一次，并可限定为特定部署名称模式。

​
从编程代理中使用

连接器配对并注册部署后，将编程代理指向 Tokios 而非设备的本地地址。
Claude Code 的模型选择器仅列出 claude* ID，因此您的 Tokios 部署不会出现在列表中——请显式传递 --model strix-coder。
如果您在设备上运行多个后端——例如一个模型用 llama.cpp，另一个用 Lemonade Server 或 Ollama——请使用连接器配置文件定义多个路由和上游，而非单一上游配对流程。请参阅模型路由了解如何注册和切换同一端点后的多个部署。

​
为何使用统一端点

  • 切换后端无需修改代理配置。 在同一台设备上从 llama.cpp 切换到 LM Studio 或 Ollama，每个已指向 strix-coder 的代理都能继续工作——您只需更改连接器的上游，而非客户端。
  • 作用域密钥替代共享绑定地址。 给团队成员一个限定为特定部署模式的密钥，而非将运行环境的端口开放给网络。
  • 设备上无入站端口。 连接器仅发起出站连接，因此您无需将运行环境绑定到 0.0.0.0 或维护自己的隧道来从笔记本电脑或编程代理访问。

​
Strix Halo 能运行 Kimi K3 吗？

不能。Strix Halo 的 128 GB 统一内存池（操作系统开销后约 90–110 GB 可用）远低于 Kimi K3 所需。K3 共有 2.8 万亿参数，需要约 1.4 TB（原生 MXFP4 精度，每参数 4 位）——这还未计入块缩放因子、运行时缓冲区、激活值和 KV 缓存。即使您能将 128 GB 内存池的每一字节都用于权重，仍然缺少约 1.27 TB。 Moonshot 建议将 K3 部署在配备 64 个或更多加速器的超级节点上。有关完整内存计算和集群规模规划，请参阅 Kimi K3 硬件深度解析。
在寻找真正适合 Strix Halo 的模型？请参阅 Kimi K3 的替代方案——最适合 128 GB 统一内存的编程和通用模型。

​
后续步骤

快速入门

从零开始完成连接器、部署和 API 密钥的创建。

安装连接器

适用于所有平台的完整连接器安装和配对参考。

使用 Claude Code

详细配置 ANTHROPIC_BASE_URL 和 ANTHROPIC_API_KEY。

连接器配置参考

使用 tokios-connector.json 从一台设备提供多个模型。