跳转到主要内容
默认情况下 Ollama 仅监听 127.0.0.1:11434 端口,仅本机可访问。设置 OLLAMA_HOST=0.0.0.0 后 Ollama 会在所有网络接口上监听,但 Ollama 本身并无内置身份验证功能:任何能访问 11434 端口的设备均可无需令牌直接调用 API。建议让 Ollama 继续运行在本地主机,再搭配 Tokios 连接器使用:该连接器会主动连接至 https://api.tokios.com,而您的各类工具、团队成员或智能体则可通过 1 这一经过身份验证的端点实现远程调用。
适合初学者。Ollama 是运行本地模型的最快捷方式——只需执行 ollama run <model> 命令即可开始服务。它也是部署 Tokios 时的理想后端选择。

人们常尝试的方案及其局限

上述工具均属通用型工具,但并无一款专为“将本地推理 API 开放至互联网”而设计。因此它们在此类应用场景下均存在明确的局限性。
此操作可令 Ollama 在所有网络接口上监听,而不仅限于本地回环接口。由于 Ollama 缺乏内置身份验证机制,任何能访问该端口的设备均可直接调用 API——包括查看模型列表、执行推理或下载模型等操作,且无需任何令牌。安全研究机构(如 SentinelLABS/Censys,参见 2026)指出,全球约有 175,000 台 Ollama 服务器因该设置被暴露在公网中。
将 11434 端口转发至本地机器存在双重问题:若您的网络服务商采用 CGNAT 技术,则根本无法获得稳定的公网 IP 用于转发;即便成功开放端口,Shodan 或 Censys 等全网扫描器也会在数小时至数日内索引到该服务。与前述情况类似,除非自行添加验证机制,否则该端口同样缺乏安全保护。
Tailscale在个人使用场景下表现出色:用户可自行将设备加入专属的网状网络(“tailnet”),从而实现设备间的安全通信。不过对于非个人用途而言,若团队成员或 SaaS 客户端需要调用您的模型,他们必须先加入该 tailnet,这与基于 API 密钥的公开访问模式并不契合。虽然 Tailscale Funnel可对外发布服务,但它仅支持有限的端口配置且带宽无法自定义。
Cloudflare Tunnel可将流量路由至 Cloudflare的边缘节点,且无需开放任何入站端口,这一设计十分理想。不过默认情况下,除非响应内容包含 text/event-stream 内容类型标头,否则 Cloudflare会缓存响应而非实时传输;此外代理请求还会受到 Cloudflare的超时限制(免费版约为 100 秒,部分付费套餐的超时时长更短),因此生成内容较长的请求可能会中途中断。
ngrok配置简便,非常适合演示用途。免费版每月仅允许使用 1 GB的数据流量及 20,000 次请求;此外访问者需先浏览到 ngrok提供的警告页面才能进入您的服务。这些限制对于演示链接而言尚可接受,但若供团队成员或程序化调用 API的代理使用则不太合适。
以上评价并非针对这些工具本身——它们各自解决的是不同问题,如设备网状网络构建、边缘代理服务以及快速演示链接生成等。而 Tokios的设计初衷仅有一个:将本地模型端点转化为可跨地域调用的受认证 API。

仅允许出站流量的方案

1

按常规方式在本地运行 Ollama

请将 Ollama的版本设置为 127.0.0.1,切勿设置 OLLAMA_HOST。随后下载并运行所需模型:
保持 Ollama在默认的 http://127.0.0.1:11434 端口上监听即可。
2

绑定 Tokios连接器

登录 tokios.com/console 页面后,进入 Setup 选项卡并点击 Start pairing。此时 Tokios会生成一个一次性使用的 申领代码,其内容为 TKS-XXXX-XXXX,有效期约为 15 分钟。在运行 Ollama 的机器上,执行适用于您操作系统的安装命令即可。
Windows
macOS
Linux
已经安装了 tokios-connector 吗?此时可直接输入对应代码来完成配置。
回到控制台 approve 该设备:在 Setup 或 Connectors 选项卡中操作。连接器的令牌在批准后会通过隧道下发——您永远不会在屏幕上看到它,也无需将其粘贴到任何文件中。
3

将连接器指向 Ollama 提供的 /v1 API 接口即可。

Ollama 在 /v1 位置提供了与 OpenAI 兼容的接口,Tokios 正是通过该接口与 Ollama 通信,而非使用其原生的 /api 端点。对于仅部署单一模型的情形,控制台的设置向导会自动将 http://127.0.0.1:11434/v1 设为上游模型 ID。若需通过 tokios-connector.json 配置文件部署多个模型,则需手动指定上游模型 ID 为 BaseUrl。
关于多模型配置文件的完整格式说明,请参阅 连接器配置。
4

执行部署注册操作。

在 Models 标签页中注册 Ollama 模型并设定一个 公开名称,例如 llama3-tunnel。客户端在调用时实际发送的是该公开名称而非 Ollama 的本地模型 ID,该名称会被填入 model 字段中。
5

生成 API 密钥。

进入 Keys 标签页后点击 Create key 即可创建密钥。您还可按需限定该密钥的适用范围,比如指定若干模型名称模式(多个模式以逗号分隔,使用 * 可代表所有模型)。此时请务必立即复制生成的 sk-tok-… 令牌,因为该信息仅显示一次。

任意位置均可调用该模型。

获得部署名称与 API 密钥后,任何兼容 OpenAI 或 Anthropic 协议的客户端均可访问您的 Ollama 模型,无论它们位于其他机器、同事的笔记本电脑还是云端环境中。
该 model 字段始终代表您注册的 部署 名称(即上文中的 llama3-tunnel),而非 Ollama 的本地模型 ID。如需在多次会话中持续保存环境变量,请参阅 使用 Claude Code 的相关说明。

Tokios 与 Ollama Cloud 的对比

Ollama 还提供了 Ollama Cloud 服务:通过该服务可访问托管在云端的各类模型,只需使用 ollama run <model>:cloud 或 Ollama API 密钥即可。此时模型权重实际运行于 Ollama 的服务器上,仅在您登录后才会通过本地的 ollama 守护程序进行代理传输。该服务虽属便捷的托管方案,却与自托管模式截然不同:您的提示词会被发送至 Ollama 的服务器,且对应的 :cloud 标签下并无可供您自行管控的本地模型权重。(正因如此,部分前沿模型——如 Kimi、MiniMax 以及最高级别的 Nemotron 系列——目前仅能在 Ollama Cloud 上通过 :cloud 进行调用。) Tokios 则适用于另一种场景:模型直接在 您 的硬件设备上运行,而 Tokios 仅负责在其前端设置经过身份验证的访问端点。如此一来,模型权重、数据存储路径及相关密钥均由您自行掌控。 两者可同时运行:借助 Tokios 在本地运行小型模型,需要时也可调用 :cloud 模型;唯有本地路径能确保数据仅留存于您自有的硬件中。

常见问题

默认情况下 Ollama 会监听 11434 端口,且仅绑定至 127.0.0.1(即本地主机)。您可通过设置 OLLAMA_HOST 环境变量来调整端口与绑定地址——例如配置为 OLLAMA_HOST=0.0.0.0:11435 后,服务便会在 11435 端口上响应所有网络请求。使用 curl http://localhost:11434 指令即可验证 Ollama 是否正常运行。
设置环境变量 OLLAMA_HOST=0.0.0.0(或 OLLAMA_HOST=0.0.0.0:11434)并重启 Ollama。在使用 systemd 的 Linux 上,将 Environment="OLLAMA_HOST=0.0.0.0:11434" 添加到 [Service] 部分(位于 ollama.service 中),然后运行 systemctl daemon-reload && systemctl restart ollama。在 macOS 上,使用 launchctl setenv OLLAMA_HOST "0.0.0.0:11434"。在 Windows 上,在用户环境变量中设置 OLLAMA_HOST 并重启 Ollama。
不需要。Ollama 本身并未内置身份验证机制,它专为本地部署而设计,并不具备多租户访问控制功能。若您需要身份验证功能,Ollama 维护团队建议在其前端部署反向代理工具,例如 nginx 或 Caddy。而 Tokios 则无需反向代理即可生成具备权限限制的 sk-tok-… API 令牌:您只需配置好连接器、完成部署设置并生成对应令牌,调用端即可使用 https://api.tokios.com 进行身份验证,而无需直接访问 Ollama 的原始端口。
Ollama 提供了原生接口以及兼容 OpenAI 标准的接口。原生接口的调用地址为 curl http://localhost:11434/api/generate -d '{"model": "llama3", "prompt": "Hello"}';兼容 OpenAI 标准的接口地址则为 curl http://localhost:11434/v1/chat/completions -d '{"model": "llama3", "messages": [{"role": "user", "content": "Hello"}]}'。若从远程机器发起调用,请将 localhost 替换为目标服务器的 IP 地址,同时务必确保已配置 OLLAMA_HOST=0.0.0.0。
完全可以。默认情况下 Ollama 允许来自 127.0.0.1 与 0.0.0.0 的跨域请求。您可通过设置 OLLAMA_ORIGINS 来添加更多允许的域名;针对浏览器扩展程序,则需使用 OLLAMA_ORIGINS=chrome-extension://*,moz-extension://*。此配置仅对基于浏览器的客户端生效,使用 curl 协议或 SDK 的 API 调用端不受跨域资源共享规则限制。
确实可用。只需设置 "stream": true,Tokios 便会依据您所选的 API 类型返回符合 OpenAI 或 Anthropic 规范的标准服务器推送事件。
可以。为每位团队成员创建单独的 sk-tok-… 密钥(在 Keys 选项卡中),并将每个密钥的范围限定为仅他们需要的部署。吊销密钥会立即使其无法通过身份验证,因此您可以在不改动 Ollama 或连接器的情况下切断访问。
完全可以。您可在 Models 页面添加更多部署项目,也可借助 tokios-connector.json 格式的配置文件为单个连接器定义多个上游模型及对应路由规则。详细配置说明可查阅 连接器配置指南。
并非如此。Tokios 遵循 OpenAI 的聊天补全接口规范,因此它调用的是 Ollama 的 /v1 OpenAI 兼容型 API,而非原生的 /api/generate 或 /api/chat 接口。

您的模型始终运行在本地机器上,而对应的端点则可随处调用。

Ollama 仍会在本地主机上照常运行,不会开放任何入站端口或对外暴露 API。连接器仅负责向外发起连接请求。其余环节如身份验证、路由分配及数据流传输均由单一端点完成,您可将该端点提供给任意机器、团队成员或智能体使用。

快速入门

配置连接器并完成首个模型端点的完整注册流程。

API 密钥

为团队成员及智能体创建、设定权限并定期轮换 sk-tok-… 类型的令牌。

借助编程智能体驱动模型运行

通过 Tokios 将 Claude Code、Codex、Cline 或 Cursor 这类编程工具与您的 Ollama 模型相连即可。