> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# 将 AI 迁入内部：从云 API 迁移到本地推理

> 面向使用 OpenAI、Anthropic 或云 API 的团队迁移指南——在自有硬件上实现数据主权、完全掌控和自定义模型。相同的 API 体验，数据零外泄。

你正在使用 OpenAI、Anthropic 或其他云 API。它能用。但每次请求都会让你的数据离开你的网络。你无法控制模型。你无法用自己的数据进行微调。速率限制、策略变更和模型下线都是别人说了算。

本指南将带你完成从云 API 到本地推理（在自有硬件上运行 locallm）的迁移——保持相同的开发者体验、相同的 API 接口和相同的客户端代码。唯一的区别：你的提示词、输出和数据全部留在你的硬件上。

Last verified: 2026-10-24

## 为什么将 AI 迁入内部？

### 数据主权

你的数据永远不会离开你的网络。没有第三方日志记录。不会用你的提示词进行训练。无需管理合规审计追踪。对于处理敏感信息的团队——医疗记录、法律文件、专有代码、财务数据——本地推理消除了数据泄露的风险。

### 完全掌控

没有提供商强加的速率限制。没有模型突然下线的意外。没有限制你生成内容的策略变更。没有 API 定价上涨。你的模型在你需要时运行，按你想要的方式运行，想运行多久就运行多久。

### 深度定制

用你自己的数据针对特定领域微调模型。基于公司的代码库、行业术语、团队的沟通风格训练模型。云 API 不提供这种能力——或者对自定义微调端点收取高额费用。

### 性能对等

Llama 3.1 70B、Qwen3 72B 和 DeepSeek-R1 等开放权重模型在许多基准测试中匹配甚至超越 GPT-4。对于通用聊天、代码生成和推理，精心选择的本地模型能提供相当的质量。差距正在迅速缩小——参见[什么是评估？](https://docs.tokios.com/zh/guides/what-are-evals.md)了解模型比较方法。

### 响应速度

本地推理消除了到云 API 的网络往返。对于延迟敏感型应用——实时代码补全、交互式聊天、流式响应——本地模型在几毫秒内响应，而云 API 在高峰期可能需要数百毫秒甚至数秒。

## 哪些保持不变

迁移比你想象的简单，因为**应用代码完全不需要改动**：

* **相同的 API 接口。** OpenAI 兼容的 `/v1` 端点。你现有的 OpenAI SDK、Anthropic SDK 或 HTTP 客户端无需修改即可使用。
* **相同的请求格式。** 包含 `model`、`messages`、`max_tokens` 的 JSON 负载——与你今天发送给 OpenAI 的完全一致。
* **相同的响应格式。** 包含 `choices`、`usage`、`id` 的 JSON 响应——以相同的方式解析。
* **相同的客户端库。** Python SDK、JavaScript SDK、curl、Continue、Cline、Claude Code、Codex——全部可用。

唯一的变化：将客户端指向不同的 base URL。

## 迁移步骤

**1. 选择模型**

选择一个与你当前云 API 使用场景匹配的开放权重模型：

| 云 API | 本地等效模型 | 所需硬件 |
| - | - | - |
| GPT-4o / GPT-4 | Llama 3.1 70B, Qwen3 72B | 48 GB VRAM (RTX A6000, 2× RTX 3090) |
| GPT-4o-mini / GPT-3.5 | Qwen3 14B, Llama 3.1 8B | 16 GB VRAM (RTX 4080, RTX 4070 Ti) |
| Claude 3.5 Sonnet | Qwen3 32B, Llama 3.1 32B | 24 GB VRAM (RTX 4090, RTX 3090) |
| Claude 3 Haiku | Qwen3 7B, Gemma 2 9B | 8 GB VRAM (RTX 4060, RTX 3060) |

详细指南请参阅[选择本地模型](https://docs.tokios.com/zh/guides/choose-a-local-model.md)和[按任务选模型](https://docs.tokios.com/zh/guides/model-by-task.md)。

**2. 搭建运行时**

安装 Ollama（最简单）或 vLLM（最高吞吐量）：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
# Install Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Pull your model
ollama pull qwen3:32b
```

验证模型是否响应：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3:32b",
    "messages": [{"role": "user", "content": "Hello"}]
  }'
```

**3. 更新客户端代码**

修改 OpenAI SDK 客户端的 `base_url`：

```python theme={"theme":{"light":"github-light","dark":"css-variables"}}
# Before (cloud API)
from openai import OpenAI
client = OpenAI(api_key="sk-...")  # OpenAI API key

# After (local inference)
from openai import OpenAI
client = OpenAI(
    base_url="http://127.0.0.1:11434/v1",  # Local Ollama
    api_key="not-needed",  # Ollama doesn't require auth
)
```

如果需要带认证的团队访问，请使用 Tokios：

```python theme={"theme":{"light":"github-light","dark":"css-variables"}}
# With Tokios (authenticated, remote access)
from openai import OpenAI
client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)
```

**就这么简单。** 代码中其他部分完全不需要改动。`model` 字段、`messages` 数组、响应解析——全部相同。

**4. 设置团队访问（可选）**

如果你的团队需要远程访问本地模型，请安装 Tokios 连接器：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX
```

从[dashboard](https://tokios.com/console)获取你的配对码。连接器会创建一条出站隧道，让团队可以通过 `https://api.tokios.com/v1` 使用每用户独立的 API key 调用模型——无需端口转发、无需 Tailscale、无需修改防火墙规则。

完整步骤请参阅[团队访问本地模型](https://docs.tokios.com/zh/use-cases/team-access.md)。

**5. 测试与验证**

针对本地模型运行现有测试套件。将输出与云 API 基线进行比较。对于大多数任务（聊天、代码生成、摘要、信息提取），质量相当。对于专业任务，你可能需要微调——请参阅[部署微调模型](https://docs.tokios.com/zh/guides/serve-your-fine-tune.md)。

## 客户端集成示例

```python OpenAI SDK theme={"theme":{"light":"github-light","dark":"css-variables"}}
from openai import OpenAI

# Point at your local model
client = OpenAI(
    base_url="https://api.tokios.com/v1",  # or http://127.0.0.1:11434/v1
    api_key="sk-tok-YOUR_KEY",  # or "not-needed" for local Ollama
)

response = client.chat.completions.create(
    model="qwen3-32b",  # your deployment name
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)
```

```javascript OpenAI SDK theme={"theme":{"light":"github-light","dark":"css-variables"}}
import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'https://api.tokios.com/v1',
  apiKey: 'sk-tok-YOUR_KEY',
});

const response = await client.chat.completions.create({
  model: 'qwen3-32b',
  messages: [{ role: 'user', content: 'Hello' }],
});
console.log(response.choices[0].message.content);
```

```bash curl theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-32b",
    "messages": [{"role": "user", "content": "Hello"}]
  }'
```

## 硬件规划

你的硬件决定了可以运行哪些模型。主要约束是 **VRAM**（GPU 上的显存）：

| 模型规模 | 最低 VRAM | 示例硬件 | 价格区间 |
| - | - | - | - |
| 7B–8B | 8 GB | RTX 4060, RTX 3060 | $300–$500 |
| 14B | 16 GB | RTX 4080, RTX 4070 Ti | $600–$1,200 |
| 32B | 24 GB | RTX 4090, RTX 3090 | $1,600–$2,000 |
| 70B | 48 GB | RTX A6000, 2× RTX 3090 | $4,000–$8,000 |
| 70B+ | 80+ GB | DGX Spark, Mac Studio M5 Ultra | $3,000–$8,500 |

详细硬件指南请参阅[硬件参考](https://docs.tokios.com/zh/guides/hardware-reference.md)和[模型适配计算器](https://docs.tokios.com/zh/guides/model-fit.md)。

> [!TIP]
>
> 建议从 24 GB 的 RTX 4090 或二手 RTX 3090（约 $1,600–$2,000）开始。它能流畅运行 32B 模型，也能运行 70B 模型（Q4 量化）。对于大多数从云 API 迁移的团队来说，这是最佳性价比选择。

## 成本对比

对于高用量场景，本地推理比云 API 更便宜。回本周期取决于你的用量：

| 用量级别 | 云 API 成本（每月） | 本地推理成本（每月） |
| - | - | - |
| 轻度（100K tokens/天） | \~$30–$60 | \~$5–$10（电费） |
| 中度（1M tokens/天） | \~$300–$600 | \~$30–$50（电费） |
| 重度（10M tokens/天） | \~$3,000–$6,000 | \~$200–$400（电费） |

硬件成本按 3 年摊销：

* RTX 4090（$2,000）= 约 $56/月
* DGX Spark（$3,000）= 约 $83/月
* Mac Studio M5 Ultra（$8,500）= 约 $236/月

对于每天发送数百万 token 的团队，硬件投资在 3-6 个月内即可回本。之后，每个 token 的边际成本仅为电费。

## 常见疑虑

### "本地模型不如 GPT-4 怎么办？"

对于大多数任务，开放权重模型匹配甚至超越 GPT-4。Llama 3.1 70B、Qwen3 72B 和 DeepSeek-R1 在推理、代码生成和聊天方面都具有竞争力。对于专业任务，你可以用自己的数据微调——这是云 API 不允许的（或需要额外付费的）。

基准比较请参阅[什么是评估？](https://docs.tokios.com/zh/guides/what-are-evals.md)。

### "正常运行时间和可靠性如何？"

本地模型的可靠性取决于你的硬件。如果你的 GPU 服务器始终在线，你的模型就始终可用。没有"服务器繁忙"错误，没有速率限制，没有云提供商宕机导致的停机。对于生产工作负载，请在配备 UPS 备份的专用服务器上运行模型。

### "需要扩展怎么办？"

通过增加硬件来扩展。需要更高吞吐量？增加 GPU 或升级到更强大的 GPU。需要服务更多用户？使用 Tokios 创建每用户独立的 API key，并将请求路由到多个模型实例。请参阅[模型路由](https://docs.tokios.com/zh/guides/model-routing.md)和[团队访问本地模型](https://docs.tokios.com/zh/use-cases/team-access.md)。

### "微调怎么办？"

使用 Unsloth、Axolotl 或 LLaMA-Factory 等工具基于自己的数据进行微调。你需要一块足够大的 GPU 来加载模型和训练数据（通常需要 24 GB VRAM 用于 7B 模型，48+ GB 用于 13B 模型）。通过相同的 API 提供微调后的模型。请参阅[部署微调模型](https://docs.tokios.com/zh/guides/serve-your-fine-tune.md)。

## 后续步骤

* [自托管 LLM 指南](https://docs.tokios.com/zh/guides/self-hosted-private-llm.md) — 从零到私有 AI 的完整指南
* [团队访问本地模型](https://docs.tokios.com/zh/use-cases/team-access.md) — 为团队提供 API 访问
* [本地 LLM API](https://docs.tokios.com/zh/guides/local-llm-api.md) — 通过 OpenAI 兼容端点暴露模型
* [选择本地模型](https://docs.tokios.com/zh/guides/choose-a-local-model.md) — 为你的场景选择合适的模型
* [硬件参考](https://docs.tokios.com/zh/guides/hardware-reference.md) — 详细硬件需求

## 常见问题

> **我需要重写应用代码吗？**
>
> 不需要。你现有的 OpenAI SDK、Anthropic SDK 或 HTTP 客户端无需修改即可使用。唯一的变化是 `base_url`——将其指向本地模型或 Tokios 端点，而不是云 API。

> **如果需要 OpenAI 或 Anthropic 的特定功能怎么办？**
>
> 大多数功能（聊天、代码生成、函数调用、结构化输出）都受到开放权重模型的支持。对于特定功能（DALL-E 图像生成、Whisper 音频转录），你可能需要使用单独的本地模型，或将这些特定调用保留在云 API 上。

> **可以同时使用本地和云 API 吗？**
>
> 可以。对高用量、隐私敏感的任务使用本地推理。对特定功能或在开放权重模型可用之前需要访问最新模型时使用云 API。Tokios 可以路由到本地模型；云 API 调用直接发送到提供商。

> **合规和监管怎么办？**
>
> 本地推理在设计上满足数据驻留、物理隔离和数据主权要求。你的数据永远不会离开你的网络。对于 HIPAA、GDPR 和受监管行业，这通常是唯一可接受的架构。合规详情请参阅[自托管 LLM 指南](https://docs.tokios.com/zh/guides/self-hosted-private-llm.md)。

> **如何为团队处理认证？**
>
> 使用 Tokios 创建带有模型作用域的每用户独立 API key。每个团队成员拥有自己的 key，你可以撤销单个人的访问而不影响其他人。请参阅[团队访问本地模型](https://docs.tokios.com/zh/use-cases/team-access.md)。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.