将 AI 迁入内部：从云 API 迁移到本地推理

你正在使用 OpenAI、Anthropic 或其他云 API。它能用。但每次请求都会让你的数据离开你的网络。你无法控制模型。你无法用自己的数据进行微调。速率限制、策略变更和模型下线都是别人说了算。本指南将带你完成从云 API 到本地推理（在自有硬件上运行 locallm）的迁移——保持相同的开发者体验、相同的 API 接口和相同的客户端代码。唯一的区别：你的提示词、输出和数据全部留在你的硬件上。 Last verified: 2026-10-24

为什么将 AI 迁入内部？

数据主权

你的数据永远不会离开你的网络。没有第三方日志记录。不会用你的提示词进行训练。无需管理合规审计追踪。对于处理敏感信息的团队——医疗记录、法律文件、专有代码、财务数据——本地推理消除了数据泄露的风险。

完全掌控

没有提供商强加的速率限制。没有模型突然下线的意外。没有限制你生成内容的策略变更。没有 API 定价上涨。你的模型在你需要时运行，按你想要的方式运行，想运行多久就运行多久。

深度定制

用你自己的数据针对特定领域微调模型。基于公司的代码库、行业术语、团队的沟通风格训练模型。云 API 不提供这种能力——或者对自定义微调端点收取高额费用。

性能对等

Llama 3.1 70B、Qwen3 72B 和 DeepSeek-R1 等开放权重模型在许多基准测试中匹配甚至超越 GPT-4。对于通用聊天、代码生成和推理，精心选择的本地模型能提供相当的质量。差距正在迅速缩小——参见什么是评估？了解模型比较方法。

响应速度

本地推理消除了到云 API 的网络往返。对于延迟敏感型应用——实时代码补全、交互式聊天、流式响应——本地模型在几毫秒内响应，而云 API 在高峰期可能需要数百毫秒甚至数秒。

哪些保持不变

迁移比你想象的简单，因为应用代码完全不需要改动：

相同的 API 接口。 OpenAI 兼容的 /v1 端点。你现有的 OpenAI SDK、Anthropic SDK 或 HTTP 客户端无需修改即可使用。
相同的请求格式。 包含 model、messages、max_tokens 的 JSON 负载——与你今天发送给 OpenAI 的完全一致。
相同的响应格式。 包含 choices、usage、id 的 JSON 响应——以相同的方式解析。
相同的客户端库。 Python SDK、JavaScript SDK、curl、Continue、Cline、Claude Code、Codex——全部可用。

唯一的变化：将客户端指向不同的 base URL。

迁移步骤

选择模型

选择一个与你当前云 API 使用场景匹配的开放权重模型：

云 API	本地等效模型	所需硬件
GPT-4o / GPT-4	Llama 3.1 70B, Qwen3 72B	48 GB VRAM (RTX A6000, 2× RTX 3090)
GPT-4o-mini / GPT-3.5	Qwen3 14B, Llama 3.1 8B	16 GB VRAM (RTX 4080, RTX 4070 Ti)
Claude 3.5 Sonnet	Qwen3 32B, Llama 3.1 32B	24 GB VRAM (RTX 4090, RTX 3090)
Claude 3 Haiku	Qwen3 7B, Gemma 2 9B	8 GB VRAM (RTX 4060, RTX 3060)

详细指南请参阅选择本地模型和按任务选模型。

搭建运行时

安装 Ollama（最简单）或 vLLM（最高吞吐量）：

# Install Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Pull your model
ollama pull qwen3:32b

验证模型是否响应：

curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3:32b",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

更新客户端代码

修改 OpenAI SDK 客户端的 base_url：

# Before (cloud API)
from openai import OpenAI
client = OpenAI(api_key="sk-...")  # OpenAI API key

# After (local inference)
from openai import OpenAI
client = OpenAI(
    base_url="http://127.0.0.1:11434/v1",  # Local Ollama
    api_key="not-needed",  # Ollama doesn't require auth
)

如果需要带认证的团队访问，请使用 Tokios：

# With Tokios (authenticated, remote access)
from openai import OpenAI
client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

就这么简单。 代码中其他部分完全不需要改动。model 字段、messages 数组、响应解析——全部相同。

设置团队访问（可选）

如果你的团队需要远程访问本地模型，请安装 Tokios 连接器：

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

从dashboard获取你的配对码。连接器会创建一条出站隧道，让团队可以通过 https://api.tokios.com/v1 使用每用户独立的 API key 调用模型——无需端口转发、无需 Tailscale、无需修改防火墙规则。完整步骤请参阅团队访问本地模型。

测试与验证

针对本地模型运行现有测试套件。将输出与云 API 基线进行比较。对于大多数任务（聊天、代码生成、摘要、信息提取），质量相当。对于专业任务，你可能需要微调——请参阅部署微调模型。

客户端集成示例

from openai import OpenAI

# Point at your local model
client = OpenAI(
    base_url="https://api.tokios.com/v1",  # or http://127.0.0.1:11434/v1
    api_key="sk-tok-YOUR_KEY",  # or "not-needed" for local Ollama
)

response = client.chat.completions.create(
    model="qwen3-32b",  # your deployment name
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)

import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'https://api.tokios.com/v1',
  apiKey: 'sk-tok-YOUR_KEY',
});

const response = await client.chat.completions.create({
  model: 'qwen3-32b',
  messages: [{ role: 'user', content: 'Hello' }],
});
console.log(response.choices[0].message.content);

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-32b",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

硬件规划

你的硬件决定了可以运行哪些模型。主要约束是 VRAM（GPU 上的显存）：

模型规模	最低 VRAM	示例硬件	价格区间
7B–8B	8 GB	RTX 4060, RTX 3060	$300–$500
14B	16 GB	RTX 4080, RTX 4070 Ti	$600–$1,200
32B	24 GB	RTX 4090, RTX 3090	$1,600–$2,000
70B	48 GB	RTX A6000, 2× RTX 3090	$4,000–$8,000
70B+	80+ GB	DGX Spark, Mac Studio M5 Ultra	$3,000–$8,500

详细硬件指南请参阅硬件参考和模型适配计算器。

建议从 24 GB 的 RTX 4090 或二手 RTX 3090（约 $1,600–$2,000）开始。它能流畅运行 32B 模型，也能运行 70B 模型（Q4 量化）。对于大多数从云 API 迁移的团队来说，这是最佳性价比选择。

成本对比

对于高用量场景，本地推理比云 API 更便宜。回本周期取决于你的用量：

用量级别	云 API 成本（每月）	本地推理成本（每月）
轻度（100K tokens/天）	~$30–$60	~$5–$10（电费）
中度（1M tokens/天）	~$300–$600	~$30–$50（电费）
重度（10M tokens/天）	~$3,000–$6,000	~$200–$400（电费）

硬件成本按 3 年摊销：

RTX 4090（$2,000）= 约 $56/月
DGX Spark（$3,000）= 约 $83/月
Mac Studio M5 Ultra（$8,500）= 约 $236/月

对于每天发送数百万 token 的团队，硬件投资在 3-6 个月内即可回本。之后，每个 token 的边际成本仅为电费。

常见疑虑

”本地模型不如 GPT-4 怎么办？”

对于大多数任务，开放权重模型匹配甚至超越 GPT-4。Llama 3.1 70B、Qwen3 72B 和 DeepSeek-R1 在推理、代码生成和聊天方面都具有竞争力。对于专业任务，你可以用自己的数据微调——这是云 API 不允许的（或需要额外付费的）。基准比较请参阅什么是评估？。

“正常运行时间和可靠性如何？”

本地模型的可靠性取决于你的硬件。如果你的 GPU 服务器始终在线，你的模型就始终可用。没有”服务器繁忙”错误，没有速率限制，没有云提供商宕机导致的停机。对于生产工作负载，请在配备 UPS 备份的专用服务器上运行模型。

“需要扩展怎么办？”

通过增加硬件来扩展。需要更高吞吐量？增加 GPU 或升级到更强大的 GPU。需要服务更多用户？使用 Tokios 创建每用户独立的 API key，并将请求路由到多个模型实例。请参阅模型路由和团队访问本地模型。

“微调怎么办？”

使用 Unsloth、Axolotl 或 LLaMA-Factory 等工具基于自己的数据进行微调。你需要一块足够大的 GPU 来加载模型和训练数据（通常需要 24 GB VRAM 用于 7B 模型，48+ GB 用于 13B 模型）。通过相同的 API 提供微调后的模型。请参阅部署微调模型。

后续步骤

自托管 LLM 指南 — 从零到私有 AI 的完整指南
团队访问本地模型 — 为团队提供 API 访问
本地 LLM API — 通过 OpenAI 兼容端点暴露模型
选择本地模型 — 为你的场景选择合适的模型
硬件参考 — 详细硬件需求

常见问题

我需要重写应用代码吗？

不需要。你现有的 OpenAI SDK、Anthropic SDK 或 HTTP 客户端无需修改即可使用。唯一的变化是 base_url——将其指向本地模型或 Tokios 端点，而不是云 API。

如果需要 OpenAI 或 Anthropic 的特定功能怎么办？

大多数功能（聊天、代码生成、函数调用、结构化输出）都受到开放权重模型的支持。对于特定功能（DALL-E 图像生成、Whisper 音频转录），你可能需要使用单独的本地模型，或将这些特定调用保留在云 API 上。

可以同时使用本地和云 API 吗？

可以。对高用量、隐私敏感的任务使用本地推理。对特定功能或在开放权重模型可用之前需要访问最新模型时使用云 API。Tokios 可以路由到本地模型；云 API 调用直接发送到提供商。

合规和监管怎么办？

本地推理在设计上满足数据驻留、物理隔离和数据主权要求。你的数据永远不会离开你的网络。对于 HIPAA、GDPR 和受监管行业，这通常是唯一可接受的架构。合规详情请参阅自托管 LLM 指南。

如何为团队处理认证？

使用 Tokios 创建带有模型作用域的每用户独立 API key。每个团队成员拥有自己的 key，你可以撤销单个人的访问而不影响其他人。请参阅团队访问本地模型。

本地 LLM 入门

硬件与适配

服务与连接运行时

连接客户端或应用

对比

将 AI 迁入内部：从云 API 迁移到本地推理

为什么将 AI 迁入内部？

数据主权

完全掌控

深度定制

性能对等

响应速度

哪些保持不变

迁移步骤

客户端集成示例

硬件规划

成本对比

常见疑虑

”本地模型不如 GPT-4 怎么办？”

“正常运行时间和可靠性如何？”

“需要扩展怎么办？”

“微调怎么办？”

后续步骤

常见问题

​为什么将 AI 迁入内部？

​数据主权

​完全掌控

​深度定制

​性能对等

​响应速度

​哪些保持不变

​迁移步骤

​客户端集成示例

​硬件规划

​成本对比

​常见疑虑

​”本地模型不如 GPT-4 怎么办？”

​“正常运行时间和可靠性如何？”

​“需要扩展怎么办？”

​“微调怎么办？”

​后续步骤

​常见问题

为什么将 AI 迁入内部？

数据主权

完全掌控

深度定制

性能对等

响应速度

哪些保持不变

迁移步骤

客户端集成示例

硬件规划

成本对比

常见疑虑

”本地模型不如 GPT-4 怎么办？”

“正常运行时间和可靠性如何？”

“需要扩展怎么办？”

“微调怎么办？”

后续步骤

常见问题