本地大语言模型配置示例

配置示例 1：个人编程助手（8 GB 显存，10 分钟）

硬件： 8 GB 显存 GPU（RTX 3060、4060 或同等显卡） 使用场景： 编辑器内的代码补全与对话 后端： Ollama + Continue 或 Cline

安装 Ollama 并下载 7B 编程模型

# Install Ollama (Linux)
curl -fsSL https://ollama.com/install.sh | sh

# Pull a coding-optimized 7B model
ollama pull qwen2.5-coder:7b

验证模型可正常响应

curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5-coder:7b",
    "messages": [{"role": "user", "content": "Write a Python hello world"}],
    "max_tokens": 100
  }'

安装 Tokios 连接器并注册部署

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

在 dashboard 中注册一个名为 my-coder 的部署，指向上游模型 qwen2.5-coder:7b。然后创建一个 API 密钥。

配置 Continue 或 Cline

{
  "baseURL": "https://api.tokios.com/v1",
  "apiKey": "sk-tok-YOUR_KEY",
  "model": "my-coder"
}

预期性能： 约 40 tok/s（RTX 4060），4K 上下文下可流畅进行标签页补全和内联编辑。

配置示例 2：家庭聊天机器人服务器（16 GB 显存，15 分钟）

硬件： 16 GB 显存 GPU（RTX 4080、4070 Ti Super 或同等显卡） 使用场景： 供家庭使用的自托管 ChatGPT 风格界面 后端： Ollama + Open WebUI + Tokios

使用 Ollama 启动 14B 聊天模型

ollama pull qwen2.5:14b

使用 Docker 运行 Open WebUI

docker run -d \
  --name open-webui \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  --restart always \
  ghcr.io/open-webui/open-webui:main

打开 http://localhost:3000 并创建管理员账户。

通过 Tokios 对外提供远程访问

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

注册一个名为 family-chat 的部署，指向 qwen2.5:14b。为每位家庭成员分别创建 API 密钥——作用域独立的密钥可让您单独撤销某个人的访问权限。

预期性能： 约 25 tok/s（RTX 4080），8K 上下文，可流畅进行多轮对话。

为每位家庭成员创建独立的 API 密钥，这样您可以单独撤销某一个密钥而不影响其他人。

配置示例 3：团队 API 端点（48 GB+ 显存，30 分钟）

硬件： 48 GB+ 显存（A6000、2x RTX 4090 或 A100） 使用场景： 开发团队共享的模型端点 后端： vLLM + Tokios

安装 vLLM 并启动 70B 模型

pip install vllm

vllm serve Qwen/Qwen2.5-72B-Instruct-AWQ \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization awq \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192

vllm serve Qwen/Qwen2.5-72B-Instruct-AWQ \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization awq \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192

验证服务器可正常响应

curl http://127.0.0.1:8000/v1/models

安装 Tokios 连接器

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

将连接器指向 http://127.0.0.1:8000/v1。

注册部署并创建作用域密钥

注册一个名为 team-70b 的部署。在 Keys 标签页中，为每位队友创建 1 个 API 密钥。将每个密钥的作用域限定为 team-* 模式，这样队友只能访问共享的部署。

预期性能： AWQ 量化下聚合吞吐量约 30 tok/s。可同时处理 3–5 个并发请求，延迟在可接受范围内。

使用 2 个 GPU 时，张量并行在单节点上比流水线并行提供更好的解码吞吐量。请参阅张量并行与流水线并行。

配置示例 4：文档问答流水线（24 GB 显存，45 分钟）

硬件： 24 GB 显存 GPU（RTX 3090、4090 或同等显卡） 使用场景： 就 PDF 和文档提问，无需将数据发送到云端 后端： Ollama（嵌入 + 聊天）+ 自定义 RAG 脚本 + Tokios

下载嵌入模型和 32B 聊天模型

ollama pull nomic-embed-text
ollama pull qwen2.5:32b

嵌入模型（约 270 MB）为文档生成向量表示。32B 模型基于这些嵌入来回答问题。

构建简单的 RAG 流水线

import requests, json

EMBED_MODEL = "nomic-embed-text"
CHAT_MODEL  = "qwen2.5:32b"
OLLAMA_URL  = "http://127.0.0.1:11434"

def embed(text: str) -> list[float]:
    r = requests.post(f"{OLLAMA_URL}/api/embeddings",
                       json={"model": EMBED_MODEL, "prompt": text})
    return r.json()["embedding"]

def ask(question: str, context: str) -> str:
    prompt = f"Answer based on this context:\n\n{context}\n\nQuestion: {question}"
    r = requests.post(f"{OLLAMA_URL}/v1/chat/completions",
                       json={"model": CHAT_MODEL,
                             "messages": [{"role": "user", "content": prompt}],
                             "max_tokens": 512})
    return r.json()["choices"][0]["message"]["content"]

通过 Tokios 对外提供聊天模型

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

注册一个名为 doc-qa 的部署，指向 qwen2.5:32b。现在您的 RAG 脚本可以从任何机器通过 https://api.tokios.com/v1 调用该模型，同时嵌入操作保持在本地。

预期性能： 约 15 tok/s（32B 模型，RTX 4090）。短文本段的嵌入几乎瞬间完成。

将嵌入模型保留在本地运行（速度快、体积小），仅通过 Tokios 路由聊天模型。这样可以避免将文档文本通过网络发送进行嵌入。

配置示例 5：DGX Spark 最大吞吐量（128 GB，20 分钟）

硬件： NVIDIA DGX Spark（128 GB 统一内存） 使用场景： 大型 MoE 模型的最大吞吐量 后端： vLLM + Tokios

启动 120B MoE 模型（FP8 精度）

vllm serve Qwen/Qwen3-235B-A22B-FP8 \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization fp8 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 16384 \
  --trust-remote-code

DGX Spark 的 128 GB 统一内存可以容纳需要 2–3 个消费级 GPU 的模型。Qwen3-235B-A22B 等 MoE 模型每个 token 仅激活约 22B 参数，因此尽管总参数量很大，推理速度依然很快。

验证并进行基准测试

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-235B-A22B-FP8",
    "messages": [{"role": "user", "content": "Explain quantum entanglement"}],
    "max_tokens": 256
  }'

通过 Tokios 对外提供服务

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

注册一个名为 spark-moe 的部署。为每个需要访问的客户端创建 API 密钥。

预期性能： DGX Spark 上活跃参数集约 35 tok/s。16K 上下文可轻松容纳在统一内存中。

详细配置选项请参阅 DGX Spark 上的 vLLM 和 DGX Spark 内存调优。

配置示例 6：笔记本友好的离线 AI（16 GB 内存，5 分钟）

硬件： 任何配备 16 GB 内存的笔记本电脑（无需独立 GPU） 使用场景： 无需互联网即可使用的私有 AI 助手 后端： Ollama（CPU 模式）

安装 Ollama 并下载量化 7B 模型

# macOS
curl -fsSL https://ollama.com/install.sh | sh

# Or download from https://ollama.com for Windows/Linux
ollama pull qwen2.5:7b-instruct-q4_K_M

Q4_K_M 量化将模型控制在 5 GB 以内，因此可在 16 GB 内存的 CPU 上运行。

本地聊天——无需互联网

ollama run qwen2.5:7b-instruct-q4_K_M

就这么简单。模型完全在您的笔记本电脑上运行。无网络调用、无遥测、无 API 密钥。

联网时可选择通过 Tokios 对外提供

当您有互联网连接并想从其他设备访问该模型时：

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

注册一个名为 laptop-offline 的部署。连接器仅在网络可用时才向外拨号——离线时，您的模型继续在本地运行。

预期性能： CPU 上（现代笔记本电脑）约 5 tok/s。可用于聊天和起草，但不适合实时代码辅助。

如果您的笔记本电脑搭载 Apple 芯片，Ollama 会自动使用 Neural Engine 和 Metal——M 系列芯片上预计可达 20–30 tok/s。

配置示例 7：多模型路由（24 GB+ 显存，30 分钟）

硬件： 24 GB+ 显存 GPU 使用场景： 将 3 个不同大小的模型通过 1 个 Tokios 端点对外提供服务 后端： Ollama 或 vLLM + Tokios（使用配置文件）

下载 3 个不同大小的模型

ollama pull qwen2.5:3b     # fast-small: quick classification
ollama pull qwen2.5:14b    # medium: general chat
ollama pull qwen2.5:32b    # large: complex reasoning

创建多路由连接器配置

创建 tokios-connector.json：

{
  "Routes": [
    { "Deployment": "fast-small", "Upstream": "local-ollama" },
    { "Deployment": "medium",     "Upstream": "local-ollama" },
    { "Deployment": "large",      "Upstream": "local-ollama" }
  ],
  "Upstreams": {
    "local-ollama": {
      "BaseUrl": "http://127.0.0.1:11434/v1"
    }
  }
}

在控制台中注册全部 3 个部署

在 Models 标签页中注册：

部署名称	上游模型 ID
`fast-small`	`qwen2.5:3b`
`medium`	`qwen2.5:14b`
`large`	`qwen2.5:32b`

通过 model 字段进行路由

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

# Fast classification
client.chat.completions.create(
    model="fast-small",
    messages=[{"role": "user", "content": "Is this email spam? ..."}],
)

# Complex reasoning
client.chat.completions.create(
    model="large",
    messages=[{"role": "user", "content": "Analyze this contract clause..."}],
)

预期性能： 3B 模型在 1 秒内响应。32B 模型首 token 需要 2–3 秒，但输出质量更高。同一端点、同一密钥，只需更改 model 字段。

Ollama 默认每次仅在显存中保留 1 个模型，并按需切换。如果需要同时加载全部 3 个模型，请运行独立的后端或使用带 LoRA 适配器的 vLLM。请参阅模型路由。

配置示例 8：基准测试您的环境（任意硬件，10 分钟）

硬件： 任何运行本地模型的 GPU 或 CPU 使用场景： 比较不同模型、量化方式或硬件的吞吐量和延迟 后端： 任意后端 + Tokios

启动模型服务器

使用任意后端——Ollama、vLLM、llama.cpp 或 LM Studio。确认其 /v1 端点可正常响应。

运行吞吐量基准测试

# Simple throughput test with curl and timing
for i in 1 2 3 4 5; do
  time curl -s http://127.0.0.1:11434/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
      "model": "qwen2.5:7b",
      "messages": [{"role": "user", "content": "Write a 200-word essay about recursion"}],
      "max_tokens": 256,
      "stream": false
    }' | python3 -c "
import sys, json
r = json.load(sys.stdin)
u = r['usage']
print(f\"Tokens: {u['completion_tokens']}, Time: check wall clock\")
"
done

通过 Tokios 进行基准测试以测量端到端延迟

# Same test through the Tokios endpoint
time curl -s https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "my-deployment",
    "messages": [{"role": "user", "content": "Write a 200-word essay about recursion"}],
    "max_tokens": 256,
    "stream": false
  }' | python3 -c "
import sys, json
r = json.load(sys.stdin)
u = r['usage']
print(f\"Tokens: {u['completion_tokens']}\")
"

比较不同量化方式

下载同一模型的不同量化版本并分别进行基准测试：

ollama pull qwen2.5:7b-instruct-q4_K_M
ollama pull qwen2.5:7b-instruct-q5_K_M
ollama pull qwen2.5:7b-instruct-q8_0

对每个版本发送相同的提示词并比较每秒 token 数。Q5_K_M 通常在 7B 规模下提供最佳的质量与速度平衡。

预期结果： 隧道每个请求增加 50–150 ms 延迟（即往返 Tokios 网关 1 次）。流式传输吞吐量与本地几乎相同——隧道不会缓冲 SSE。

更结构化的基准测试方案请参阅测试您的部署。

案例研究

团队和个人运行本地模型的实际部署模式。

选择本地模型

为您的硬件和工作流程选择合适的模型和量化方式。

模型路由

注册多个部署，通过更改 model 字段切换模型。

快速入门

从零开始完成连接器、部署和 API 密钥的搭建。

入门

模型

概念

参考

本地大语言模型配置示例

后续步骤

案例研究

选择本地模型

模型路由

快速入门

​后续步骤

案例研究

选择本地模型

模型路由

快速入门

后续步骤