本地大语言模型配置指南

配置示例 1：个人编程助手（需 8 GB 显存，最低配置要求为 10）

Hardware: 8 GB VRAM GPU (RTX 3060, 4060, or similar) Use case: Code completion and chat inside your editor Backend: Ollama + Continue or Cline

安装 Ollama 并下载 7B 编程专用模型

# Install Ollama (Linux)
curl -fsSL https://ollama.com/install.sh | sh

# Pull a coding-optimized 7B model
ollama pull qwen2.5-coder:7b

确认模型可正常响应请求

curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5-coder:7b",
    "messages": [{"role": "user", "content": "Write a Python hello world"}],
    "max_tokens": 100
  }'

安装 Tokios 连接器并创建相应部署实例

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

在 dashboard 控制台中新建名为 my-coder 的部署实例，将其指向上游模型 ID 为 qwen2.5-coder:7b 的模型。随后生成对应的 API 密钥。

完成 Continue 或 Cline 的相关配置即可。

{
  "baseURL": "https://api.tokios.com/v1",
  "apiKey": "sk-tok-YOUR_KEY",
  "model": "my-coder"
}

Expected performance: ~40 tok/s on an RTX 4060. Responsive tab completion and inline edits with 4K context.

配置方案 2：家庭版聊天机器人服务器（需 16 GB 显存，最低配置要求为 15）。

Hardware: 16 GB VRAM GPU (RTX 4080, 4070 Ti Super, or similar) Use case: Self-hosted ChatGPT-style interface for household use Backend: Ollama + Open WebUI + Tokios

通过 Ollama 启动一个 14B 类型的聊天模型。

ollama pull qwen2.5:14b

利用 Docker 运行 Open WebUI。

docker run -d \
  --name open-webui \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  --restart always \
  ghcr.io/open-webui/open-webui:main

打开 http://localhost:3000 控制台并创建管理员账户。

借助 Tokios 功能实现远程访问设置。

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

创建一个名为 family-chat 的部署实例并指向 qwen2.5:14b。为每位家庭成员分别生成专属 API 密钥，这种权限隔离机制便于单独收回特定用户的访问权限。

Expected performance: ~25 tok/s on an RTX 4080 with 8K context. Comfortable for multi-turn conversations.

建议为每位家庭成员分别生成独立的 API 密钥，如此操作即可单独禁用某位用户的访问权限，而不会影响其他成员的正常使用。

配置方案 3：团队专用 API 服务端点（需 48 GB 以上显存，最低配置要求为 30）。

Hardware: 48 GB+ VRAM (A6000, 2x RTX 4090, or A100) Use case: Shared model endpoint for a development team Backend: vLLM + Tokios

安装 vLLM 并启动 70B 模型

pip install vllm

vllm serve Qwen/Qwen2.5-72B-Instruct-AWQ \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization awq \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192

vllm serve Qwen/Qwen2.5-72B-Instruct-AWQ \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization awq \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192

确认服务器能够正常响应

curl http://127.0.0.1:8000/v1/models

安装 Tokios 连接器

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

将该连接器指向 http://127.0.0.1:8000/v1 模型即可。

完成部署注册并创建具备限定权限的 API 密钥

请先部署一个名为 team-70b 的实例。随后在 Keys 选项卡中，为每位团队成员分别创建 1 类型的 API 密钥。务必将各密钥的作用范围限定为 team-* 模式，如此一来团队成员便只能访问到共享的部署实例。

预期性能： 启用 AWQ 量化技术后，整体吞吐量可达约 30 令牌/秒。该配置可同时处理 3 至 5 个并发请求，且延迟仍在可接受范围内。

在配备 2 块 GPU 的硬件环境下，相较于单节点上的流水线并行技术，张量并行技术能显著提升模型解码效率。详情请参阅张量并行与流水线并行对比。

方案 4：构建文档问答系统，所需显存容量约为 24 GB，部署耗时约 45 分钟。

Hardware: 24 GB VRAM GPU (RTX 3090, 4090, or similar) Use case: Ask questions about your PDFs and documents without sending them to the cloud Backend: Ollama (embedding + chat) + custom RAG script + Tokios

下载嵌入计算模型以及 32B 类型的对话模型。

ollama pull nomic-embed-text
ollama pull qwen2.5:32b

该嵌入计算模型体积仅约 270 MB，可生成文档对应的向量表征。而 32B 模型则能基于这些向量数据准确回答各类相关问题。

构建一个简单的检索增强生成流程

import requests, json

EMBED_MODEL = "nomic-embed-text"
CHAT_MODEL  = "qwen2.5:32b"
OLLAMA_URL  = "http://127.0.0.1:11434"

def embed(text: str) -> list[float]:
    r = requests.post(f"{OLLAMA_URL}/api/embeddings",
                       json={"model": EMBED_MODEL, "prompt": text})
    return r.json()["embedding"]

def ask(question: str, context: str) -> str:
    prompt = f"Answer based on this context:\n\n{context}\n\nQuestion: {question}"
    r = requests.post(f"{OLLAMA_URL}/v1/chat/completions",
                       json={"model": CHAT_MODEL,
                             "messages": [{"role": "user", "content": prompt}],
                             "max_tokens": 512})
    return r.json()["choices"][0]["message"]["content"]

通过 Tokios 对外提供聊天模型服务

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

注册一个名为 doc-qa 的部署实例，并将其指向 qwen2.5:32b。这样一来，您的检索增强生成脚本便能从任意机器上通过 https://api.tokios.com/v1 调用该模型，同时嵌入计算过程仍在本地完成。

Expected performance: ~15 tok/s for the 32B model on an RTX 4090. Embedding is near-instant for short passages.

建议将嵌入模型保留在本地运行（该模型体积较小且运行迅速），仅通过 Tokios 对外提供聊天模型服务。如此便可避免将文档文本通过网络传输至远端进行嵌入计算。

配置方案 5：DGX Spark 的最高吞吐量设置（内存容量 128 GB，最短运行时间 20 分钟）

硬件配置： NVIDIA DGX Spark（具备 128 GB 的统一内存） 适用场景： 适用于需要处理大型混合专家模型的高吞吐量需求 后端技术： vLLM 与 Tokios 协同工作

Launch a 120B MoE model at FP8

vllm serve Qwen/Qwen3-235B-A22B-FP8 \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization fp8 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 16384 \
  --trust-remote-code

DGX Spark 所提供的 128 GB 统一内存足以满足那些需要 2 至 3 个消费级显卡才能运行的模型需求。以 Qwen3-235B-A22B 为代表的混合专家模型在每次生成令牌时仅激活约 22B 个参数，因此即便模型整体参数规模庞大，其推理速度依然十分迅速。

执行验证与性能基准测试

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-235B-A22B-FP8",
    "messages": [{"role": "user", "content": "Explain quantum entanglement"}],
    "max_tokens": 256
  }'

通过 Tokios 对外发布模型服务

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

注册一个名为 spark-moe 的部署实例。随后为所有需要访问该模型的客户端分别生成相应的 API 密钥。

预期性能： 在 DGX Spark 平台上，针对当前参数配置，预计生成速度约为 35 令牌/秒。16K 长度的上下文内容可轻松容纳在统一内存中。

如需了解详细的配置选项，请参阅 DGX Spark 上的 vLLM 部署指南以及 DGX Spark 内存调优说明。

方案 6：适合笔记本电脑使用的离线人工智能系统（需 16 GB 内存，最低配置要求为 5 GB）。

硬件要求： 任何配备 16 GB 内存的笔记本电脑即可运行（无需独立显卡）。应用场景： 无需联网即可使用的私密型人工智能助手。后端服务： Ollama（CPU 模式）。

请先安装 Ollama，随后下载经过量化处理的 7B 模型。

# macOS
curl -fsSL https://ollama.com/install.sh | sh

# Or download from https://ollama.com for Windows/Linux
ollama pull qwen2.5:7b-instruct-q4_K_M

采用 Q4_K_M 量化方式后，模型体积可控制在 5 GB 以内，因此即便仅有 16 GB 内存也能在 CPU 上顺利运行。

所有对话均在本地完成，全程无需联网。

ollama run qwen2.5:7b-instruct-q4_K_M

操作至此即告完成。该模型完全在您的笔记本电脑上运行，不会产生任何网络请求、数据收集行为，也无需输入任何 API 密钥。

如有需要，也可在联网状态下通过 Tokios 对外提供该模型服务。

当您处于联网状态且希望从其他设备访问该模型时：

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

请创建一个名为 laptop-offline 的部署实例。该连接器仅在网络连通时才会向外发起连接；一旦网络断开，您的模型仍可继续在本地正常运行。

预期性能： 在主流配置的笔记本电脑上，CPU 端的生成速度约为 5 令牌/秒。该性能足以满足日常对话与文本撰写需求，但尚不足以实现实时代码辅助功能。

若您的笔记本电脑搭载了 Apple 芯片，Ollama 会自动调用神经引擎与 Metal 技术，在 M 系列芯片上您可期待获得 20 至 30 个令牌/秒的处理速度。

配置方案 7：多模型路由机制（需具备 24 GB 以上的显存，部署耗时约 30 分钟）

Hardware: 24 GB+ VRAM GPU Use case: Serve 3 models of different sizes through 1 Tokios endpoint Backend: Ollama or vLLM + Tokios with config file

下载不同规模的 3 个模型。

ollama pull qwen2.5:3b     # fast-small: quick classification
ollama pull qwen2.5:14b    # medium: general chat
ollama pull qwen2.5:32b    # large: complex reasoning

创建多路由连接器配置文件。

创建 tokios-connector.json：

{
  "Routes": [
    { "Deployment": "fast-small", "Upstream": "local-ollama" },
    { "Deployment": "medium",     "Upstream": "local-ollama" },
    { "Deployment": "large",      "Upstream": "local-ollama" }
  ],
  "Upstreams": {
    "local-ollama": {
      "BaseUrl": "http://127.0.0.1:11434/v1"
    }
  }
}

在控制台内注册所有 3 个部署实例。

进入 Models 选项卡后执行注册操作：

填写部署名称。	输入上游模型 ID。
`fast-small`	`qwen2.5:3b`
`medium`	`qwen2.5:14b`
`large`	`qwen2.5:32b`

通过发送模型字段值实现路由控制。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

# Fast classification
client.chat.completions.create(
    model="fast-small",
    messages=[{"role": "user", "content": "Is this email spam? ..."}],
)

# Complex reasoning
client.chat.completions.create(
    model="large",
    messages=[{"role": "user", "content": "Analyze this contract clause..."}],
)

Expected performance: The 3B model responds in under 1 second. The 32B model takes 2–3 seconds for the first token but produces higher-quality output. Same endpoint, same key, different model field.

默认情况下，Ollama 每次仅在显存中保留 1 个模型，并根据需求进行切换。若需同时加载全部 3 个模型，则需运行多个独立后端，或借助带有 LoRA 适配器的 vLLM。详情请参阅模型路由。

示例 8：对您的部署环境进行基准测试（适用于任意硬件，耗时至少 10）。

硬件要求： 任何能够运行本地模型的 GPU 或 CPU即可。 应用场景： 对比不同模型、量化方式或硬件配置下的吞吐量与延迟表现。 后端选择： 任意后端均可，搭配 Tokios 使用效果更佳。

启动您的模型服务器。

任选任意后端即可——Ollama、vLLM、llama.cpp 或 LM Studio均可。确认该后端能在指定的 /v1 端点正常响应。

执行吞吐量基准测试。

# Simple throughput test with curl and timing
for i in 1 2 3 4 5; do
  time curl -s http://127.0.0.1:11434/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
      "model": "qwen2.5:7b",
      "messages": [{"role": "user", "content": "Write a 200-word essay about recursion"}],
      "max_tokens": 256,
      "stream": false
    }' | python3 -c "
import sys, json
r = json.load(sys.stdin)
u = r['usage']
print(f\"Tokens: {u['completion_tokens']}, Time: check wall clock\")
"
done

通过 Tokios 执行基准测试，以测定端到端延迟数值。

# Same test through the Tokios endpoint
time curl -s https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "my-deployment",
    "messages": [{"role": "user", "content": "Write a 200-word essay about recursion"}],
    "max_tokens": 256,
    "stream": false
  }' | python3 -c "
import sys, json
r = json.load(sys.stdin)
u = r['usage']
print(f\"Tokens: {u['completion_tokens']}\")
"

对比不同量化方式的效果。

下载同一模型的不同量化版本并分别进行测试：

ollama pull qwen2.5:7b-instruct-q4_K_M
ollama pull qwen2.5:7b-instruct-q5_K_M
ollama pull qwen2.5:7b-instruct-q8_0

向各版本模型发送相同提示词后，对比每秒生成的令牌数量。通常情况下，Q5_K_M量化方式能在 7B 条件下实现质量与速度的最佳平衡。

预期结果： 该隧道机制会使每次请求产生的延迟增加 50 至 150 毫秒（即往返 Tokios 网关的延迟为 1 毫秒）。流式传输的吞吐量几乎与本地运行时一致——该隧道机制不会对 SSE 数据流进行缓存处理。

如需更系统化的基准测试方案，请参阅对您的部署环境进行基准测试。

案例研究

各类团队与个人在本地部署模型时的实际部署模式。

选择本地模型

依据自身硬件条件与工作流程挑选合适的模型及量化方式。

模型路由

注册多个部署实例，只需修改模型字段即可切换不同模型。

快速入门

按步骤操作即可顺利创建连接器、完成部署并获取所需的 API 密钥。

入门

模型

概念

参考

本地大语言模型配置指南

后续步骤

案例研究

选择本地模型

模型路由

快速入门

​后续步骤

案例研究

选择本地模型

模型路由

快速入门

后续步骤