LangChain、LlamaIndex 以及 Vercel AI SDK 中的本地模型

这四种框架均允许您为其 OpenAI 服务配置自定义的与 OpenAI 兼容的基础 URL，这正是集成的关键点。将该 URL 设为 https://api.tokios.com/v1，同时提供 sk-tok-… 类型的 API 密钥，并将 model 设置为您已注册的部署名称（例如 gemma-tunnel），而非本地后端所使用的上游模型 ID。如果您曾运行过无需 API 密钥的本地服务器，想必输入过类似 "not-needed" 的临时字符串以满足客户端对 API 密钥字段的要求；而在 Tokios 中，该字段则需填写真正可撤销的有效密钥。

前置条件

安装连接器

将 tokios-connector 与您的本地后端进行配对。

注册部署信息

选定 model 字段所使用的公开名称。

创建 API 密钥

生成一个 sk-tok-… 类型的 API 密钥，并将其权限限定于您所需的部署范围。

受支持的后端服务

确认 Ollama、llama.cpp、vLLM 或 LM Studio 均已正确配置为上游模型。

配置您所使用的框架

LangChain
LlamaIndex
Vercel AI SDK
Pydantic AI

LangChain 的 ChatOpenAI 类需要接收一个 base_url 参数以及一个 api_key 参数，这与其所封装的 OpenAI SDK 的要求一致。

langchain_tokios.py

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
    model="gemma-tunnel",
)

print(llm.invoke("Summarize this code: print('hello')").content)

LlamaIndex 通过 OpenAILike 与兼容 OpenAI 协议的服务器进行通信。该模块封装了 OpenAI 客户端，但默认配置针对的是普通本地服务器而非具备对话能力的模型。若您的部署环境支持对话与工具调用，请务必显式设置 is_chat_model 与 is_function_calling_model 参数；同时设置 context_window 以匹配您的模型特性。否则 LlamaIndex 将采用保守的默认配置（即 is_chat_model=False 与较小的 context_window 值），这会导致性能下降且不易察觉。不同版本的 LlamaIndex 其默认值可能有所差异，请务必对照您实际使用的版本加以确认。

llamaindex_tokios.py

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
    model="gemma-tunnel",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=8192,
)

print(llm.complete("Summarize this code: print('hello')"))

The @ai-sdk/openai-compatible package’s createOpenAICompatible builds a provider from any OpenAI-compatible base URL, then you call it like the built-in OpenAI provider:

vercel-ai-tokios.ts

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const tokios = createOpenAICompatible({
  name: 'tokios',
  baseURL: 'https://api.tokios.com/v1',
  apiKey: process.env.TOKIOS_API_KEY,
});

const { text } = await generateText({
  model: tokios('gemma-tunnel'),
  prompt: "Summarize this code: print('hello')",
});

console.log(text);

建议在环境变量中设置 TOKIOS_API_KEY 参数，而不要将 sk-tok-… 密钥直接硬编码在代码中。

Pydantic AI 的 OpenAIProvider 函数允许传入自定义的 base_url 参数，而 OpenAIChatModel 函数则利用该提供者及您的部署名称来完成配置。

pydantic_ai_tokios.py

from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "gemma-tunnel",
    provider=OpenAIProvider(
        base_url="https://api.tokios.com/v1",
        api_key="sk-tok-YOUR_KEY",
    ),
)

Across all four frameworks, model is always the Tokios deployment name you registered in the Models tab — never the local model id your backend serves — and the base URL must include /v1. Omitting /v1 is the most common misconfiguration when adapting a snippet from a different OpenAI-compatible provider.

常见问题解答

为何 LlamaIndex 需要显式设置 is_chat_model 与 is_function_calling_model 这两个参数？

OpenAILike 是一个通用型封装器，适用于那些行为未必与 OpenAI 聊天模型一致的兼容服务器，因此不会默认假定其具备聊天或函数调用功能。请依据您所安装的 LlamaIndex 版本确认这两个参数的默认值，并依据实际部署环境的需求进行显式设置。

我是否仍需填写一个虚拟的 API 密钥值？

无需如此。针对本地运行且无需密钥的服务器所设计的框架往往要求提供占位符字符串，因为该字段虽为必填项却不会经过校验。而 Tokios 提供的则是真正的 sk-tok-… 令牌——这些令牌均可在 Keys 页面中创建、限定权限范围或予以撤销，因此该 API 密钥字段承担着实际身份验证的功能，而非仅满足客户端的校验需求。

这些框架是否支持流式传输功能？

完全支持。当请求中设置了 "stream": true 参数后，Tokios 会返回符合 OpenAI 规范的标准 SSE 数据流，因此各框架自带的流式传输机制——例如 LangChain 的 .stream() 模块或 Vercel AI SDK 的 streamText 功能——均可像直接对接 OpenAI 服务时那样顺畅运行。

现在可从任意位置调用服务

您后端服务仍运行在 localhost 上，该连接器仅负责向外发起连接请求，上述配置并不会改变这一状态。真正发生的变化在于访问权限：一旦团队成员或已部署的智能体获取了具备特定权限范围的 sk-tok-… 令牌，原本在您本地机器上可正常运作的 LangChain、LlamaIndex、Vercel AI SDK 或 Pydantic AI 代码即可在对方环境中顺利执行。

兼容的客户端

此处列出了所有与 Tokios 兼容的 OpenAI 及 Anthropic 协议客户端。

API 密钥

为每位团队成员或代理分别创建一个独立的限定范围令牌。

硬件与适配

服务与连接运行时

连接客户端或应用

对比

LangChain、LlamaIndex 以及 Vercel AI SDK 中的本地模型

前置条件

安装连接器

注册部署信息

创建 API 密钥

受支持的后端服务

配置您所使用的框架

常见问题解答

现在可从任意位置调用服务

兼容的客户端

API 密钥

​前置条件

安装连接器

注册部署信息

创建 API 密钥

受支持的后端服务

​配置您所使用的框架

​常见问题解答

​现在可从任意位置调用服务

兼容的客户端

API 密钥

前置条件

配置您所使用的框架

常见问题解答

现在可从任意位置调用服务