跳转到主要内容
Langfuse 提供了 OpenAI SDK 的替代组件——from langfuse.openai import openai——您只需导入该组件而非 openai,并将 base_url 参数设置为指向 https://api.tokios.com/v1,同时填入 sk-tok-… 类型的 API 密钥即可实现调用追踪。由于该封装层与 OpenAI 客户端接口完全一致,因此除了修改导入语句与基础 URL 外,您原本发送给 Tokios 的请求内容(如聊天补全、流式响应及工具调用等)均无需改动即可被完整记录。

前置条件

拥有 Langfuse 账户或自行部署实例

您可注册 Langfuse 云服务或自行搭建部署环境,随后获取对应的 Langfuse 公开及私密 API 密钥。

安装连接器

将 tokios-connector 与您的本地后端服务进行关联配置。

创建部署实例

为 model 字段指定一个便于识别的公开名称。

生成 API 密钥

生成一个 sk-tok-… 令牌,并将其作用范围限定在所需的部署环境中。

调用追踪功能

1

将两个 SDK 均安装至系统中

2

设置 Langfuse 所需的 API 密钥

Langfuse 的 OpenAI 封装程序会从环境变量中读取相应的令牌信息。
若未使用 Langfuse Cloud 服务,请将 LANGFUSE_HOST 的值设为您自建实例的访问地址。
3

导入该封装程序后即可调用对应的部署服务。

导入 openai(从 langfuse.openai 中),而非直接导入 openai 包,然后按照标准 OpenAI 客户端的方式使用,将 base_url 指向 Tokios,并将 model 设置为您已注册的部署名称:
langfuse_tokios.py
通过此客户端发起的所有调用均会被 Langfuse 记录,调用过程中无需额外添加 @observe 装饰器或手动创建追踪跨度。
model 始终是您在中注册的 Tokios 部署名称 Models 选项卡,而不是您后端的本地模型 ID,且基础 URL 必须包含 /v1。

本地模型的成本统计方法

Langfuse 会根据各模型的单位令牌价格来计算成本,这些信息对于 OpenAI 与 Anthropic 等托管服务而言是已知的。由于 Tokios 部署的是用户自行维护的本地模型,Langfuse 并无该模型的预设价格数据;不过调用记录中仍会包含提示内容、生成结果、响应延迟及令牌总数等信息。只有在您向 Langfuse 提供该模型的具体定价信息后,成本数值才会被准确统计出来。
要解决此问题,请在 Langfuse 的模型设置中定义一个自定义模型,使其与您作为 model 参数发送的部署名称相匹配,并设定每令牌的价格;若仅需记录使用情况而不产生费用,则可将价格设为 $0。由于 Langfuse 各版本的操作步骤可能有所差异,在依据相关费用数据行事前,请务必查阅 Langfuse 官方发布的模型定价说明以确认当前流程。

现在可随时进行追踪操作

无论调用 Tokios 的客户端位于您本人的笔记本电脑还是同事的电脑上,上述追踪配置均可正常生效,且该连接器始终仅从您本地的后端向外发起请求。一旦同事或已部署的智能体获取了权限受限的 sk-tok-… 令牌,他们通过同一 langfuse.openai 包装器发出的调用信息便会统一汇总至同一个 Langfuse 项目中。

兼容的客户端

此处列出了所有与 Tokios 兼容的 OpenAI 及 Anthropic 相关客户端。

API 密钥

请为每位同事或智能体分别创建具备特定权限范围的密钥。

请求日志记录

若仅需查看已发送的请求内容,直接在控制台开启请求日志记录功能即可,无需额外搭建追踪系统。