from langfuse.openai import openai——您只需导入该组件而非 openai,并将 base_url 参数设置为指向 https://api.tokios.com/v1,同时填入 sk-tok-… 类型的 API 密钥即可实现调用追踪。由于该封装层与 OpenAI 客户端接口完全一致,因此除了修改导入语句与基础 URL 外,您原本发送给 Tokios 的请求内容(如聊天补全、流式响应及工具调用等)均无需改动即可被完整记录。
前置条件
拥有 Langfuse 账户或自行部署实例
您可注册 Langfuse 云服务或自行搭建部署环境,随后获取对应的 Langfuse 公开及私密 API 密钥。
安装连接器
将
tokios-connector 与您的本地后端服务进行关联配置。创建部署实例
为
model 字段指定一个便于识别的公开名称。生成 API 密钥
生成一个
sk-tok-… 令牌,并将其作用范围限定在所需的部署环境中。调用追踪功能
1
将两个 SDK 均安装至系统中
2
设置 Langfuse 所需的 API 密钥
Langfuse 的 OpenAI 封装程序会从环境变量中读取相应的令牌信息。
3
导入该封装程序后即可调用对应的部署服务。
导入 通过此客户端发起的所有调用均会被 Langfuse 记录,调用过程中无需额外添加
openai(从 langfuse.openai 中),而非直接导入 openai 包,然后按照标准 OpenAI 客户端的方式使用,将 base_url 指向 Tokios,并将 model 设置为您已注册的部署名称:langfuse_tokios.py
@observe 装饰器或手动创建追踪跨度。model 始终是您在中注册的 Tokios 部署名称 Models 选项卡,而不是您后端的本地模型 ID,且基础 URL 必须包含 /v1。本地模型的成本统计方法
Langfuse 会根据各模型的单位令牌价格来计算成本,这些信息对于 OpenAI 与 Anthropic 等托管服务而言是已知的。由于 Tokios 部署的是用户自行维护的本地模型,Langfuse 并无该模型的预设价格数据;不过调用记录中仍会包含提示内容、生成结果、响应延迟及令牌总数等信息。只有在您向 Langfuse 提供该模型的具体定价信息后,成本数值才会被准确统计出来。现在可随时进行追踪操作
无论调用 Tokios 的客户端位于您本人的笔记本电脑还是同事的电脑上,上述追踪配置均可正常生效,且该连接器始终仅从您本地的后端向外发起请求。一旦同事或已部署的智能体获取了权限受限的sk-tok-… 令牌,他们通过同一 langfuse.openai 包装器发出的调用信息便会统一汇总至同一个 Langfuse 项目中。
兼容的客户端
此处列出了所有与 Tokios 兼容的 OpenAI 及 Anthropic 相关客户端。
API 密钥
请为每位同事或智能体分别创建具备特定权限范围的密钥。
请求日志记录
若仅需查看已发送的请求内容,直接在控制台开启请求日志记录功能即可,无需额外搭建追踪系统。