メインコンテンツへスキップ
Langfuse ships a drop-in replacement for the OpenAI SDK — from langfuse.openai import openai — so you get full call tracing by importing that instead of openai and pointing base_url at https://api.tokios.com/v1 with an sk-tok-… key. Because the wrapper mirrors the OpenAI client’s interface, anything you already send to Tokios (chat completions, streaming, tool calls) gets traced with no change beyond the import and the base URL.

前提条件

Langfuseアカウントまたは自己ホスティング環境

Langfuse Cloudに登録するか自己ホスティング版を導入し、Langfuseのパブリックキーおよびシークレットキーのペアを取得する。

コネクターのインストール

Pair tokios-connector with your local backend.

デプロイ先の登録

Choose the public name your model field will use.

APIキーの作成

必要なデプロイに限定して sk-tok-… APIキーを生成してください。

呼び出し内容の追跡が可能です

1

両方のSDKをインストールしてください

2

自身のLangfuse認証情報を設定してください

LangfuseのOpenAIラッパーは環境変数から認証情報を読み取ります:
Langfuse Cloudを利用していない場合は、自身でホストしているインスタンスのURLを LANGFUSE_HOST に設定してください。
3

ラッパーをインポートした上で、ご希望のデプロイを呼び出してください

Import openai from langfuse.openai instead of the plain openai package, then use it exactly like the standard OpenAI client, with base_url pointed at Tokios and model set to your registered deployment name:
langfuse_tokios.py
このクライアント経由のすべての呼び出しがLangfuseで追跡されます。呼び出し自体に @observe デコレーターや手動でのスパン設定は不要です。
model is always the Tokios deployment name you registered in the Models tab, never your backend’s local model id, and the base URL must include /v1.

ローカルモデルにおけるコスト追跡について

LangfuseはOpenAIやAnthropicといったホスティング型プロバイダーの場合、各モデルのトークン単価を基にコストを算出します。しかしTokiosデプロイは自身のローカルモデルを前面に表示するため、Langfuseには既定の価格情報が存在しません。それでもトレースデータにはプロンプトや応答内容、レイテンシ、トークン数が記録されますが、モデルの価格設定を明示しない限りコストはゼロまたは未記載となる可能性があります。
この問題を解決するには、Langfuseのモデル設定で model として送信されるデプロイ名に合致するカスタムモデルを定義し、トークン単価を設定してください。費用計算のみを目的とする場合は、金額を $0 と設定しておけばよいでしょう。具体的な手順はLangfuseのバージョンによって異なるため、費用情報を利用する前に必ず公式のモデル価格設定ドキュメントをご確認ください。

どこからでもトレーシングを実行可能

上記のトレーシング設定は、Tokiosを呼び出すクライアントが自分のノートパソコン上にあってもチームメイトのマシン上にあっても同様に機能します。コネクターは常にローカルのバックエンドからのみ通信を行います。チームメイトやデプロイ済みのエージェントが適切な範囲で制限された sk-tok-… APIキーを取得すれば、同じ langfuse.openai ラッパー経由の呼び出しも同一のLangfuseプロジェクトに記録されます。

互換性のあるクライアント

Tokiosが対応するOpenAIおよびAnthropic互換のクライアント一覧をご覧ください。

APIキー

チームメイトやエージェントごとに個別の範囲限定型APIキーを作成しましょう。

リクエストログ

送信内容を確認するだけでよい場合は、トレーシング環境を構築する代わりにダッシュボードでリクエストログ機能を有効化してください。