Verfolgen Sie Aufrufe Ihres lokalen Modells mithilfe von Langfuse

Langfuse stellt ein Ersatzmodul für das OpenAI SDK bereit – from langfuse.openai import openai – sodass Sie durch dessen Verwendung anstelle von openai vollständige Aufrufprotokolle erhalten. Richten Sie dabei base_url auf https://api.tokios.com/v1 aus und nutzen Sie einen sk-tok-…-Schlüssel. Da das Modul die Schnittstelle des OpenAI-Clients exakt nachbildet, werden sämtliche bisher an Tokios gesendeten Anfragen – etwa Chat-Antworten, Streaming-Daten oder Werkruf-Informationen – ohne weitere Anpassungen erfasst.

Voraussetzungen

Ein Langfuse-Konto oder eine selbst gehostete Instanz

Registrieren Sie sich bei Langfuse Cloud oder betreiben Sie eine eigene Instanz und holen Sie sich Ihr öffentliches sowie geheimes Langfuse-API-Schlüsselpaar.

Installieren Sie den Connector

Verknüpfen Sie tokios-connector mit Ihrer lokalen Backend-Instanz.

Erstellen Sie eine Deployment

Wählen Sie den öffentlichen Namen, den das model-Feld später erhalten soll.

Generieren Sie einen API-Schlüssel

Erzeugen Sie einen sk-tok-…-API-Schlüssel, der auf die gewünschten Deployments beschränkt ist.

Aufrufe nachverfolgen

Beide SDKs installieren

pip install langfuse openai

Geben Sie Ihre Langfuse-Anmeldeinformationen ein.

Der OpenAI-Wrapper von Langfuse liest die Anmeldeinformationen aus der Umgebung:

export LANGFUSE_PUBLIC_KEY="pk-lf-YOUR_PUBLIC_KEY"
export LANGFUSE_SECRET_KEY="sk-lf-YOUR_SECRET_KEY"
export LANGFUSE_HOST="https://cloud.langfuse.com"

Falls Sie nicht Langfuse Cloud nutzen, setzen Sie LANGFUSE_HOST auf die URL Ihrer eigenen Instanz.

Importieren Sie den Wrapper und rufen Sie anschließend Ihr Deployment auf.

Importieren Sie openai aus langfuse.openai statt aus dem regulären openai-Paket; verwenden Sie ihn danach genauso wie den Standard-OpenAI-Client, wobei base_url auf Tokios verweist und model den Namen Ihres registrierten Deployments enthält:

langfuse_tokios.py

from langfuse.openai import openai

client = openai.OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="gemma-tunnel",
    messages=[{"role": "user", "content": "Summarize this code: print('hello')"}],
)

print(response.choices[0].message.content)

Jeder Aufruf über diesen Client wird in Langfuse erfasst – dafür ist kein @observe-Dekorator oder manuelles Erstellen eines Spans erforderlich.

model is always the Tokios deployment name you registered in the Models tab, never your backend’s local model id, and the base URL must include /v1.

Kostenüberwachung für lokale Modelle

Langfuse berechnet Kosten anhand des Preises pro Token; diese Information ist für gehostete Anbieter wie OpenAI und Anthropic bekannt. Da ein Tokios-Deployment Ihr eigenes lokales Modell verwendet, kennt Langfuse dessen Preis nicht von vornherein. Dennoch werden Prompts, Antworten, Latenzzeiten sowie Tokenanzahlen erfasst; die Kostenangaben bleiben jedoch bis zur Angabe des Preises bei Null oder fehlen.

Um dieses Problem zu beheben, legen Sie in den Modell-Einstellungen von Langfuse ein benutzerdefiniertes Modell an, das mit dem als model übergebenen Deployment-Namen übereinstimmt, und geben Sie anschließend einen Preis pro Token an – falls lediglich die Nutzung erfasst werden soll, ohne dass Kosten entstehen, setzen Sie einen Wert von $0. Die genauen Schritte können je nach Langfuse-Version variieren; prüfen Sie daher vor der Verwendung der Kostenangaben stets die aktuelle Dokumentation zu Modellpreisen bei Langfuse.

Ab jetzt lässt sich die Verfolgung von überall aus starten.

Die oben beschriebene Tracing-Konfiguration funktioniert unabhängig davon, ob der Client, der Tokios aufruft, auf Ihrem Laptop oder auf dem Rechner eines Teammitglieds läuft – der Connector sendet die Daten stets nur über Ihr lokales Backend. Sobald ein Teammitglied oder ein bereitgestellter Agent über einen zielgerichteten sk-tok-…-API-Schlüssel verfügt, gelangen alle Anfragen über denselben langfuse.openai-Wrapper in dasselbe Langfuse-Projekt.

Kompatible Clients

Hier finden Sie die vollständige Liste der mit OpenAI und Anthropic kompatiblen Clients, mit denen Tokios zusammenarbeitet.

API-Schlüssel

Erstellen Sie für jedes Teammitglied bzw. jeden Agenten einen separaten, zielgerichteten API-Schlüssel.

Anfragen-Protokollierung

Falls lediglich die gesendeten Daten betrachtet werden sollen, aktivieren Sie die Anfragen-Protokollierung im Dashboard, anstatt ein komplettes Tracing-System einzurichten.

Hardware und Kompatibilität

Runtime bereitstellen und verbinden

Client oder App verbinden

Vergleich

Verfolgen Sie Aufrufe Ihres lokalen Modells mithilfe von Langfuse

Voraussetzungen

Ein Langfuse-Konto oder eine selbst gehostete Instanz

Installieren Sie den Connector

Erstellen Sie eine Deployment

Generieren Sie einen API-Schlüssel

Aufrufe nachverfolgen

Kostenüberwachung für lokale Modelle

Ab jetzt lässt sich die Verfolgung von überall aus starten.

Kompatible Clients

API-Schlüssel

Anfragen-Protokollierung

​Voraussetzungen

Ein Langfuse-Konto oder eine selbst gehostete Instanz

Installieren Sie den Connector

Erstellen Sie eine Deployment

Generieren Sie einen API-Schlüssel

​Aufrufe nachverfolgen

​Kostenüberwachung für lokale Modelle

​Ab jetzt lässt sich die Verfolgung von überall aus starten.

Kompatible Clients

API-Schlüssel

Anfragen-Protokollierung

Voraussetzungen

Aufrufe nachverfolgen

Kostenüberwachung für lokale Modelle

Ab jetzt lässt sich die Verfolgung von überall aus starten.