Passer au contenu principal
Langfuse fournit un remplaçant direct pour le SDK OpenAI — from langfuse.openai import openai — ce qui permet d’obtenir un suivi complet des appels en procédant à cette importation au lieu de openai et en indiquant base_url comme cible vers https://api.tokios.com/v1 en utilisant une clé sk-tok-…. Comme ce wrapper reproduit l’interface du client OpenAI, tout ce que vous envoyez déjà à Tokios (complétions de chat, flux de données, appels d’outils) est suivi sans autre modification que l’importation et l’adresse de base.

​
Prérequis

Un compte Langfuse ou une instance auto-hébergée

Inscrivez-vous au service Langfuse Cloud ou installez une instance auto-hébergée puis récupérez votre paire de clés publique et secrète Langfuse.

Installez le connecteur

Associez tokios-connector à votre backend local.

Enregistrez un déploiement

Choisissez le nom public que le champ model utilisera.

Générez une clé API

Générez une clé API sk-tok-… limitée aux déploiements dont vous avez besoin.

​
Suivez les appels effectués

1

Installez les deux SDK

2

Indiquez vos identifiants Langfuse

Le wrapper OpenAI de Langfuse lit ces identifiants depuis l’environnement :
Définissez LANGFUSE_HOST comme l’URL de votre instance auto-hébergée si vous ne utilisez pas Langfuse Cloud.
3

Importez le wrapper puis appelez votre déploiement

Importez openai depuis langfuse.openai au lieu du paquet openai classique, puis utilisez-le exactement comme le client OpenAI standard, en indiquant base_url comme cible Tokios et model comme nom de déploiement enregistré :
langfuse_tokios.py
Chaque appel effectué via ce client est tracé dans Langfuse — il n’est pas nécessaire d’utiliser de décorateur @observe ni de créer manuellement un span pour chaque appel.
model correspond toujours au nom de déploiement Tokios que vous avez enregistré dans l’onglet Models, jamais à l’ID de modèle local de votre backend ; l’URL de base doit contenir /v1.

​
Suivi des coûts pour les modèles locaux

Langfuse calcule les coûts en se basant sur le prix par jeton des modèles, information disponible pour les fournisseurs hébergés tels qu’OpenAI et Anthropic. Un déploiement Tokios sert d’intermédiaire pour votre modèle local, si bien que Langfuse ne dispose pas de tarif prédéfini pour celui-ci. Les traces enregistrent néanmoins les invites, les réponses, la latence et le nombre de jetons, mais le coût pourrait afficher zéro ou rester non renseigné tant que vous n’aurez pas indiqué à Langfuse le prix de ce modèle.
Pour résoudre ce problème, définissez un modèle personnalisé dans les paramètres de modèle de Langfuse qui corresponde au nom de déploiement que vous transmettez en tant que model, puis indiquez un prix par jeton — un montant de $0 suffit si vous souhaitez simplement suivre l’utilisation sans imposer de coût réel. Les étapes exactes peuvent varier selon les versions de Langfuse ; il convient donc de consulter la documentation relative à la tarification des modèles pour connaître la procédure actuelle avant d’utiliser ces chiffres.

​
Il est désormais possible de tracer les requêtes depuis n’importe quel endroit.

La configuration de traçage décrite ci-dessus fonctionne de la même manière que le client Tokios se trouve sur votre ordinateur ou sur celui d’un collègue ; le connecteur ne se connecte en effet qu’à partir de votre serveur local. Dès qu’un collègue ou un agent déployé dispose d’une clé API sk-tok-… à portée limitée, ses appels effectués via le même wrapper langfuse.openai sont enregistrés dans le même projet Langfuse.

Clients compatibles

Vous trouverez ici la liste complète des clients compatibles avec OpenAI et Anthropic avec lesquels Tokios peut être utilisé.

Clés API

Il est conseillé de créer une clé API distincte à portée limitée pour chaque membre de l’équipe ou chaque agent.

Journalisation des requêtes

Si vous souhaitez uniquement consulter le contenu des requêtes envoyées, activez la journalisation des requêtes depuis le tableau de bord au lieu de mettre en place un système de traçage.