Skip to main content
Standardmäßig speichert Tokios weder Anfrage- noch Antwortinhalte. Das Anfragen-Log verzeichnet die Anzahl der Tokens, die Verzögerung, den Status sowie eine Korrelations-ID pro Aufruf – genug Informationen, um die Nutzung zu überblicken, aber nicht genug, um den Inhalt der Anfragen zu erkennen. Mit Anfragen-Logging lässt sich dies für jeweils einen 1-Arbeitsbereich anpassen: Sobald ein Administrator dieses Feature aktiviert, speichert Tokios auch den Inhalt jeder API-Anfrage, sodass Sie ihn später einsehen können. Nutzen Sie diese Funktion, um zu prüfen, welche Daten ein Coding-Agent tatsächlich sendet, um System-Prompts sowie Tool-Definitionen zu analysieren oder um Berichte von Teammitgliedern über fehlerhafte Antworten zu überprüfen. Sie bleibt deaktiviert, bis Sie sie aktivieren.
Coding-Agents übermitteln bei jedem Schritt die gesamte Konversation erneut; Tool-Ergebnisse enthalten Dateiinhalte sowie Befehlsausgaben. Bei aktiviertem Anfrage-Protokoll können gespeicherte Prompts auch Ihren Quellcode sowie alle vom Agenten gelesenen Daten umfassen. Behandeln Sie diese Informationen als vertraulich und informieren Sie alle Personen, die Zugriff auf die API-Schlüssel Ihres Arbeitsbereichs haben.

​
Was gespeichert wird

Für jede Anfrage an /v1/chat/completions, /v1/messages oder /v1/responses, die Ihr Modell erreicht, speichert Tokios Folgendes:
  • Den Anfrage-Inhalt so, wie ihn der Client gesendet hat, in dessen eigenem Format (OpenAI Chat Completions, Anthropic Messages oder OpenAI Responses), bevor Tokios ihn für Ihr Backend umwandelt.
  • Den öffentlichen Modellnamen, den verwendeten API-Schlüssel, den Endpunkt, den endgültigen HTTP-Status sowie die Korrelations-ID (cid), die ebenfalls im Anfrage-Protokoll erscheint.
Vor dem Speichern bereinigt Tokios den Inhalt: Tokios speichert niemals Antwortinhalte. Ebenso werden Anfragen, die aufgrund eines ungültigen API-Schlüssels, einer Rate-Limit-Überschreitung oder eines unbekannten Modells abgelehnt wurden, sowie Anfragen aus dem Playground- und Gesundheitscheck-Bereich der Dashboard nicht gespeichert.

​
Aktivieren Sie diese Funktion.

1

Öffnen Sie die Einstellungen.

Im Dashboard öffnen Sie Settings. Nur ein Workspace-Administrator kann das Protokollieren von Anfragen ändern; Mitglieder können lediglich erkennen, ob es aktiv ist.
2

Aktivieren Sie das Protokollieren von Anfragen.

Aktivieren Sie die Option Request logging und bestätigen Sie die Einstellung. Die Speicherung beginnt ab dem nächsten eingehenden Request – es ist kein Neustart Ihres Connectors oder der Clients erforderlich.
3

Ein gespeicherten Prompt abrufen

Öffnen Sie die Registerkarte Requests. Eine Benachrichtigung bestätigt, dass die Request-Logging-Funktion aktiv ist. Klicken Sie auf einen beliebigen Request und scrollen Sie zu Prompt, um den gespeicherten Inhalt zu lesen, zu kopieren sowie zu prüfen, ob er gekürzt wurde, ob Anhänge entfernt wurden oder sensible Daten maskiert sind.
Settings zeigt an, wer die Anfrageprotokollierung aktiviert hat und wann dies geschah. Falls Tokios diese Funktion im Rahmen eines Support-Falls für Sie aktiviert, wird in der Zeile der zuständige Operator aufgeführt.

​
Wer darf gespeicherte Prompts lesen?

  • Workspace-Administratoren können alle im Workspace gespeicherten Prompts einsehen.
  • Mitglieder erhalten Zugriff nur auf Prompts, die mittels ihrer eigenen API-Schlüssel gesendet wurden.
  • Personen, mit denen Sie einen API-Schlüssel teilen, erhalten auf ihrer Nutzungsseite eine Mitteilung, dass das Request-Logging aktiv ist. Sie können die entsprechenden Prompts nur dann einsehen, wenn Sie dies für den jeweiligen Schlüssel erlauben – siehe dazu Ermöglichen, dass Schlüsselinhaber eigene Prompts lesen.
  • Tokios kann gespeicherte Prompts nicht über das Produkt abrufen. Diese werden bei der Speicherung verschlüsselt; die eigenen Werkzeuge von Tokios geben lediglich an, dass das Protokollieren aktiv ist und wie viel Daten gespeichert wurden.

​
Ermöglichen, dass Schlüsselinhaber eigene Prompts lesen

Die Nutzungsseite unter tokios.com/usage nutzt den API-Schlüssel zur Authentifizierung. Ein Schlüssel, der zum Lesen von Prompts berechtigt, wandelt einen kompromittierten Schlüssel in eine Quelle für Prompts der letzten 7 Tage um – nicht bloß zu Nutzungsstatistiken. Aus diesem Grund ist das Lesen von Prompts für alle Schlüssel standardmäßig deaktiviert; Sie müssen es pro Schlüssel einzeln aktivieren, und zwar jeweils für 1 Schlüssel.
  • Beim Teilen eines API-Schlüssels: Im Dialogfeld API-Schlüssel per E-Mail teilen aktivieren Sie unter der Option zur Sichtbarkeit der Nutzungsdaten das Kontrollkästchen Ermöglichen, dass sie dort ebenfalls gespeicherte Prompts lesen.
  • Für einen bestehenden API-Schlüssel: Wechseln Sie auf dem Keys-Reiter, bearbeiten Sie den Schlüssel, aktivieren Sie „Jeder, der diesen Schlüssel besitzt, darf dort auch gespeicherte Prompt-Informationen lesen“ und speichern Sie die Einstellungen.
Anschließend kann der Berechtigte auf seiner Nutzungsseite eine Anfrage öffnen und deren Inhalt unter Prompt einsehen – ausschließlich Anfragen, die mit diesem Schlüssel gesendet wurden. Deaktiviert man die Option, wird der Zugriff sofort entzogen; zum Lesen muss Let them check this key’s usage ebenfalls aktiv bleiben, da die Abfrage auf dieser Seite erfolgt.

​
Aufbewahrung und Löschung

  • Jeder gespeicherte Prompt wird nach 7 Tagen automatisch gelöscht.
  • Ein Arbeitsbereich kann etwa 1 GB an gespeicherten Prompt-Informationen aufnehmen; danach werden zuerst die ältesten Einträge entfernt.
  • Wird das Protokollieren von Anfragen deaktiviert, werden keine neuen Einträge mehr gespeichert; bereits vorhandene bleiben bis zu ihrem Ablaufdatum erhalten.
  • Um sämtliche gespeicherte Prompt-Informationen sofort zu entfernen, klicken Sie auf „Alle gespeicherten Prompt-Informationen löschen“ in Settings. Dieser Vorgang ist nicht rückgängig zu machen.

​
Wann Sie es nicht benötigen

Falls Sie detaillierte Aufzeichnungen inklusive Latenzzeiten und Bewertungen benötigen oder Prompt-Informationen länger als 7 Tage aufbewahren wollen, empfiehlt sich die Nutzung eines Observability-Tools – siehe Verfolgen Sie Aufrufe Ihres lokalen Modells mit Langfuse. Das Protokollieren von Anfragen stellt die einfachste Methode dar, um gesendete Daten einzusehen.

API-Schlüssel

Erstellen und teilen Sie bereichsbegrenzte API-Schlüssel sowie prüfen Sie, welche Informationen der jeweilige Empfänger einsehen kann.

Häufig gestellte Fragen: Datenschutz

Was Tokios standardmäßig aufzeichnet und welche Änderungen vorgenommen werden, wenn das Anfragen-Logging aktiviert ist.