Benchmark eines Tokios-Deployments

Verwenden Sie diesen Leitfaden, um zwei oder mehr Tokios-Deployments zu vergleichen. Halten Sie den Test zunächst einfach: gleicher Prompt, gleicher Client, gleiche Hardware, gleiche Backend-Einstellungen. Ändern Sie nur den Deployment-Namen im Feld model.

Voraussetzungen

Ein laufender Connector. Siehe Connector-Installation.
Ein oder mehrere registrierte Deployments. Siehe Modell registrieren.
Ein Tokios-API-Schlüssel. Siehe API-Schlüssel.
Ein lokales Backend, das funktioniert, bevor Tokios involviert ist. Siehe Backends.

Eine grundlegende Anfrage testen

Beginnen Sie mit einer kleinen Nicht-Streaming-Anfrage. Ersetzen Sie den Schlüssel und das Modell durch Ihre eigenen Werte.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "coder-local",
    "messages": [
      { "role": "user", "content": "Reply with one short sentence." }
    ]
  }'

Dies bestätigt die Authentifizierung, die Deployment-Routing, die Connector-Konnektivität und die Backend-Antwortverarbeitung.

Streaming testen

Testen Sie dann das Streaming-Verhalten. Dies entspricht näher dem, wie sich viele Coding-Agenten und Chat-Tools in der Praxis anfühlen.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "coder-local",
    "stream": true,
    "messages": [
      { "role": "user", "content": "Write a five item checklist for reviewing a pull request." }
    ]
  }'

Wenn das Streaming stockt, prüfen Sie zunächst das lokale Backend direkt, dann die Connector-Protokolle und die Client-Basis-URL.

Zwei Deployments vergleichen

Verwenden Sie denselben Anfragekörper und ändern Sie nur model.

# First deployment
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"coder-local","messages":[{"role":"user","content":"Explain this function in plain English."}]}'

# Second deployment
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"fast-draft","messages":[{"role":"user","content":"Explain this function in plain English."}]}'

Dokumentieren Sie das Ergebnis in einer kleinen Tabelle:

Deployment	Zeit bis zur ersten Ausgabe	Gesamtzeit	Qualitätsnotizen	Fehler
`coder-local`
`fast-draft`

Mit Ihrem tatsächlichen Client testen

Nachdem curl funktioniert, testen Sie über den Client, den Sie verwenden möchten.

Client-Typ	Was zu testen ist
Claude Code	Ein kleiner One-Shot-Prompt mit `--model your-deployment`
OpenAI Codex	Eine kurze Repository-Frage unter Verwendung des Tokios-Profils
SDK-App	Eine Anfrage vom gleichen Code-Pfad, den Ihre App verwenden wird
Chat-Oberfläche	Ein kurzer Prompt und eine längere Streaming-Antwort

Die Ergebnisse interpretieren

Optimieren Sie nicht für eine einzelne Zahl. Ein Deployment, das schnell streamt, aber bei Coding-Aufgaben fehlschlägt, kann schlechter sein als ein langsameres Modell, das Anweisungen zuverlässig befolgt.

Signal	Mögliche Bedeutung
Langsamer erstes Token	Backend-Loading, großer Prompt, kaltes Modell oder Hardware-Limits
Schnelle Tokens, aber schlechte Antworten	Das Modell passt möglicherweise nicht zum Workflow
Funktioniert in `curl`, aber nicht in einem Client	Basis-URL, API-Form oder Modell-Feld-Mismatch
Funktioniert lokal, aber nicht über Tokios	Connector-, Deployment- oder API-Schlüssel-Problem

Halten Sie Ihren besten Deployment-Namen stabil. Wenn Sie ihn später auf ein schnelleres Backend oder einen anderen Computer verschieben, können Clients denselben model-Wert weiterverwenden.

Hardware und Kompatibilität

Runtime bereitstellen und verbinden

Client oder App verbinden

Vergleich

Benchmark eines Tokios-Deployments

Voraussetzungen

Eine grundlegende Anfrage testen

Streaming testen

Zwei Deployments vergleichen

Mit Ihrem tatsächlichen Client testen

Die Ergebnisse interpretieren

​Voraussetzungen

​Eine grundlegende Anfrage testen

​Streaming testen

​Zwei Deployments vergleichen

​Mit Ihrem tatsächlichen Client testen

​Die Ergebnisse interpretieren

Voraussetzungen

Eine grundlegende Anfrage testen

Streaming testen

Zwei Deployments vergleichen

Mit Ihrem tatsächlichen Client testen

Die Ergebnisse interpretieren