Testen Sie Ihr Deployment

Verwenden Sie diesen Leitfaden, um zwei oder mehr Tokios-Deployments zu vergleichen. Halten Sie den Test zunächst einfach: gleicher Prompt, gleicher Client, gleiche Hardware, gleiche Backend-Einstellungen. Ändern Sie nur den Deployment-Namen im Feld model.

Voraussetzungen

Ein laufender Connector. Siehe Connector-Installation.
Ein oder mehrere registrierte Deployments. Siehe Modell registrieren.
Ein Tokios-API-Schlüssel. Siehe API-Schlüssel.
Ein lokales Backend, das vor der Einbindung von Tokios funktioniert. Siehe Backends.

Eine grundlegende Anfrage testen

Beginnen Sie mit einer kleinen Nicht-Streaming-Anfrage. Ersetzen Sie den Schlüssel und das Modell durch Ihre eigenen Werte.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "coder-local",
    "messages": [
      { "role": "user", "content": "Reply with one short sentence." }
    ]
  }'

Dies bestätigt die Authentifizierung, das Deployment-Routing, die Connector-Konnektivität und die Backend-Antwortverarbeitung.

Streaming testen

Testen Sie anschließend das Streaming-Verhalten. Das kommt näher an die Praxis vieler Coding-Agenten und Chat-Tools heran.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "coder-local",
    "stream": true,
    "messages": [
      { "role": "user", "content": "Write a five item checklist for reviewing a pull request." }
    ]
  }'

Wenn das Streaming stockt, prüfen Sie zuerst das lokale Backend direkt, dann die Connector-Protokolle und die Client-Basis-URL.

Zwei Deployments vergleichen

Verwenden Sie denselben Anfragekörper und ändern Sie nur model.

# First deployment
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"coder-local","messages":[{"role":"user","content":"Explain this function in plain English."}]}'

# Second deployment
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"fast-draft","messages":[{"role":"user","content":"Explain this function in plain English."}]}'

Dokumentieren Sie das Ergebnis in einer kleinen Tabelle:

Deployment	Zeit bis zur ersten Ausgabe	Gesamtzeit	Qualitätsnotizen	Fehler
`coder-local`
`fast-draft`

Mit Ihrem tatsächlichen Client testen

Nachdem curl funktioniert, testen Sie über den Client, den Sie verwenden möchten.

Client-Typ	Was zu testen ist
Claude Code	Ein kleiner One-Shot-Prompt mit `--model your-deployment`
OpenAI Codex	Eine kurze Repository-Frage unter Verwendung des Tokios-Profils
SDK-App	Eine Anfrage vom gleichen Code-Pfad, den Ihre App verwenden wird
Chat-Oberfläche	Ein kurzer Prompt und eine längere Streaming-Antwort

Die Ergebnisse interpretieren

Optimieren Sie nicht für eine einzelne Zahl. Ein Deployment, das schnell streamt, aber bei Coding-Aufgaben fehlschlägt, kann schlechter sein als ein langsameres Modell, das Anweisungen zuverlässig befolgt.

Signal	Mögliche Bedeutung
Langsamer erster Token	Backend lädt, großer Prompt, kaltes Modell oder Hardware-Limits
Schnelle Tokens, aber schlechte Antworten	Das Modell passt möglicherweise nicht zum Workflow
Funktioniert in `curl`, aber nicht in einem Client	Basis-URL, API-Form oder Modell-Feld-Mismatch
Funktioniert lokal, aber nicht über Tokios	Connector-, Deployment- oder API-Schlüssel-Problem

Halten Sie Ihren besten Deployment-Namen stabil. Wenn Sie ihn später auf ein schnelleres Backend oder einen anderen Computer verschieben, können Clients denselben model-Wert weiterverwenden.

Hardware und Kompatibilität

Runtime bereitstellen und verbinden

Client oder App verbinden

Vergleich

Testen Sie Ihr Deployment

Voraussetzungen

Eine grundlegende Anfrage testen

Streaming testen

Zwei Deployments vergleichen

Mit Ihrem tatsächlichen Client testen

Die Ergebnisse interpretieren

​Voraussetzungen

​Eine grundlegende Anfrage testen

​Streaming testen

​Zwei Deployments vergleichen

​Mit Ihrem tatsächlichen Client testen

​Die Ergebnisse interpretieren

Voraussetzungen

Eine grundlegende Anfrage testen

Streaming testen

Zwei Deployments vergleichen

Mit Ihrem tatsächlichen Client testen

Die Ergebnisse interpretieren