Skip to main content
Nutzen Sie diesen Leitfaden, bevor Sie Ihr erstes Deployment registrieren oder wenn Sie mehrere lokale Modelle vergleichen möchten. Tokios wählt das Modell nicht für Sie aus; es vergibt jedem lokalen Modell einen stabilen Deployment-Namen, den Clients aufrufen können.
Sobald Sie ein Modell und ein Backend ausgewählt haben, registrieren Sie Ihr erstes Deployment bei Tokios — 1 authentifizierter Endpunkt unter https://api.tokios.com, etwa 5 Minuten.

​
Beginnen Sie mit dem Workflow

​
Wählen Sie ein Backend

Tokios leitet Anfragen an ein Backend weiter, das eine OpenAI-kompatible Chat Completions API bedient. Beginnen Sie mit dem Backend, das Sie bereits verwenden. Wenn Sie von Grund auf neu wählen, nutzen Sie die einfachste Option für Ihr Betriebssystem und Ihre Hardware. Siehe Backends für aktuelle Einrichtungbeispiele.

​
Bereitstellungen für Clients benennen

Die Modell-ID, die Ihr Backend bereitstellt, muss nicht dem Namen entsprechen, den Ihre Clients verwenden. Geben Sie jeder Tokios-Deployment einen kurzen öffentlichen Namen, der ihre Rolle beschreibt.
Halten Sie Deployment-Namen stabil. Wenn Sie ein Modell später auf ein anderes Backend oder eine andere Maschine verschieben, aktualisieren Sie stattdessen die Deployment- oder Connector-Route, anstatt jeden Client zu ändern.

​
Modelle sorgfältig vergleichen

Ändern Sie jeweils nur ein Element. Behalten Sie dieselben Prompt-, Client- und Backend-Einstellungen sowie Hardware bei, wenn Sie zwei Deployments vergleichen. Erfassen Sie sowohl Geschwindigkeit als auch Antwortqualität. Für einen wiederholbaren Testablauf verwenden Sie Benchmark your deployment.