Zum Hauptinhalt springen
Verwenden Sie diesen Guide, bevor Sie Ihr erstes Deployment registrieren oder wenn Sie mehrere lokale Modelle vergleichen möchten. Tokios wählt das Modell nicht für Sie; es gibt jedem lokalen Modell einen stabilen Deployment-Namen, den Clients aufrufen können.
Sobald Sie ein Modell und Backend gewählt haben, registrieren Sie Ihr erstes Deployment bei Tokios — 1 authentifizierter Endpunkt unter https://api.tokios.com, etwa 5 Minuten.

​
Mit dem Workflow beginnen

​
Ein Backend wählen

Tokios leitet Anfragen an ein Backend weiter, das eine OpenAI-kompatible Chat Completions API bereitstellt. Beginnen Sie mit dem Backend, das Sie bereits verwenden. Wenn Sie von Grund auf wählen, verwenden Sie die einfachste Option für Ihr Betriebssystem und Ihre Hardware. Siehe Backends für aktuelle Setup-Beispiele.

​
Deployments für Clients benennen

Die Modell-ID, die Ihr Backend bereitstellt, muss nicht der Name sein, den Ihre Clients verwenden. Geben Sie jedem Tokios-Deployment einen kurzen öffentlichen Namen, der seine Rolle beschreibt.
Halten Sie Deployment-Namen stabil. Wenn Sie ein Modell später auf ein anderes Backend oder eine andere Maschine verschieben, aktualisieren Sie das Deployment oder die Connector-Route, anstatt jeden Client zu ändern.

​
Modelle sorgfältig vergleichen

Ändern Sie jeweils nur eine Sache. Behalten Sie denselben Prompt, Client, Backend-Einstellungen und dieselbe Hardware bei, wenn Sie zwei Deployments vergleichen. Notieren Sie sowohl Geschwindigkeit als auch Antwortqualität. Für einen wiederholbaren Testflow verwenden Sie Test your deployment.