Zum Hauptinhalt springen
Durch die Registrierung eines Modells wird ein öffentlicher Name Ihrem gepairten Connector und dem von ihm bereitgestellten Modell zugeordnet. Der öffentliche Name ist die Zeichenfolge, die Sie in jedem API-Aufruf als "model" übergeben – beispielsweise gemma-tunnel. Führen Sie diesen Schritt durch, nachdem Ihr Connector gepairt und genehmigt wurde – siehe Connector-Installation.

​
Registrieren Sie Ihr Modell

1

Stellen Sie sicher, dass der Connector verbunden ist

Überprüfen Sie im Tab Connectors der Konsole, ob Ihr Connector als verbunden angezeigt wird. Falls nicht, stellen Sie sicher, dass der Connector auf dem Computer Ihres Modells weiterhin ausgeführt wird und dass Sie das Gerät während des Pairings genehmigt haben.
2

Wählen Sie das Modell und den öffentlichen Namen

Öffnen Sie den Tab Models (Schritt 3 des Setup-Assistenten). Wählen Sie das Modell aus, das Sie über Ihren Connector verfügbar machen möchten, und weisen Sie ihm den öffentlichen Namen zu, den Ihre Clients verwenden werden.Verwenden Sie einen kurzen, kleingeschriebenen Namen mit Bindestrichen – beispielsweise gemma-tunnel, llama3-local oder mistral-home.
3

Speichern

Speichern Sie das Modell. Es ist nun unter api.tokios.com mit seinem öffentlichen Namen erreichbar.

​
Verwenden Sie den öffentlichen Namen in API-Aufrufen

Übergeben Sie den öffentlichen Namen als model-Feld. Das Gateway löst diesen in Ihren Connector auf, bevor es die Anfrage weiterleitet:

​
Erweitert: Bereitstellen mehrerer Modelle über einen Connector

Ein Connector kann mehrere Modelle verfügbar machen. Registrieren Sie für jedes einen öffentlichen Namen oder definieren Sie mehrere Upstreams in einer Connector-Konfigurationsdatei. Siehe Modell-Routing und Connector-Konfiguration.