Modell feinabgestimmt? Jetzt eine API daraus machen.

Wenn Sie Ihr Fine-Tune bereits als GGUF exportiert haben und es in Ollama oder llama.cpp läuft, verfügen Sie über einen localhost-Endpunkt, können ihn jedoch von keinem anderen Ort aus aufrufen. Lassen Sie das Fine-Tune genau dort, wo es ist, führen Sie den Tokios-Connector daneben aus und registrieren Sie einen Deployment-Namen dafür — Sie erhalten einen echten https://api.tokios.com-Endpunkt, der mit einem sk-tok-…-Schlüssel gesichert ist und von jedem OpenAI- oder Anthropic-kompatiblen Client aufgerufen werden kann.

Die letzte Meile nach der Feinabstimmung

Der dokumentierte Pfad zur Feinabstimmung — beispielsweise mit Unsloth — führt Sie bis zum Export einer GGUF-Datei und dem Laden mit ollama create aus einer Modelfile oder dem Bereitstellen mit dem Server von llama.cpp; prüfen Sie die genaue Export- und ollama create-Befehlssyntax gegen Ihre Unsloth-Version ab. Beide Methoden ermöglichen es Ihrem Fine-Tune, Anfragen auf 127.0.0.1 zu beantworten. An dieser Stelle endet die Dokumentation in der Regel. Ein localhost-Endpunkt funktioniert vom selben Computer aus, im selben Terminal, solange dieser Prozess läuft — er funktioniert nicht vom Laptop eines Teammitglieds, einem CI-Job, einem gehosteten Agenten oder Ihrem eigenen Telefon. Die Umwandlung in etwas, das von überall aus aufgerufen werden kann, ist die undokumentierte letzte Meile, und genau dieses Problem löst Tokios: Es greift nicht in die Art und Weise ein, wie das Fine-Tune erstellt oder bereitgestellt wurde, sondern macht den Endpunkt einfach erreichbar und authentifiziert.

Tokios führt keine Feinabstimmung, Quantisierung oder Exporte durch und behebt auch keine Chat-Template-Fehlers. Es setzt genau dort an, wo Ihre Laufzeit bereits eine OpenAI-kompatible /v1-API bereitstellt, und macht diesen Endpunkt außerhalb von localhost aufrufbar. Die korrekte Bereitstellung des Fine-Tunes mit dem richtigen Chat-Template ist Aufgabe Ihrer Laufzeit — siehe Wählen Sie ein lokales Modell, wenn Sie noch entscheiden, wie Sie es bereitstellen möchten.

Schritte

Bestätigen Sie, dass Ihr Fine-Tune lokal bereitgestellt wird

Diese Anleitung geht davon aus, dass Ihr GGUF bereits geladen ist und Anfragen über den Server von Ollama oder llama.cpp auf localhost beantwortet. Für Ollama ist dies in der Regel ein Modell, das Sie mit ollama create <name> -f Modelfile geladen haben und das Sie bereits mit ollama run <name> abfragen können. Für llama.cpp ist dies llama-server, der auf seinem Standardport lauscht — bestätigen Sie den genauen Port anhand Ihrer Installation. In jedem Fall ändern Sie nicht, wie es gebunden ist — lassen Sie es auf 127.0.0.1.

Paaren Sie den Tokios-Connector

Melden Sie sich bei tokios.com/console an, öffnen Sie den Tab Setup und klicken Sie auf Start pairing. Tokios zeigt einen einmaligen Pairing-Code wie TKS-XXXX-XXXX an, der etwa 15 Minuten gültig ist.Führen Sie auf dem Computer, auf dem Ihr Fine-Tune läuft, den Installations-One-Liner für Ihr Betriebssystem aus:

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Haben Sie tokios-connector bereits installiert? Übergeben Sie den Code stattdessen direkt:

tokios-connector TKS-XXXX-XXXX

Kehren Sie in die Konsole zurück und approve Sie das Gerät auf dem Tab Setup oder Connectors. Das Token des Connectors wird über den Tunnel übermittelt, sobald es genehmigt wurde — Sie sehen es niemals auf dem Bildschirm und fügen es nicht in eine Datei ein.

Richten Sie den Connector auf die /v1-API Ihrer Laufzeit aus

Tokios kommuniziert mit jeder OpenAI-kompatiblen /v1-Schnittstelle, die Ihre Laufzeit bereitstellt — es spielt keine Rolle, dass das Modell dahinter ein Fine-Tune und kein Standard-Checkpoint ist. Für den grundlegenden Pfad mit einem einzelnen Modell füllt der Setup-Assistent der Konsole den Upstream automatisch basierend auf der von Ihnen gewählten Laufzeit aus (http://127.0.0.1:11434/v1 für Ollama, http://127.0.0.1:8080/v1 für llama.cpp). Wenn Sie mehrere Modelle oder Adapter über eine tokios-connector.json-Konfiguration bereitstellen, legen Sie die Upstream-BaseUrl explizit fest:

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:11434/v1"
  }
}

Siehe Connector-Konfiguration für das vollständige Dateiformat für mehrere Modelle.

Registrieren Sie einen Deployment-Namen für Ihr Fine-Tune

Registrieren Sie Ihr Fine-Tune im Tab Models und wählen Sie einen öffentlichen Namen — beispielsweise my-finetune-tunnel. Dieser öffentliche Name, nicht die lokale Modell-ID, die Sie ihm in ollama create oder llama.cpp gegeben haben, ist das, was Clients im Feld model senden. Er unterscheidet auch Ihr Fine-Tune von allen Basismodellen oder anderen Fine-Tunes, die Sie über denselben Connector bereitstellen.

Erstellen Sie einen API-Schlüssel

Klicken Sie im Tab Keys auf Create key. Beschränken Sie ihn optional auf bestimmte Deployments mit Modell-Namen-Mustern (kommagetrennte Globs, * für alle) — nützlich, wenn Sie einen Schlüssel möchten, der nur Ihr Fine-Tune und nichts anderes erreichen kann. Kopieren Sie den sk-tok-…-Schlüssel jetzt — er wird nur einmal angezeigt.

Verwenden Sie Ihr Fine-Tune von einem Coding-Agenten aus

Sobald Sie einen Deployment-Namen und einen API-Schlüssel haben, ist Ihr Fine-Tune auf die gleiche Weise erreichbar wie jedes gehostete Modell — einschließlich von Claude Code oder jedem OpenAI-SDK-Client.

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model my-finetune-tunnel

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="my-finetune-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "my-finetune-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Der Modell-Auswahlmechanismus von Claude Code listet nur claude*-IDs auf, daher wird der Deployment-Name Ihres Fine-Tunes darin nicht angezeigt. Geben Sie --model my-finetune-tunnel jedes Mal explizit an. Siehe Verwenden von Claude Code, um die Umgebungsvariablen über Sitzungen hinweg beizubehalten.

Wenn Antworten fehlerhaft, abgeschnitten oder tonal falsch erscheinen, liegt dies fast immer an einem Chat-Template-Mismatch zwischen der Art und Weise, wie das Modell feinabgestimmt wurde, und der Art und Weise, wie die Laufzeit es promptet — nicht an etwas im Tokios-Pfad. Tokios leitet Anfragen direkt an die /v1-API Ihrer Laufzeit weiter und schreibt keine Prompts oder Templates um. Beheben Sie die Modelfile oder das Server-Prompt-Template auf der Ebene der Laufzeit und testen Sie erneut.

FAQ

Interessiert es Tokios, dass dies ein Fine-Tune und kein Basismodell ist?

Nein. Tokios sieht nur einen OpenAI-kompatiblen /v1-Endpunkt und einen Deployment-Namen, den Sie darauf abgebildet haben. Ob die Gewichte hinter diesem Endpunkt ein Standard-Checkpoint, ein zusammengeführtes Fine-Tune oder ein LoRA-Adapter sind, macht für den Connector oder das Gateway keinen Unterschied.

Kann ich ein Basismodell und ein Fine-Tune nebeneinander bereitstellen?

Ja. Registrieren Sie jedes als eigenes Deployment im Tab Models, oder definieren Sie mehrere Upstreams und Routen in einer tokios-connector.json-Konfiguration für einen Connector, der mehrere Modelle bereitstellt. Siehe Connector-Konfiguration und Modell-Routing.

Funktioniert Streaming mit einem Fine-Tune auf die gleiche Weise?

Ja. Legen Sie "stream": true fest, und Tokios gibt standardmäßige Server-Sent Events (SSE) im OpenAI- oder Anthropic-Format zurück, abhängig davon, welche API-Schnittstelle Sie aufgerufen haben — genau wie bei jedem anderen Deployment.

Das Chat-Template meines Fine-Tunes ist falsch — kann Tokios das beheben?

Nein. Die Korrektheit des Chat-Templates — die Übereinstimmung der speziellen Tokens und des Turn-Formats, auf das das Fine-Tune trainiert wurde — liegt ausschließlich in der Verantwortung Ihrer Laufzeit (Ollamas Modelfile TEMPLATE oder llama.cpps Server-Prompt-Template). Tokios leitet den Anfragekörper unverändert an die /v1-API Ihrer Laufzeit weiter.

Ihr Fine-Tune verlässt niemals Ihren Computer — Ihr Endpunkt funktioniert überall

Die Gewichte bleiben auf Ihrer Hardware, im selben Ollama- oder llama.cpp-Prozess, dem Sie bereits vertrauen. Der Connector wählt nur aus — kein eingehender Port, keine exponierte API auf Ihrem Computer. Alles dahinter — Authentifizierung, Routing, Streaming — ist ein Endpunkt, den Sie von jedem Computer, jedem Teammitglied oder jedem Agenten aus aufrufen können, dem Sie einen Schlüssel geben möchten.

Quickstart

Paaren Sie einen Connector und registrieren Sie Ihr erstes Modell von Anfang bis Ende.

API-Schlüssel

Erstellen, begrenzen und rotieren Sie sk-tok-…-Schlüssel für Teammitglieder und Agenten.

Hardware und Kompatibilität

Runtime bereitstellen und verbinden

Client oder App verbinden

Vergleich

Modell feinabgestimmt? Jetzt eine API daraus machen.

Die letzte Meile nach der Feinabstimmung

Schritte

Verwenden Sie Ihr Fine-Tune von einem Coding-Agenten aus

FAQ

Ihr Fine-Tune verlässt niemals Ihren Computer — Ihr Endpunkt funktioniert überall

Quickstart

API-Schlüssel

​Die letzte Meile nach der Feinabstimmung

​Schritte

​Verwenden Sie Ihr Fine-Tune von einem Coding-Agenten aus

​FAQ

​Ihr Fine-Tune verlässt niemals Ihren Computer — Ihr Endpunkt funktioniert überall

Quickstart

API-Schlüssel

Die letzte Meile nach der Feinabstimmung

Schritte

Verwenden Sie Ihr Fine-Tune von einem Coding-Agenten aus

FAQ

Ihr Fine-Tune verlässt niemals Ihren Computer — Ihr Endpunkt funktioniert überall