Nutzen Sie einen llama.cpp-Server von überall aus

Standardmäßig hört llama-server auf Port http://127.0.0.1:8080/v1 – er ist von anderen Geräten nicht erreichbar, es sei denn, Sie erweitern die Zugriffsberechtigungen oder leiten den Port weiter. llama-server bietet zwar ein optionales --api-key-Flag, dieses ist jedoch standardmäßig deaktiviert; die Einrichtung von TLS müssen Sie selbst übernehmen. Bewahren Sie llama-server auf dem lokalen Rechner auf und starten Sie daneben den Tokios-Connector: Dieser stellt eine Verbindung zu https://api.tokios.com her, sodass Ihre Tools, Teammitglieder oder Agenten von überall aus ein authentifiziertes Endpunkt aufrufen können.

`llama-server`’s auth is optional and off by default

llama-server ist der mit llama.cpp ausgelieferte OpenAI-kompatible Server, der dazu dient, ein GGUF-Modell über HTTP bereitzustellen. Starten Sie ihn; sofern nicht anders angegeben, akzeptiert er Anfragen von jedem, der den Port erreichen kann – ohne dass eine Anmeldeinformation erforderlich ist.

llama-server -m model.gguf --port 8080

Sie können --api-key <key> so konfigurieren, dass ein Bearer-Token erforderlich ist; das stellt eine sinnvolle erste Schutzschicht dar. Allerdings gibt es keinen Standardwert, und die Einrichtung von TLS ist eine gesonderte, manuelle Aufgabe – llama-server übernimmt diese Konfiguration nicht automatisch.

Das ist keineswegs ein Kritikpunkt an llama-server – es handelt sich um einen leichtgewichtigen, einfach einzubindenden Inferenzserver. Indem Authentifizierung und TLS als optionale Funktionen vorgesehen sind, bleibt er leicht auf vertrauenswürdigen Systemen oder hinter eigener Infrastruktur nutzbar. Tokios wurde hingegen speziell dafür entwickelt, diesen lokalen Endpunkt in eine authentifizierte API zu verwandeln, die von überall aus aufgerufen werden kann – ohne dass dazu ein eingehender Port geöffnet oder TLS manuell eingerichtet werden muss. llama.cpp fungiert dabei als erstklassiges Tokios-Backend.

Der rein ausgehende Ansatz

Starten Sie llama-server wie gewohnt lokal.

Lassen Sie llama-server weiterhin auf Port 127.0.0.1 laufen – beschränken Sie den Zugriff nicht auf den Loopback-Adressbereich. Starten Sie ihn anschließend mit Ihrem GGUF-Modell.

llama-server -m model.gguf --port 8080

Stellen Sie sicher, dass er weiterhin auf dem Standard-Port http://127.0.0.1:8080 lauscht.

Verknüpfen Sie den Tokios-Connector

Melden Sie sich bei tokios.com/console an, öffnen Sie den Reiter Setup und klicken Sie auf Start pairing. Tokios gibt anschließend einen einmalig gültigen Pairing-Code wie TKS-XXXX-XXXX aus, der etwa 15 Minuten lang verwendbar ist.Auf dem Rechner, auf dem llama-server installiert ist, führen Sie die Installationsanweisung für Ihr Betriebssystem aus.

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Ist tokios-connector bereits installiert? Geben Sie den Code direkt ein.

tokios-connector TKS-XXXX-XXXX

Back in the console, approve the device on the Setup or Connectors tab. The connector’s token is delivered over the tunnel once approved — you never see it on screen or paste it into a file.

Richten Sie den Connector auf die /v1-API von llama-server aus.

llama-server unterstützt bereits die von Tokios erwartete Schnittstelle für OpenAI Chat Completions. Bei der einfachen Variante mit nur einem Modell wählt der Einrichtungs-Assistent der Konsole http://127.0.0.1:8080/v1 automatisch als Upstream-Modell aus. Falls Sie mehrere Modelle mittels einer tokios-connector.json-Konfiguration bereitstellen, müssen Sie die Upstream-Modell-ID BaseUrl explizit festlegen:

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:8080/v1"
  }
}

Das vollständige Format für die Konfiguration mehrerer Modelle finden Sie unter Connector-Konfiguration.

Erstellen Sie eine neue Deployment.

Im Reiter Models registrieren Sie das llama.cpp-Modell und wählen Sie einen öffentlichen Namen – etwa llama-tunnel. Dieser öffentliche Name, nicht die GGUF-Datei oder die interne Modell-ID, wird von Clients im Feld model übermittelt.

Generieren Sie einen API-Schlüssel.

Im Reiter Keys klicken Sie auf Create key. Optional können Sie den Schlüssel auf bestimmte Deployments beschränken, indem Sie Modellnamenmuster angibt (kommagetrennte Platzhalter; * steht für alle). Kopieren Sie nun den sk-tok-…-Schlüssel – er wird nur einmal angezeigt.

Nutzen Sie es von überall aus

Sobald Sie einen Deployment-Namen sowie einen API-Schlüssel besitzen, kann jeder OpenAI- oder Anthropic-kompatible Client Ihr llama.cpp-Modell erreichen – sei es von einem anderen Rechner, dem Laptop eines Teammitglieds oder einem gehosteten Agenten.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="llama-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model llama-tunnel

Das Feld model enthält stets den registrierten Deployment-Namen (siehe llama-tunnel oben); niemals den GGUF-Dateinamen oder eine lokale Modell-ID. Weitere Informationen zur Beibehaltung der Umgebungsvariablen über Sitzungen hinweg finden Sie unter Verwendung von Claude Code.

Häufig gestellte Fragen

Funktioniert das Streaming?

Ja. Wenn Sie "stream": true festlegen, liefert Tokios standardmäßig Server-Sent Events (SSE) im OpenAI- oder Anthropic-Format, je nachdem, welche API-Schnittstelle Sie nutzen.

Ich habe ein GGUF-Modell feinabgestimmt – kann ich es bereitstellen?

Ja. llama-server stellt jede beliebige GGUF-Datei bereit, auf die Sie -m verweisen lassen – auch feinabgestimmte Modelle. Registrieren Sie es als eigenständiges Deployment mit einem eigenen öffentlichen Namen, genauso wie jedes andere Modell. Einen vollständigen Ablauf von der Feinabstimmung bis zur Tokios-Deployment finden Sie unter Bereitstellung Ihres feinabgestimmten Modells.

Ist es möglich, mehrere GGUF-Modelle bereitzustellen?

Ja. Erstellen Sie weitere Deployments im Reiter Models oder nutzen Sie eine tokios-connector.json-Konfigurationsdatei, um mehrere Upstream-Modelle und Routen für einen einzigen Connector zu definieren – besonders nützlich, wenn Sie mehrere llama-server-Prozesse auf unterschiedlichen Ports betreiben. Weitere Details finden Sie unter Connector-Konfiguration.

Benötige ich weiterhin das Flag --api-key von llama-server?

Sie können es zur zusätzlichen Absicherung der Loopback-Verbindung zwischen dem Connector und llama-server beibehalten; es dient jedoch nicht zur Authentifizierung von Anfragen, die über Tokios eingehen. Anfragen an https://api.tokios.com werden mittels Ihres sk-tok-…-Schlüssels authentifiziert; der Connector selbst ist es, der Zugriff auf 127.0.0.1:8080 erhält.

Ihr Modell verlässt niemals Ihren Rechner – Ihr Endpunkt funktioniert überall.

llama-server arbeitet weiterhin exakt so wie bisher auf Ihrem lokalen Rechner, ohne dass eingehende Ports oder manuelle TLS-Einstellungen erforderlich sind. Der Connector initiiert lediglich ausgehende Verbindungen. Alles Weitere – Authentifizierung, Routing sowie Datenübertragung – läuft über einen einzigen Endpunkt, den Sie von jedem beliebigen Rechner, Teammitglied oder Agenten aus aufrufen können, dem Sie einen API-Schlüssel zuweisen.

Schnellstart

Verknüpfen Sie einen Connector und registrieren Sie Ihr erstes Modell in nur wenigen Schritten.

API-Schlüssel

Erstellen, definieren und wechseln Sie sk-tok-…-Schlüssel für Teammitglieder sowie Agenten.

Hardware und Kompatibilität

Runtime bereitstellen und verbinden

Client oder App verbinden

Vergleich

Nutzen Sie einen llama.cpp-Server von überall aus – und das sicher.

`llama-server`’s auth is optional and off by default

Der rein ausgehende Ansatz

Nutzen Sie es von überall aus

Häufig gestellte Fragen

Ihr Modell verlässt niemals Ihren Rechner – Ihr Endpunkt funktioniert überall.

Schnellstart

API-Schlüssel

​llama-server’s auth is optional and off by default

​Der rein ausgehende Ansatz

​Nutzen Sie es von überall aus

​Häufig gestellte Fragen

​Ihr Modell verlässt niemals Ihren Rechner – Ihr Endpunkt funktioniert überall.

Schnellstart

API-Schlüssel

`llama-server`’s auth is optional and off by default

Der rein ausgehende Ansatz

Nutzen Sie es von überall aus

Häufig gestellte Fragen

Ihr Modell verlässt niemals Ihren Rechner – Ihr Endpunkt funktioniert überall.