Skip to main content
Ihre Strix Halo-Box führt das Modell bereits aus. Die eigentliche Herausforderung besteht darin, von Ihrem Laptop, Editor oder Coding-Agent aus darauf zuzugreifen, ohne eingehende Ports öffnen zu müssen. Starten Sie den Tokios Connector neben der Laufzeitumgebung – dadurch erhalten Sie ein authentifiziertes Endpoint unter https://api.tokios.com, das sowohl OpenAI- als auch Anthropic-Anfragen verarbeitet. So können Claude Code, opencode sowie alle OpenAI-kompatiblen Clients die Box nutzen, ohne Firewall-Regeln anpassen zu müssen.

​
Nach dem Start: das Endpoint-Problem

Nutzer von Framework Desktop, Mini-PCs sowie anderen AMD Ryzen AI Max+ 395-Geräten („Strix Halo“) wählen die 128 GB große Unified-Memory-Konfiguration gezielt aus, um große lokale Modelle auszuführen. Auf diesem Silizium zeigt die Erfahrung der Community, dass llama.cpp mit dem Vulkan-Backend zuverlässiger funktioniert als ROCm/HIP. Sobald das Modell auf localhost antwortet, wünschen sich die meisten Nutzer einen Coding-Agent – etwa opencode oder Claude Code – der darauf zugreift. Dafür müssen folgende Voraussetzungen erfüllt sein:
  • Ein OpenAI-kompatibles Endpoint, das von außerhalb erreichbar ist. Standardmäßig bindet sich die Laufzeitumgebung an 127.0.0.1 auf der Strix Halo-Box. Um von einem Laptop oder einem externen Coding-Agent darauf zuzugreifen, muss man entweder 0.0.0.0 festlegen, einen Port öffnen oder einen Tunnel einrichten – jede Methode erfordert eigene Einstellungen und bietet keinerlei clientseitige Authentifizierung.
  • Die API-Struktur. Claude Code nutzt das Anthropic Messages-Format; llama.cpp, Ollama sowie LM Studio setzen auf OpenAI Chat Completions. Um beide Systeme zu verbinden, ist meist der Aufbau und die Pflege eines kleinen Proxys nötig.
  • Ein stabiler Verweispunkt für Tools. Der Wechsel zwischen llama.cpp, Ollama oder LM Studio auf derselben Box oder das Laden eines anderen Modells sollte nicht bedeuten, dass sämtliche Clients neu konfiguriert werden müssen.
Tokios fungiert als Verbindungsschicht über Ihrer bestehenden Laufzeitumgebung – es ersetzt weder llama.cpp, Ollama, LM Studio noch vLLM.
2 Strix Halo boxes can have enough aggregate memory for DeepSeek-V4-Flash-0731 GGUF weights, but the required llama.cpp RPC path is fragile, insecure, and proof-of-concept. Do not treat it as a production deployment. See DeepSeek V4 Flash local hardware for the experimental boundary.

​
Richten Sie die Einrichtung auf Ihrem Strix Halo-Gerät ein.

1

Starten Sie anschließend den Laufzeitprozess auf dem Gerät.

Starten Sie Ihren Modell-Server wie gewohnt; beispielsweise mit llama.cpp unter Verwendung der Vulkan-Backend-Engine.
Ebenso können Sie den lokalen Server von LM Studio oder Ollama nutzen.
Prüfen Sie zunächst, ob der Server auf Anfragen über den OpenAI-kompatiblen /v1 API reagiert, bevor Sie den Connector hinzufügen.
2

Erhalten Sie anschließend einen Berechtigungscode und verknüpfen Sie den Connector damit.

Öffnen Sie im dashboard das Reiterfeld Setup und wählen Sie Start pairing aus, um einen einmalig gültigen Berechtigungscode im Format TKS-XXXX-XXXX zu erhalten; dieser gilt etwa 15 Minuten lang.Auf Linux-Systemen:
Unter Windows (PowerShell):
Kehren Sie zum Dashboard zurück und genehmigen Sie das Gerät im Reiterfeld Setup bzw. Connectors. Der Token des Connectors wird über den Tunnel übermittelt – Sie müssen ihn nicht manuell in eine Datei eintragen.
3

Richten Sie den Connector so ein, dass er auf das /v1-Endpunkt Ihres Laufzeitprozesses verweist.

The connector’s upstream is the runtime’s own OpenAI-compatible API on the box, not a port you expose externally. Default ports: llama.cpp 8080, LM Studio 1234, Ollama 11434 (all with /v1 appended; for Ollama use its /v1 OpenAI-compatible API, not the native /api). No inbound firewall rule is needed — the connector only dials out.
4

Eine Deployment erstellen

Auf dem Models-Reiter weisen Sie Ihre Upstream-Modell-ID einem öffentlichen Deployment-Namen wie strix-coder zu. Clients übermitteln diesen Deployment-Namen im Feld model, nicht die Upstream-ID.
5

Einen API-Schlüssel anlegen

Auf dem Keys-Reiter erstellen Sie einen Schlüssel. Diese Schlüssel sind sk-tok-…-Bearer-Tokens, die nur einmal angezeigt werden, und lassen sich auf bestimmte Muster von Deployment-Namen beschränken.

​
Nutzung durch Ihren Coding-Agenten

Sobald der Connector verbunden und eine Deployment registriert ist, richten Sie Ihren Coding-Agenten auf Tokios aus, statt auf die lokale Adresse des Rechners.
Der Modellauswähler von Claude Code listet ausschließlich claude*-IDs auf; daher erscheint Ihre Tokios-Deployment nicht in der Liste – geben Sie --model strix-coder stattdessen explizit an.
Falls Sie mehrere Backends auf dem Rechner betreiben – etwa llama.cpp für ein Modell und Ollama für ein anderes – nutzen Sie die Connector-Konfigurationsdatei, um mehrere Routen und Upstreams zu definieren, anstatt den Ein-Upstream-Workflow zu verwenden. Unter Modell-Routing erfahren Sie, wie Sie mehrere Deployments hinter derselben Endpunkt-Adresse registrieren und wechseln.

​
Warum nur ein Endpunkt?

  • Wechsel der Backends ohne Konfigurationsänderungen beim Agenten. Sie können von llama.cpp zu LM Studio oder Ollama wechseln; alle Agenten, die bereits auf strix-coder verweisen, funktionieren weiterhin – lediglich der Upstream des Connectors muss angepasst werden.
  • Zielgerichtete API-Schlüssel statt gemeinsamer Bindeadressen. Sie können Teammitgliedern Schlüssel zuweisen, die nur für bestimmte Deployment-Muster gültig sind, anstatt den Port des Runtimes für das gesamte Netzwerk freizugeben.
  • Keine eingehenden Ports auf dem Rechner. Der Connector stellt ausschließlich ausgehende Verbindungen her; daher müssen Sie den Runtime-Port nicht auf 0.0.0.0 binden oder eigene Tunnel einrichten, um ihn von Laptops oder Coding-Agenten zu erreichen.

​
Kann Strix Halo Kimi K3 ausführen?

No. Strix Halo’s 128 GB unified memory pool (~90–110 GB available after OS overhead) is far below what Kimi K3 requires. K3 has 2.8 trillion total parameters and needs about 1.4 TB at its native MXFP4 precision (4 bits per parameter) — before block scales, runtime buffers, activations, and KV cache. Even if you could use every byte of the 128 GB pool for weights, you would still be roughly 1.27 TB short. Moonshot empfiehlt, K3 auf einem Supernode mit mindestens 64 Beschleunigern zu betreiben. Für detaillierte Berechnungen zum Speicherbedarf sowie zur Cluster-Größenplanung siehe die ausführliche Hardware-Analyse zu Kimi K3.
Suchen Sie ein Modell, das zu Strix Halo passt? Schauen Sie sich geeignete Alternativen zu Kimi K3 an – das optimale Modell für Programmierung und Allzweck-Anwendungen bei 128 GB gemeinsamem Speicher.

​
Nächste Schritte

Schnellstart

Richten Sie in wenigen Schritten einen funktionierenden Connector, eine Deployment-Umgebung sowie einen API-Schlüssel ein.

Installation des Connectors

Detaillierte Installations- und Paarungsanleitung für alle Plattformen.

Nutzung von Claude Code

Ausführliche Konfiguration von ANTHROPIC_BASE_URL und ANTHROPIC_API_KEY.

Referenz zur Connector-Konfiguration

Mit tokios-connector.json können mehrere Modelle von einem einzigen Gerät aus bereitgestellt werden.