Zum Hauptinhalt springen
Ihre Strix Halo-Box betreibt das Modell bereits. Die eigentliche Herausforderung ist, von Ihrem Laptop, Editor oder Coding-Agent darauf zuzugreifen, ohne eingehende Ports zu oeffnen. Starten Sie den Tokios-Connector neben Ihrer Laufzeit, und Sie erhalten einen authentifizierten Endpunkt unter https://api.tokios.com, der sowohl OpenAI- als auch Anthropic-Anfrageformate unterstuetzt, sodass Claude Code, opencode oder jeder OpenAI-kompatible Client die Box erreicht, ohne Firewall-Regeln anzufassen.

​
Nach dem Start: die Endpunkt-Luecke

Besitzer von Framework Desktop, Mini-PCs und anderen AMD Ryzen AI Max+ 395-Geraeten („Strix Halo”) waehlen die 128-GB-Unified-Memory-Konfiguration gezielt, um grosse lokale Modelle auszufuehren. Auf diesem Silizium zeigt die Erfahrung der Community, dass llama.cpp mit dem Vulkan-Backend zuverlaessiger ist als ROCm/HIP. Sobald das Modell auf localhost antwortet, ist das naechste, was die meisten wollen, einen Coding-Agenten einzustecken – opencode, Claude Code oder ein aehnliches Tool. Das bedeutet:
  • Ein OpenAI-kompatibler Endpunkt, der von anderswo erreichbar ist. Die Laufzeit bindet standardmaessig an 127.0.0.1 auf der Strix Halo-Box. Um von einem Laptop oder einem anderorts laufenden Coding-Agent darauf zuzugreifen, bedeutet es, an 0.0.0.0 zu binden, einen Port zu oeffnen oder einen Tunnel aufzubauen – jeweils mit eigener Einrichtung und keiner pro-Client-Authentifizierung davor.
  • API-Format. Claude Code spricht das Anthropic-Messages-Format; llama.cpp, Ollama und LM Studio sprechen OpenAI Chat Completions. Beide zu verbinden bedeutet normalerweise, einen kleinen Proxy zu schreiben und zu pflegen.
  • Ein stabiler Zielpunkt fuer Tools. Der Wechsel zwischen llama.cpp, Ollama oder LM Studio auf derselben Box oder das Aendern des geladenen Modells sollte nicht bedeuten, jeden Client neu zu konfigurieren, der damit spricht.
Tokios ist die Verbindungsschicht, die auf der Laufzeit aufsetzt, die Sie bereits betreiben – es ersetzt nicht llama.cpp, Ollama, LM Studio, vLLM oder Lemonade Server.
2 Strix Halo-Boxen koennen genug Gesamtspeicher fuer DeepSeek-V4-Flash-0731-GGUF-Gewichte haben, aber der erforderliche llama.cpp-RPC-Pfad ist fragil, unsicher und Proof-of-Concept. Behandeln Sie das nicht als Produktions-Deployment. Siehe DeepSeek V4 Flash lokale Hardware fuer die experimentelle Grenze.

​
Auf Ihrer Strix Halo-Box einrichten

1

Starten Sie Ihre Laufzeit auf der Box

Starten Sie Ihren Modell-Server wie gewohnt, zum Beispiel mit llama.cpp auf dem Vulkan-Backend:
oder mit LM Studios lokalem Server oder Ollama:
Lemonade Server ist eine weitere Option – er erkennt automatisch Ihre Strix Halo-Hardware und waehlt das Vulkan-Backend fuer Sie, sodass Sie die manuelle Backend-Auswahl ueberspringen:
Lemonade Server lauscht standardmaessig auf Port 13305 und legt eine OpenAI-kompatible API unter /v1 frei. Er unterstuetzt auch AMD Ryzen AI NPUs, was kein anderes Backend hier tut. Siehe Lemonade Server Remote-Zugriff fuer die vollstaendige Einrichtungsanleitung.Bestaetigen Sie, dass er ueber seine eigene OpenAI-kompatible /v1-API antwortet, bevor Sie den Connector hinzufuegen.
2

Holen Sie sich einen Pairing-Code und koppeln Sie den Connector

Oeffnen Sie im dashboard den Tab Setup und waehlen Sie Start pairing, um einen einmaligen Pairing-Code in der Form TKS-XXXX-XXXX zu erhalten (gueltig fuer etwa 15 Minuten).Auf Linux:
Unter Windows (PowerShell):
Zurueck im Dashboard genehmigen Sie das Geraet auf dem Tab Setup oder Connectors. Das Token des Connectors wird ueber den Tunnel zugestellt – Sie muessen es nie in eine Datei einfuegen.
3

Richten Sie den Connector auf den /v1-Endpunkt Ihrer Laufzeit aus

Der Upstream des Connectors ist die eigene OpenAI-kompatible API der Laufzeit auf der Box, kein extern freigegebener Port. Standard-Ports: llama.cpp 8080, LM Studio 1234, Ollama 11434, Lemonade Server 13305 (alle mit /v1 angehaengt; fuer Ollama verwenden Sie seine /v1-OpenAI-kompatible API, nicht die native /api). Keine eingehende Firewall-Regel wird benoetigt – der Connector waehlt nur ausgehend.
4

Registrieren Sie ein Deployment

Auf dem Tab Models bilden Sie Ihre Upstream-Modell-ID auf einen oeffentlichen Deployment-Namen wie strix-coder ab. Clients senden diesen Deployment-Namen im model-Feld, nicht die Upstream-ID.
5

Erstellen Sie einen API-Schluessel

Auf dem Tab Keys erstellen Sie einen Schluessel. Schluessel sind sk-tok-… Bearer-Tokens, die einmal angezeigt werden, und koennen auf bestimmte Deployment-Namen-Muster eingeschraenkt werden.

​
Von Ihrem Coding-Agenten nutzen

Sobald der Connector gekoppelt und ein Deployment registriert ist, richten Sie Ihren Coding-Agenten auf Tokios statt auf die lokale Adresse der Box.
Claude Codes Modellauswahl listet nur claude*-IDs auf, daher erscheint Ihr Tokios-Deployment nicht in der Liste – uebergeben Sie --model strix-coder explizit.
Wenn Sie mehr als ein Backend auf der Box betreiben – zum Beispiel llama.cpp fuer ein Modell und Lemonade Server oder Ollama fuer ein anderes – verwenden Sie die Connector-Konfigurationsdatei, um mehrere Routen und Upstreams zu definieren, statt den Single-Upstream-Pairing-Flow zu nutzen. Siehe Modell-Routing fuer die Registrierung und den Wechsel zwischen mehreren Deployments hinter demselben Endpunkt.

​
Warum ein Endpunkt

  • Backends tauschen, ohne die Agenten-Konfiguration anzufassen. Wechseln Sie von llama.cpp zu LM Studio oder Ollama auf derselben Box, und jeder Agent, der bereits strix-coder anvisiert, funktioniert weiter – Sie aendern nur den Upstream des Connectors, nicht den Client.
  • Eingeschraenkte Schluessel statt einer gemeinsamen Bind-Adresse. Geben Sie einem Teammitglied einen Schluessel, der auf bestimmte Deployment-Muster begrenzt ist, statt den Port der Laufzeit fuer Ihr Netzwerk zu oeffnen.
  • Keine eingehenden Ports auf der Box. Der Connector stellt nur ausgehende Verbindungen her, also binden Sie die Laufzeit nicht an 0.0.0.0 oder pflegen Ihren eigenen Tunnel, nur um von einem Laptop oder Coding-Agent darauf zuzugreifen.

​
Kann Strix Halo Kimi K3 ausfuehren?

Nein. Strix Halos 128 GB Unified-Memory-Pool (~90-110 GB verfuegbar nach OS-Overhead) liegt weit unter dem, was Kimi K3 erfordert. K3 hat 2.8 Billionen Parameter gesamt und benoetigt etwa 1.4 TB bei seiner nativen MXFP4-Praezision (4 Bit pro Parameter) – vor Block-Skalen, Laufzeit-Puffern, Aktivierungen und KV-Cache. Selbst wenn Sie jedes Byte des 128 GB-Pools fuer Gewichte nutzen koennten, wuerden Sie immer noch ungefaehr 1.27 TB fehlen. Moonshot empfiehlt, K3 auf einem Supernode mit 64 oder mehr Beschleunigern zu betreiben. Fuer die vollstaendige Speicherberechnung und Cluster-Groesse siehe die Kimi K3 Hardware-Tiefenanalyse.
Suchen Sie ein Modell, das tatsaechlich auf Strix Halo passt? Siehe Was statt Kimi K3 ausfuehren – das beste Coding- und Allgemein-Modell fuer 128 GB Unified Memory.

​
Naechste Schritte

Schnellstart

Von null zu einem funktionierenden Connector, Deployment und API-Schluessel.

Connector installieren

Vollstaendige Connector-Installations- und Pairing-Referenz fuer alle Plattformen.

Claude Code verwenden

Konfigurieren Sie ANTHROPIC_BASE_URL und ANTHROPIC_API_KEY im Detail.

Connector-Konfigurationsreferenz

Mehrere Modelle von einer Box mit tokios-connector.json bereitstellen.