https://api.tokios.com zur Verfügung zu stellen.
Nutzen Sie diese Seite, falls Sie lokale Modelle auf Hardware wie NVIDIA GB10- oder DGX Spark-Systemen, AMD Strix Halo- oder Ryzen AI Max-Systemen, Apple-Silicon-Macs mit großem Unified Memory, GPU-Workstations, Mini-PCs oder Heimlaborservern ausführen.
Welche Funktionen bietet Tokios?
Tokios ersetzt nicht den lokalen Modell-Interpreter. Es fungiert lediglich als Vermittler zwischen Ihren Clients und der bereits auf der Arbeitsstation laufenden Backend-Infrastruktur.Hardware – diese Seite bezieht sich auf Hardware
Tokios ist hilfreich, wenn das Gerät über genügend Speicher und Rechenleistung verfügt, um lokale Modelle auszuführen, die Werkzeuge jedoch an einem anderen Ort genutzt werden: auf einem Laptop, in einem Editor, von einem Programmier-Agenten, einem Notebook, einem Server-Prozess oder dem Client eines Teammitglieds.Empfohlene Einrichtung
1
Starten Sie das lokale Backend
Starten Sie Ihren Modell-Server auf dem Arbeitsplatzrechner. Tokios funktioniert mit Backends, die eine OpenAI-kompatible Chat Completions API bereitstellen – etwa Ollama, LM Studio, llama.cpp oder vLLM.
2
Installieren Sie den Connector auf dem Arbeitsplatzrechner
Führen Sie
tokios-connector auf demselben Rechner oder auf einem nahegelegenen System aus, das Zugriff auf das Backend hat. Der Connector stellt eine Verbindung zu Tokios her; daher müssen keine eingehenden Ports geöffnet werden.3
Erstellen Sie eine Deployment-Konfiguration
Weisen Sie die Upstream-Modell-ID des Backends einem öffentlichen Deployment-Namen wie
strix-coder, gb10-chat oder local-qwen zu. Clients übermitteln diesen Deployment-Namen im Feld model.4
Richten Sie Ihre Werkzeuge auf Tokios aus
Nutzen Sie
https://api.tokios.com/v1 für Clients im OpenAI-Stil sowie https://api.tokios.com für Clients im Anthropic-Stil.Arbeitsabläufe mit Fokus auf Hardware
Benennung von Deployments
Verwenden Sie Bezeichnungen, die die Aufgabe beschreiben, nicht bloß die Hardware. Dadurch lassen sich Client-Konfigurationen leichter stabil halten.Was sollte getestet werden
Käufer lokaler KI-Workstations vergleichen Hardware meist anhand der Modellgröße oder der Anzahl der Tokens pro Sekunde. Bei Tokios ist es ratsam, den Workflow zu messen, den Sie tatsächlich einsetzen möchten.
Nutzen Sie Benchmark einer Tokios-Deployment, um verschiedene Deployments mit identischem Prompt und Hardware zu vergleichen.
Weitere Schritte
Verbinden Sie ein Backend
Konfigurieren Sie Ollama, LM Studio, llama.cpp oder vLLM als Ihr lokales Upstream-Modell.
Installieren Sie den Connector
Starten Sie den Connector neben Ihrem Workstation-Modellserver.
Nutzen Sie Coding-Agenten
Verbinden Sie Claude Code, OpenAI Codex sowie weitere kompatible Coding-Clients.
Benchmark einer Deployment
Vergleichen Sie lokale Modelle sowie Backends über denselben Tokios-Endpunkt.