Zum Hauptinhalt springen
Lokale KI-Workstations sind leistungsstark, aber die meisten Clients erwarten weiterhin einen API-Endpunkt im Cloud-Stil. Tokios laesst Sie das Modell auf Ihrer eigenen Hardware behalten und gibt Ihren Tools einen stabilen OpenAI- oder Anthropic-kompatiblen Endpunkt unter https://api.tokios.com. Verwenden Sie diese Seite, wenn Sie lokale Modelle auf Hardware wie NVIDIA GB10- oder DGX-Spark-Systemen, AMD Strix Halo- oder Ryzen AI Max-Systemen, Apple Silicon Macs mit viel Unified Memory, GPU-Workstations, Mini-PCs oder Homelab-Servern betreiben.

​
Was Tokios hinzufuegt

Tokios ersetzt Ihre lokale Modell-Laufzeit nicht. Es sitzt zwischen Ihren Clients und dem Backend, das Sie bereits auf der Workstation betreiben.

​
Hardware, fuer die diese Seite gedacht ist

Tokios ist nuetzlich, wenn die Maschine genug Speicher und Rechenleistung hat, um lokale Modelle auszufuehren, aber die Tools, die Sie nutzen, woanders leben: auf einem Laptop, in einem Editor, einem Coding-Agenten, einem Notebook, einem Server-Prozess oder dem Client eines Teammitglieds.

​
Empfohlenes Setup

1

Das lokale Backend starten

Starten Sie Ihren Modell-Server auf der Workstation. Tokios funktioniert mit Backends, die eine OpenAI-kompatible Chat Completions API freigeben, wie Ollama, LM Studio, llama.cpp oder vLLM.
2

Den Connector auf der Workstation installieren

Führen Sie tokios-connector auf derselben Maschine aus oder auf einem nahen Rechner, der das Backend erreichen kann. Der Connector waehlt ausgehend zu Tokios, sodass Sie keine eingehenden Ports oeffnen muessen.
3

Ein Deployment registrieren

Bilden Sie die Upstream-Modell-ID des Backends auf einen oeffentlichen Deployment-Namen wie strix-coder, gb10-chat oder local-qwen ab. Clients senden diesen Deployment-Namen im model-Feld.
4

Ihre Tools auf Tokios ausrichten

Verwenden Sie https://api.tokios.com/v1 fuer OpenAI-Stil-Clients und https://api.tokios.com fuer Anthropic-Stil-Clients.

​
Hardware-orientierte Workflows

​
Deployments benennen

Verwenden Sie Namen, die den Job beschreiben, nicht nur die Hardware. Das macht Client-Konfigurationen leichter stabil zu halten.
Wenn Sie von einer Workstation auf eine andere upgraden, behalten Sie denselben Deployment-Namen und aktualisieren Sie die Connector-Route. Ihre Clients koennen denselben model-Wert weiter verwenden.

​
Was zu benchmarken ist

Kaeufer lokaler KI-Workstations vergleichen Hardware oft nach Modellgroesse oder rohen Tokens pro Sekunde. Messen Sie bei Tokios den Workflow, den Sie tatsaechlich ausfuehren wollen. Verwenden Sie Ihr Deployment testen, um Deployments mit demselben Prompt und derselben Hardware zu vergleichen.

​
Naechste Schritte

Ein Backend verbinden

Ollama, LM Studio, llama.cpp oder vLLM als Ihr lokales Upstream konfigurieren.

Connector installieren

Den Connector neben Ihrem Workstation-Modell-Server betreiben.

Coding-Agenten verwenden

Claude Code, OpenAI Codex und kompatible Coding-Clients verbinden.

Ihr Deployment testen

Lokale Modelle und Backends ueber denselben Tokios-Endpunkt vergleichen.