provider, model, and apiBase. Point that apiBase at https://api.tokios.com/v1 with an sk-tok-… key and your Tokios deployment name as the model, and Continue reaches your local model over one authenticated endpoint — no open port on your LAN required.
Voraussetzungen
- Ein laufender Tokios-Connector, der mit Ihrem lokalen Modell gekoppelt ist — siehe Connector Install
- Ein registrierter Modell-Deployment-Name — siehe Register a Model
- Ein Tokios API-Schlüssel (
sk-tok-…) — siehe API Keys - Continue in Ihrem Editor installiert
Continue konfigurieren
1
Öffnen Sie die Konfigurationsdatei von Continue
Continue liest eine YAML-Konfiguration aus Ihrem Home-Verzeichnis:Das Verzeichnis ist
.continue, mit einem führenden Punkt. Ältere Continue-Versionen verwendeten stattdessen config.json — falls Sie das haben, migrieren Sie entweder zu YAML oder übersetzen Sie den untenstehenden Block in das JSON-Schema, das Ihre Version erwartet.2
Fügen Sie einen OpenAI-kompatiblen Modellblock hinzu
Fügen Sie einen Modelleintrag mit einem OpenAI-kompatiblen
provider hinzu, wobei apiBase auf Tokios zeigt und model auf Ihren öffentlichen Bereitstellungsnamen gesetzt ist — zum Beispiel gemma-tunnel:model ist der Bereitstellungsnamen, den Sie im Models-Tab registriert haben, nicht Ihre Ollama-, llama.cpp-, vLLM- oder LM Studio-Lokale-Modell-ID. Bestätigen Sie die genauen YAML-Schlüsselnamen (provider, apiBase, apiKey) gegen das Konfigurationsschema Ihrer installierten Continue-Version.3
Richten Sie Chat, Bearbeitung und Autovervollständigung auf dasselbe Modell ein
Continue ermöglicht es, verschiedene Rollen — Chat, Bearbeitung, Autovervollständigung — verschiedenen Modellen zuzuweisen. Verweisen Sie für jede Rolle, die von Ihrem lokalen Modell bedient werden soll, auf denselben
Tokios-Modellblock, damit jede Rolle denselben Tokios-Endpunkt aufruft. Überprüfen Sie das Konfigurationsschema Ihrer installierten Continue-Version für die genaue Syntax zur Rollenzuweisung.Ersetzen Sie
gemma-tunnel durch den registrierten Bereitstellungsnamen und sk-tok-YOUR_KEY durch Ihren eigenen Schlüssel. Übertragen Sie niemals eines von beiden in eine freigegebene oder eingecheckte Konfigurationsdatei.Binden Sie Ollama nicht an 0.0.0.0
Die dokumentierte Methode von Continue, auf eine Ollama-Instanz auf einem anderen Rechner zuzugreifen, besteht darin,OLLAMA_HOST=0.0.0.0 auf dem Rechner festzulegen, auf dem Ollama läuft, und apiBase auf die rohe LAN-IP dieses Rechners zu zeigen (zum Beispiel http://192.168.1.50:11434). Dadurch hört Ollama auf jede Netzwerkschnittstelle, und Ollama wird ohne integrierte Authentifizierung ausgeliefert — jeder im Netzwerk, der den Port erreichen kann, kann Modelle auflisten und Inferenz ohne Anmeldeinformationen ausführen.
Halten Sie Ollama auf 127.0.0.1 und führen Sie den Tokios-Connector daneben aus. Der Connector wählt zu https://api.tokios.com aus; Ollama öffnet niemals einen eingehenden Port, und jede Anfrage an ihn erfordert einen gültigen sk-tok-…-Schlüssel:
- Keine unauthentifizierte Exposition — nichts muss direkt Ihr LAN oder den Port Ihres Rechners erreichen.
- Derselbe
apiBasevon jedem Netzwerk aus —https://api.tokios.com/v1funktioniert, ob Continue im selben LAN oder in einem völlig anderen Gebäude ist. - Eingeschränkte, widerrufbare Schlüssel — sperren Sie einen geleakten Schlüssel auf der Keys-Registerkarte, ohne Ollama oder den Connector zu berühren.
Fehlerbehebung
401-Fehler
401-Fehler
Der von Continue gesendete API-Schlüssel fehlt, ist fehlerhaft oder wurde widerrufen. Bestätigen Sie, dass das
apiKey Ihrer Konfiguration den vollständigen sk-tok-…-Schlüssel ohne zusätzliche Leerzeichen enthält, und prüfen Sie dessen Status auf der Keys-Registerkarte.403-Fehler
403-Fehler
Der Schlüssel existiert, ist aber nicht auf die in
model referenzierte Deployment beschränkt, oder Ihr Konto ist gesperrt. Prüfen Sie die Mustern des Schlüssels auf der Keys-Registerkarte.404-Fehler
404-Fehler
Der
model-Wert in Ihrer Konfiguration stimmt nicht mit einem registrierten Deployment überein. Bestätigen Sie, dass er exakt dem öffentlichen Namen auf der Models-Registerkarte entspricht — nicht Ihrer lokalen Modell-ID von Ollama/llama.cpp/vLLM/LM Studio.503-Fehler
503-Fehler
Der Connector für dieses Deployment ist offline oder hat seine gleichzeitige Verbindungsbeschränkung erreicht. Prüfen Sie die Connectors-Registerkarte — der Connector muss als Online angezeigt werden, und die Maschine, die ihn ausführt, muss weiterhin online und erreichbar sein.
Nächste Schritte
Ollama-Fernzugriff
Siehe die vollständige Argumentation gegen die Bindung von Ollama an
0.0.0.0, Port-Weiterleitung und Tunnels — sowie die nur-ausgehende Alternative.Kompatible Clients
Siehe Einrichtung von Basis-URL und Schlüssel für andere OpenAI- und Anthropic-kompatible Clients.