provider, model und apiBase festlegt. Richten Sie diese apiBase auf https://api.tokios.com/v1 mit einem sk-tok-…-Schlüssel und Ihrem Tokios-Deployment-Namen als model, und Continue erreicht Ihr lokales Modell über einen authentifizierten Endpunkt — kein offener Port in Ihrem LAN erforderlich.
Voraussetzungen
- Ein laufender Tokios-Connector, der mit Ihrem lokalen Modell gekoppelt ist — siehe Connector-Installation
- Ein registrierter Modell-Deployment-Name — siehe Modell registrieren
- Ein Tokios-API-Schlüssel (
sk-tok-…) — siehe API-Schlüssel - Continue in Ihrem Editor installiert
Continue konfigurieren
1
Öffnen Sie die Konfigurationsdatei von Continue
Continue liest eine YAML-Konfiguration aus Ihrem Home-Verzeichnis:Das Verzeichnis heißt
.continue, mit einem führenden Punkt. Ältere Continue-Versionen verwendeten stattdessen config.json — falls Sie das haben, migrieren Sie entweder zu YAML oder übersetzen Sie den untenstehenden Block in das JSON-Schema, das Ihre Version erwartet.2
Fügen Sie einen OpenAI-kompatiblen Modellblock hinzu
Fügen Sie einen Modelleintrag mit einem OpenAI-kompatiblen
provider hinzu, wobei apiBase auf Tokios zeigt und model auf Ihren öffentlichen Deployment-Namen gesetzt ist — zum Beispiel gemma-tunnel:model ist der Deployment-Name, den Sie im Tab Models registriert haben, nicht Ihre lokale Modell-ID von Ollama, llama.cpp, vLLM oder LM Studio. Siehe Continues Konfigurationsdokumentation für die vollständige Liste der Konfigurationsschlüssel.3
Richten Sie Chat, Bearbeitung und Autovervollständigung auf dasselbe Modell aus
Continue ermöglicht es, verschiedene Rollen — Chat, Bearbeitung, Autovervollständigung — verschiedenen Modellen zuzuweisen. Referenzieren Sie denselben Jeder Abschnitt ist eine unabhängige Modelliste — der Block
Tokios-Modellblock für jede Rolle, die von Ihrem lokalen Modell bedient werden soll. Fügen Sie das Modell den Abschnitten tabAutocompleteModel und chat Ihrer Konfiguration hinzu:models oben registriert das Modell, und die Rollen-Abschnitte weisen es zu. Siehe Continues Konfigurationsdokumentation für die vollständige Liste der Rollen-Zuweisungsschlüssel.Ersetzen Sie
gemma-tunnel durch den von Ihnen registrierten Deployment-Namen und sk-tok-YOUR_KEY durch Ihren eigenen Schlüssel. Commiten Sie niemals einen von beiden in eine freigegebene oder eingecheckte Konfigurationsdatei.Ollama nicht an 0.0.0.0 binden
Der dokumentierte Weg von Continue, um eine Ollama-Instanz auf einem anderen Rechner zu erreichen, besteht darin,OLLAMA_HOST=0.0.0.0 auf dem Rechner mit Ollama zu setzen und apiBase auf die rohe LAN-IP dieses Rechners zu richten (zum Beispiel http://192.168.1.50:11434). Dadurch lauscht Ollama auf jeder Netzwerkschnittstelle, und Ollama wird ohne integrierte Authentifizierung ausgeliefert — jeder im Netzwerk, der den Port erreichen kann, kann Modelle auflisten und Inferenz ohne Anmeldeinformationen ausführen.
Lassen Sie Ollama auf 127.0.0.1 und führen Sie den Tokios-Connector daneben aus. Der Connector wählt nach https://api.tokios.com hin; Ollama öffnet niemals einen eingehenden Port, und jede Anfrage daran benötigt einen gültigen sk-tok-…-Schlüssel:
- Keine unauthentifizierte Exposition — nichts muss direkt Ihr LAN oder den Port Ihres Rechners erreichen.
- Dieselbe
apiBasevon jedem Netzwerk aus —https://api.tokios.com/v1funktioniert, egal ob Continue im selben LAN oder in einem anderen Gebäude ist. - Geltungsbereichsbegrenzte, widerrufbare Schlüssel — sperren Sie einen geleakten Schlüssel im Tab Keys, ohne Ollama oder den Connector anzufassen.
Fehlerbehebung
401-Fehler
401-Fehler
Der von Continue gesendete API-Schlüssel fehlt, ist fehlerhaft oder wurde widerrufen. Bestätigen Sie, dass das
apiKey Ihrer Konfiguration den vollständigen sk-tok-…-Schlüssel ohne zusätzliche Leerzeichen enthält, und prüfen Sie seinen Status im Tab Keys.403-Fehler
403-Fehler
Der Schlüssel existiert, ist aber nicht auf das Deployment beschränkt, das Sie in
model referenziert haben, oder Ihr Konto ist gesperrt. Prüfen Sie die Schlüssel-Muster im Tab Keys.404-Fehler
404-Fehler
Der
model-Wert in Ihrer Konfiguration stimmt nicht mit einem registrierten Deployment überein. Bestätigen Sie, dass er exakt dem öffentlichen Namen im Tab Models entspricht — nicht Ihrer lokalen Modell-ID von Ollama/llama.cpp/vLLM/LM Studio.503-Fehler
503-Fehler
Der Connector für dieses Deployment ist offline oder hat sein Nebenläufigkeitslimit erreicht. Prüfen Sie den Tab Connectors — der Connector muss als Online angezeigt werden, und der Rechner, auf dem er läuft, muss noch eingeschaltet und erreichbar sein.
Nächste Schritte
Ollama-Fernzugriff
Siehe die vollständige Argumentation gegen die Bindung von Ollama an
0.0.0.0, Port-Weiterleitung und Tunnels — sowie die nur-ausgehende Alternative.Kompatible Clients
Siehe Basis-URL- und Schlüssel-Einrichtung für andere OpenAI- und Anthropic-kompatible Clients.