https://api.tokios.com, den jeder OpenAI- oder Anthropic-kompatible Client nutzen kann – ohne Einrichtung von Eingangsports oder VPNs.
Auswahl in drei Schritten
1
Passen Sie das Modell zur Aufgabe an
Handelt es sich um einen Coding-Agenten, allgemeinen Chat, logisches Denken, Bildverarbeitung oder Arbeit auf Edge-Systemen/CPUs? Die Aufgabe schränkt die Auswahl der Modellfamilie schnell ein. Unter Welches lokale Modell für welche Aufgabe? finden Sie eine detaillierte Aufschlüsselung nach Aufgaben sowie spezifische Auswahlkriterien.
2
Stellen Sie die Kompatibilität mit Ihrer Hardware sicher
Ein Modell ist nur nützlich, wenn es bei der gewünschten Kontextlänge in Ihren VRAM bzw. das gemeinsame Arbeitsspeicher passt. Unter Welche Modellgröße passt zu Ihrer GPU? erfahren Sie die Berechnungsgrundlagen; unter Quantisierung erfahren Sie mehr über die Abhängigkeit von Größe und Qualität.
3
Prüfen Sie die Lizenzbedingungen
Die Lizenzen unterscheiden sich stark – Apache-2.0 und MIT sind sehr liberal; andere (Llama Community, Gemma, NVIDIA Open Model License) enthalten zusätzliche Auflagen. Unter Wie man eine Modellbeschreibung liest erfahren Sie, worauf Sie achten müssen, bevor Sie ein Modell nutzen.
Die Modellfamilien sowie deren aktueller Stand
Für jede der unten aufgeführten Familien existiert eine eigene Seite mit Tags, Größenangaben, Tabellen zur Hardware-Kompatibilität sowie Installationsanleitungen. Da sich Modellversionen rasch weiterentwickeln, dient diese Übersicht lediglich als Ausgangspunkt; für die jeweils aktuellste Version empfiehlt es sich, die spezifischen Seiten zu konsultieren.Unter „aktuell“ versteht man die neueste Open-Weight-Version, die man selbst herunterladen und ausführen kann. Einige aktuelle Versionen erfordern jedoch weiterhin Hardware mit mehreren GPUs, darunter
DeepSeek-V4-Flash-0731, GLM-5.2 sowie die großen MoE-Modelle Kimi und MiniMax. Auf den jeweiligen Produktseiten wird angegeben, was derzeit herunterladbar ist, welche Modelle einen Server benötigen und welche noch nicht verfügbar sind.Wählen Sie nach Ihrem Einsatzzweck
Allgemeine Gespräche & Agenten
Qwen3.6, Llama, Gemma sowie gpt-oss sind ausgezeichnete Allrounder. Qwen3.8-27B stellt die neueste Qwen-Version dar – derzeit nur für vLLM und SGLang verfügbar. Qwen3.6 bietet den einfachsten, bewährten Weg zur Nutzung; Muse Glimmer hingegen ist die ideale Wahl für Agenten und lässt sich problemlos auf einer 24 GB großen Grafikkarte betreiben.
Programmierung
Qwen3-Coder, Devstral von Mistral sowie GLM sind ideal für agentenbasierte Programmierung auf Repository-Ebene.
Schlussfolgerungen & Agenten
Beginnen Sie mit DeepSeek-V4-Flash-0731 für die aktuelle Version von DeepSeek, die für logisches Schlussfolgern, Programmierung und Tool-Aufrufe geeignet ist. Für Systeme mit geringerer Rechenleistung empfiehlt sich die Nutzung von R1 Distills.
Bildverarbeitung & Multimodalität
Qwen3-VL sowie Gemma 4 können Text, Bilder und Videos verarbeiten – am besten startet man mit Qwen3-VL.
Kleine Modelle, Edge-Anwendungen & CPU-Nutzung
Gemma’s E2B, Phi-4-mini, Granite sowie Mistral’s Ministral lassen sich auf Laptops und Edge-Geräten nutzen.
Formate und Hardware
Welches Gewichtsformat – GGUF, MLX, NVFP4 oder AWQ – ist auf Ihrer GPU bzw. Ihrem Mac kompatibel?
Nachdem Sie sich für ein Format entschieden haben
Tokios wählt das Modell nicht für Sie aus; es stellt lediglich einen stabilen, authentifizierten Endpunkt bereit, den Sie von überall aus aufrufen können.Schnellstart
Verknüpfen Sie einen Connector, registrieren Sie eine Deployment und erstellen Sie anschließend Ihren ersten API-Schlüssel.
Wählen Sie ein Modell sowie ein Backend aus
Passen Sie das Modell an Ihren Arbeitsablauf, das Backend sowie die gewünschte Bezeichnung der Deployment an.