Zum Hauptinhalt springen
Ein lokales LLM (auch selbst gehostetes LLM) ist ein Open-Weight-Modell, das Sie auf Ihrer eigenen Hardware ausführen — einem Laptop, einer Workstation-GPU, einem Mac oder einem Homelab-Server — anstatt eine gehostete API aufzurufen, die Sie nicht kontrollieren. Dieser Abschnitt behandelt die Open-Weight-Familien, die gut lokal laufen, und wie Sie zwischen ihnen wählen. Tokios wählt, hostet oder fine-tunt das Modell nicht. Sie wählen es und führen es lokal aus; Tokios verwandelt das, was Sie betreiben, in einen stabilen, authentifizierten Endpunkt unter https://api.tokios.com, den jeder OpenAI- oder Anthropic-kompatible Client erreichen kann — keine eingehenden Ports, kein VPN.

​
In drei Schritten wählen

1

Die Aufgabe abgleichen

Coding-Agent, allgemeiner Chat, Reasoning, Vision oder Edge/CPU-Arbeit? Die Aufgabe grenzt die Familie schnell ein. Siehe Which local model for which task? für eine Aufgabe-für-Aufgabe-Aufschlüsselung mit agentenspezifischen Kriterien.
2

An Ihre Hardware anpassen

Ein Modell hilft nur, wenn es bei der benötigten Kontextlänge in Ihren VRAM oder Unified Memory passt. Siehe What size model fits your GPU? für die Größenberechnung und Quantization für den Größe/Qualität-Regler.
3

Die Lizenz prüfen

Lizenzen variieren stark — Apache-2.0 und MIT sind permissiv; andere (Llama Community, Gemma, NVIDIA Open Model License) tragen Bedingungen. Siehe How to read a model card, worauf Sie achten sollten, bevor Sie auf einem Modell aufbauen.

​
Die Familien und was aktuell ist

Jede Familie unten hat eine eigene Seite mit Tags, Größen, Hardware-Passung-Tabellen und Setup. Modellversionen bewegen sich schnell — diese Tabelle ist ein Ausgangspunkt; folgen Sie jeder Seite für den aktuellen Release.
Zuletzt verifiziert: Oktober 2026.
„Aktuell” bedeutet der neueste Open-Weight-Release, den Sie selbst herunterladen und ausführen können. Einige aktuelle Releases erfordern weiterhin Multi-GPU-Hardware, einschließlich DeepSeek-V4.1-Flash, GLM-5.3 und die Frontier-skalierten Kimi- und MiniMax-MoEs. Jede Familienseite nennt, was jetzt herunterladbar ist, was einen Server braucht und was noch aussteht.
Brauchen Sie ein aktuelles Frontier-Modell, das Sie trotzdem selbst hosten können? DeepSeek-V4.1-Flash local hardware vergleicht die Pfade 2× RTX PRO 6000, 2× DGX Spark und 2× Strix Halo, einschließlich ihres Unterstützungsreifegrads und Speichergrenzen.

​
Nach dem auswählen, was Sie tun

Allgemeiner Chat & Agenten

Qwen3.6, Llama, Gemma und gpt-oss sind starke Allrounder. Qwen3.8-27B ist der neueste Qwen-Release (vLLM/SGLM nur vorerst); Qwen3.6 ist der einfachste verifizierte Pfad, und Muse Glimmer ist die agentenfokussierte Wahl, die auf einer 24 GB-Karte resident bleibt.

Coding

Qwen3-Coder, Mistral’s Devstral und GLM zielen auf agentisches, Repository-skaliertes Coding.

Reasoning und Agenten

Beginnen Sie mit DeepSeek-V4.1-Flash für den aktuellen DeepSeek-Reasoning-, Coding-Agent- und Tool-Aufrufe-Release. Verwenden Sie R1-Destillate für kleinere Hardware. Für Frontier-skalierter agentisches Coding auf Workstation-Hardware führt Muse Spark Open das Open-Weight-Feld an.

Vision & multimodal

Qwen3-VL und Gemma 4 lesen Text, Bilder und Video — beginnen Sie mit Qwen3-VL. MiMo V2.6 fügt nativen Audio-Input über alle 3 Varianten hinzu.

Klein, Edge & CPU

Gemma’s E2B, Phi-4-mini, Granite und Mistral’s Ministral laufen auf Laptops und Edge-Boxen.

Formate & Hardware

Welches Gewichtsformat — GGUF, MLX, NVFP4, AWQ — läuft auf Ihrer GPU oder Ihrem Mac.

​
Sobald Sie eines gewählt haben

Tokios wählt das Modell nicht für Sie; es gibt dem, was Sie betreiben, einen stabilen, authentifizierten Endpunkt, den Sie von überall aufrufen können.

Schnellstart

Einen Connector paaren, ein Deployment registrieren und Ihren ersten Schlüssel komplett erstellen.

Ein Modell und Backend wählen

Ein Modell an Ihren Workflow, Backend und Ihre Deployment-Benennung anpassen.