Zum Hauptinhalt springen

​
Warum Modellnamen wichtig sind

Durchsuchen Sie Hugging Face oder die Modellbibliothek von Ollama, und Sie werden Namen wie Qwen/Qwen3-235B-A22B-Instruct oder bartowski/Llama-3.3-70B-Instruct-GGUF sehen. Dies sind keine zufälligen Zeichenfolgen – jedes Segment kodiert eine Entscheidung, die Sie treffen müssen, bevor Sie das Modell herunterladen. Der Name verrät Ihnen:
  • Wie groß das Modell ist – und damit, wie viel VRAM oder Systemspeicher es benötigt.
  • Wofür es trainiert wurde – allgemeiner Chat, Programmierung, Reasoning, Vision oder rohe Textvervollständigung.
  • Wie es komprimiert wurde – und welchen Qualitätsverlust Sie im Austausch gegen die Größe in Kauf nehmen.
  • Wer es erstellt hat – und ob die Gewichte original sind oder eine Neuverpackung durch Dritte.
Das Erlernen dieser Konventionen dauert 5 Minuten und erspart Ihnen das Herunterladen eines 70B-Modells, das nicht auf Ihre GPU passt, oder die Verschwendung von VRAM für ein Basis-Modell, das keine Anweisungen befolgen kann.

​
Die Anatomie eines Modellnamens

Die meisten Open-Weight-Modellnamen folgen einem Muster:
Nicht jeder Name enthält jedes Segment, und Verleger variieren die Trennzeichen – einige verwenden Bindestriche, andere Schrägstriche oder nichts. Aber Sie können normalerweise diese Teile identifizieren: Echte Beispiele, Segment für Segment analysiert: Qwen/Qwen3-235B-A22B-Instruct mistralai/Mistral-7B-Instruct-v0.3 TheBloke/Llama-2-7B-Chat-GGUF — TheBloke (Quantisierer von Drittanbietern), Llama 2, 7B Parameter, chat-optimiert, GGUF-Format.
Wenn die Organisation ein Quantisierer von Drittanbietern wie TheBloke, bartowski oder unsloth ist, wurde das Modell selbst von jemand anderem trainiert – das Repository enthält eine neuverpackte oder quantisierte Version der ursprünglichen Gewichte.

​
Größenbezeichnungen decodiert

Die Zahl vor B ist die Parameteranzahl in Milliarden. Sie ist der größte Treiber sowohl für die Fähigkeiten als auch für den Speicherbedarf.

​
MoE-Modelle: zwei Zahlen

MoE (Mixture-of-Experts) Modelle listen sowohl Gesamt- als auch aktive Parameter auf, geschrieben als 235B-A22B oder 30B-A3B:
  • Die erste Zahl ist die Gesamt-Parameteranzahl – was Sie im Speicher oder auf der Festplatte speichern müssen.
  • Die zweite Zahl (nach A) ist die aktive Parameteranzahl – wie viele Parameter pro Token berechnet werden.
Ein 235B-A22B-Modell benötigt genug Speicher, um 235B Parameter zu halten, berechnet aber nur mit 22B auf einmal, sodass es Tokens viel schneller generiert als ein dichtes 235B-Modell. Der Kompromiss: MoE-Modelle sind auf der Festplatte und im Speicher größer als ein dichtes Modell der gleichen aktiven Größe, aber bei der Inferenz schneller.
Ein 235B-A22B MoE-Modell entspricht in der Geschwindigkeit pro Token ungefähr einem dichten 22B-Modell, aber Sie benötigen immer noch VRAM oder System-RAM, um alle 235B Parameter zu speichern. Bei Q4_K_M sind das ungefähr 120 GB – weit mehr als bei einem dichten 22B-Modell mit seinen 13 GB.

​
Wie die Parameteranzahl mit der Fähigkeit zusammenhängt

Mehr Parameter bedeuten im Allgemeinen mehr Fähigkeiten, aber die Beziehung ist nicht linear. Ein 70B-Modell ist nicht 10x besser als ein 7B-Modell – es ist deutlich besser im Reasoning, bei Nuancen und komplexen Aufgaben, aber ein gut abgestimmtes 7B-Modell kann immer noch alltäglichen Chat und einfache Programmieraufgaben gut bewältigen. Die richtige Größe hängt von Ihrer Hardware und Ihrer Aufgabe ab, nicht nur von der Regel „größer ist besser“.

​
Architektur-Suffixe

Verleger fügen Suffixe hinzu, um Architekturvarianten jenseits des Basis-Modells zu signalisieren. Diese beeinflussen, was das Modell tun kann und welche Hardware es benötigt.
Ein dichtes Modell verwendet jeden Parameter für jedes Token. Ein MoE (Mixture-of-Experts) Modell leitet jedes Token durch eine Teilmenge von „Experten“-Subnetzwerken. MoE-Modelle sind in der Gesamtzahl der Parameter größer, aber pro Token schneller, da nur die aktiven Parameter berechnet werden. Wenn ein Modellname zwei Größenangaben enthält (wie 235B-A22B), ist es MoE.
Modelle mit der Bezeichnung -VL akzeptieren Bilder oder Videos zusätzlich zu Text. Beispiele: Qwen3-VL-32B-Instruct, gemma-4-12b-it. VL-Modelle benötigen zusätzlichen VRAM für den Vision-Encoder neben den Sprachmodellgewichten.
Modelle mit der Bezeichnung -Coder sind primär auf Code feinabgestimmt oder trainiert. Sie übertreffen in der Regel allgemeine Modelle der gleichen Größe bei Programmieraufgaben, können aber bei offenen Gesprächen schwächer sein. Beispiel: Qwen3-Coder-480B-A35B-Instruct.
Modelle mit -Math oder spezifischen Reasoning-Labels werden auf mathematisches Problemlösen und Chain-of-Thought-Daten trainiert. Sie sind stärker in der schrittweisen Logik als allgemeine Modelle der gleichen Größe, haben aber einen engeren Anwendungsbereich.
Einige Verleger kennzeichnen experimentelle Releases als next, preview oder experimental. Diese können unvollständiges Training oder ungetestete Chat-Templates haben – nützlich für die Evaluation, nicht für die Produktion.

​
Trainingsstufen-Labels

Die Trainingsstufe verrät Ihnen, ob das Modell ein Gespräch führen oder nur Text vervollständigen kann. Dies ist das wichtigste Segment, um zu entscheiden, ob ein Modell sofort einsatzbereit ist. Instruct und Chat sind für die meisten Zwecke austauschbar – beide bedeuten, dass das Modell feinabgestimmt wurde, um auf Benutzeraufforderungen zu reagieren. Chat ist das ältere Label (Llama 2 hat es verwendet); Instruct ist in neueren Familien häufiger. Einige Verleger wie Mistral verwenden keines davon und verlassen sich stattdessen auf Versionstags (v0.3) neben dem Basisnamen.
Für die lokale Verwendung möchten Sie fast immer Instruct oder Chat. Ein Base-Modell kann keine Anweisungen befolgen – es vervollständigt nur Text – und liefert verwirrende Ausgaben, wenn Sie es wie einen Chatbot abfragen.
Wenn Sie ein Modell ohne Trainingsstufen-Label und ohne Base-Tag sehen, prüfen Sie die Modellkarte, bevor Sie annehmen, dass es anweisungsgesteuert ist. Einige Verleger geben feinabgestimmte Modelle ohne Label heraus, andere geben Basis-Modelle ohne Label heraus.

​
Quantisierungsbezeichnungen (die GGUF-Welt)

GGUF-Quantisierungsbezeichnungen folgen einem Namensschema, das im llama.cpp quantize README dokumentiert ist. Die Q-Zahl gibt ungefähr an, wie viele Bits pro Gewicht verwendet werden; höher bedeutet größere Datei und höhere Qualität. K-Quants fügen gemischte Präzision hinzu – verschiedene Tensoren erhalten unterschiedliche Bitbreiten je nach Empfindlichkeit – und die abschließenden S/M/L markieren kleine/mittlere/große Varianten innerhalb dieses Levels. Hier ist der vollständige Bereich, auf den Sie stoßen werden, mit praktischen Hinweisen:

​
Praktische Sweet Spots

  • Q4_K_M – Starten Sie hier. Gute Qualität, passt auf Consumer-Hardware.
  • Q5_K_M – Steigen Sie auf, wenn Ihr VRAM Spielraum hat. Nahezu verlustfrei für die meisten Aufgaben.
  • Q8_0 – Minimaler Verlust. Verwenden Sie, wenn Qualität kritisch ist und Speicher verfügbar ist.
  • Q3_K_M – Gehen Sie nur darauf zurück, um ein größeres Modell unterzubringen, das bei Q4_K_M nicht lädt. Erwarten Sie einen Qualitätsverlust.

​
Größenvergleich: ein 7B-Modell bei jeder Quantisierung

Die Dateigröße eines GGUF-Quants ist Ihre tatsächliche VRAM-Zahl für die Gewichte. Fügen Sie den KV-Cache hinzu (siehe KV-Cache und Kontext), um den gesamten Speicherbedarf zu ermitteln.

​
I-Quants (imatrix) vs. K-Quants

Sie können auch Quant-Namen sehen, die mit IQ beginnen – wie IQ4_XS oder IQ3_XXS. Dies sind imatrix-Quants, die mit einer Wichtigkeitsmatrix erstellt werden: Kalibrierungsdaten, die dem Quantisierer sagen, welche Gewichte am wichtigsten sind, damit sie sorgfältiger erhalten werden können. I-Quants können bei gleicher Bitbreite eine bessere Qualität als K-Quants erzeugen, insbesondere bei sehr niedrigen Bitbreiten, auf Kosten eines langsameren Quantisierungsprozesses. Wenn ein Repository sowohl Q4_K_M als auch IQ4_M anbietet, kann das I-Quant etwas besser sein – aber der Unterschied ist normalerweise klein genug, dass beide funktionieren. Für eine tiefere Erklärung, wie Quantisierung funktioniert und warum K-Quants einfache Quants übertreffen, siehe Quantisierung.

​
Andere gängige Suffixe

Neben Quantisierungsbezeichnungen enthalten Modellnamen Format- und Präzisionstags, die Ihnen sagen, welches Backend die Datei laden kann.
Das Format, das von llama.cpp-basierten Backends verwendet wird – Ollama, LM Studio und jeder llama.cpp-Server. GGUF-Dateien bündeln Gewichte, Tokenizer und Chat-Template in 1 Datei. Die meisten Consumer-Hardware laufen mit GGUF.
Ein GPU-Quantisierungsformat (typischerweise 4-Bit oder 8-Bit), das auf NVIDIA-GPUs über AutoGPTQ oder vLLM läuft. Schneller als GGUF auf der GPU, aber nur für NVIDIA und nicht kompatibel mit llama.cpp-Backends.
Aktivitätsbewusste Gewichtungsquantisierung – ein weiteres GPU-Format, ähnlich wie GPTQ, aber mit Aktivitätsstatistiken kalibriert. Unterstützt von vLLM und einigen anderen Inferenz-Engines. NVIDIA-GPUs.
Das ExLlamaV2-Format – unterstützt gemischte Verhältnis-Quantisierung, bei der verschiedene Schichten unterschiedliche Bitbreiten verwenden. Optimiert für NVIDIA-GPUs und die ExLlamaV2-Inferenz-Engine.
Volle 16-Bit-Präzision. FP16 (float16) und BF16 (bfloat16) sind beide 2 Bytes pro Parameter. BF16 hat einen breiteren Exponentenbereich und ist während des Trainings numerisch stabiler; für die Inferenz verhalten sich beide ähnlich. Erfordert vLLM oder ähnliche Engines.
8-Bit-Gleitkommazahl – die Hälfte der Größe von FP16 mit minimalem Qualitätsverlust. Wird von Inferenz-Engines wie vLLM und SGLang auf GPUs verwendet, die FP8 unterstützen (NVIDIA Ada Lovelace und neuer, AMD MI300).
NVIDIAs 4-Bit-Gleitkommazahl-Format, verfügbar auf Blackwell-GPUs einschließlich DGX Spark. Bietet aggressive Größenreduzierung mit hardwarenativer Unterstützung – siehe DGX Spark Modellkompatibilität.

​
Quantisierung vom Verleger vs. Drittanbieter

Mehrere Parteien veröffentlichen oft quantisierte Versionen desselben Modells:
  • Verleger-Quants – Qwen, Mistral, Google und andere liefern zunehmend ihre eigenen GGUF-Dateien zusammen mit Gewichten in voller Präzision. Dies ist in der Regel die sicherste Wahl, da der Verleger die ursprünglichen Gewichte und das Chat-Template kontrolliert.
  • Unsloth – Liefert GGUF-Quants mit optimierten Chat-Templates und dynamischer Quantisierung. Bietet auch 1.58-Bit-Varianten (unsloth/...-1.58bit), die extrem klein sind. Im Allgemeinen zuverlässig und weit verbreitet.
  • TheBloke – Proliferierender früher Quantisierer, dessen Repos das GGUF-Verteilungssystem mitgeprägt haben. Gut organisiert, aber kann hinter den neuesten Modellen zurückbleiben oder Chat-Template-Updates für aktuelle Releases verpassen.
  • bartowski – Aktiver Community-Quantisierer mit konsistenter Benennung und guter Abdeckung neuer Releases. Oft unter den Ersten, die GGUF-Varianten veröffentlichen, wenn ein neues Modell erscheint.

​
Wie man ein Quant von Drittanbietern überprüft

  1. Stellen Sie sicher, dass das Repository zum ursprünglichen Modell verlinkt.
  2. Vergleichen Sie die Dateigröße mit dem, was Sie bei diesem Quantisierungslevel erwarten würden (die obige Tabelle ist eine Referenz).
  3. Suchen Sie nach den Chat-Template-Metadaten – ein fehlendes oder falsches Template verschlechtert die Ausgabe stillschweigend.
  4. Wenn Perplexitäts-Benchmarks für das Quant veröffentlicht sind, vergleichen Sie sie mit den eigenen Zahlen des Verlegers.

​
Schnellentscheidungsleitfaden

Passen Sie Ihre Hardware an eine Modellgröße und ein Quantisierungslevel an:

8 GB VRAM

7B Q4_K_M oder 14B Q3_K_M. Bleiben Sie bei kleineren Modellen mit komfortablen Quants – ein 7B bei Q4_K_M übertrifft ein 14B bei Q2_K.

16 GB VRAM

14B Q5_K_M oder 32B Q4_K_M. Das 14B bei Q5 ist nahezu verlustfrei; das 32B bei Q4 tauscht etwas Qualität gegen deutlich mehr Fähigkeiten ein.

24 GB VRAM

32B Q5_K_M oder 70B Q4_K_M. Das 32B bei Q5 ist der Sweet Spot für die Qualität auf einer einzelnen GPU. Ein 70B bei Q4 erhöht die Fähigkeiten, füllt aber die meiste VRAM.

48 GB+

70B Q5_K_M oder MoE-Modelle wie 235B-A22B Q4_K_M mit Offloading. Sie haben Platz für hochwertige Quants der größten Modelle.

128 GB (DGX Spark)

120B+ MoE-Modelle bei FP8 oder NVFP4. Volle Präzision oder nahezu volle Präzision von Frontier-Scale-Modellen. Siehe DGX Spark Modellkompatibilität.

Nur CPU

3B Q4_K_M oder 7B Q3_K_M. CPU-Inferenz ist langsam – halten Sie das Modell klein. Erwarten Sie 1–5 Tokens pro Sekunde.
Dies sind Ausgangspunkte. Ihr tatsächlicher VRAM-Verbrauch hängt auch von der Kontextlänge ab (der KV-Cache wächst mit dem Kontext), der Batch-Größe und davon, ob das Backend Schichten in den System-RAM auslagert. Verwenden Sie den Modell-Passform-Leitfaden für präzise Größenbestimmung.

​
Warnsignale bei der Benennung

Nicht jeder Modellname folgt Konventionen, und einige Muster erfordern Vorsicht:
  • Keine Größenbezeichnung – Ein Modellname ohne Parameteranzahl kann alles sein. Prüfen Sie die Modellkarte vor dem Herunterladen.
  • “Uncensored”-Varianten – In der Regel nur Sicherheits-Training entfernt, keine Verbesserung der Fähigkeiten. Die Qualität des Basis-Modells kann unverändert oder schlechter sein, wenn die Entfernung die Ausrichtung beschädigt hat.
  • Zusammengeführte Modelle – Kombinieren Gewichte von 2 oder mehr Modellen (zum Beispiel, ein Programmiermodell mit einem Chatmodell zu verschmelzen). Die Qualität variiert stark und ist allein aus dem Namen schwer vorherzusagen. Suchen Sie nach der Verschmelzungsmethode (SLERP, DARE, TIES) und ob Evaluierungsergebnisse veröffentlicht sind.
  • Extrem niedrige Quants – Q2_K ist fast immer zu verlustbehaftet für alles außer dem Testen, ob ein Modell lädt. Erwarten Sie beeinträchtigtes Reasoning, kaputte Formatierung und Halluzinationen. Wenn ein Modell nur Q2-Quants anbietet, suchen Sie nach einem anderen Modell mit der gleichen Parameteranzahl.
  • Versionsnummern ohne Änderungsprotokolle – v0.1 bis v0.9 ohne klare Beschreibung, was sich zwischen den Versionen geändert hat. Verwenden Sie die neueste, es sei denn, Sie haben einen spezifischen Grund dagegen.
  • “AWSD” oder ähnliche Hype-Tags – Einige Repos fügen aufmerksamkeitserzeugende Suffixe hinzu, die nicht mit einer Standardtechnik übereinstimmen. Wenn Sie den Begriff anderswo nicht finden, behandeln Sie ihn skeptisch.

​
Alles zusammenfügen

Nehmen Sie unsloth/Qwen3-30B-A3B-Instruct-GGUF. Von links nach rechts gelesen:
  1. unsloth – quantisiert von Unsloth (Quantisierer von Drittanbietern).
  2. Qwen3 – Qwen3-Architektur, aktuelle Generation von Alibaba.
  3. 30B-A3B – MoE-Modell: 30B Gesamtparameter, 3B aktiv pro Token.
  4. Instruct – anweisungsgesteuert, bereit für Chat.
  5. GGUF – llama.cpp-Format, läuft auf Ollama, LM Studio oder jedem llama.cpp-Backend.
Allein aus dem Namen wissen Sie: Dies ist ein kleines MoE-Modell, das schnell läuft, bei Q4_K_M in 8 GB VRAM passt und Anweisungen befolgen kann. Sie müssen die Modellkarte nicht öffnen, um zu entscheiden, ob Sie es ausprobieren möchten. Vergleichen Sie nun meta-llama/Llama-3.3-70B-Instruct. Das ist Metas Llama 3.3, 70B dichte Parameter, anweisungsgesteuert – kein GGUF-Tag bedeutet, dass Sie sich Gewichte in voller Präzision ansehen, die vLLM oder eine ähnliche Engine benötigen. Der Name sagt Ihnen, dass es sich um ein großes, hochwertiges Modell handelt, das ernsthafte Hardware erfordert.

​
Als Nächstes: die Modellkarte lesen

Jetzt, da Sie den Namen decodieren können, verrät Ihnen die Modellkarte alles, was der Name nicht sagt – Kontextlänge, Lizenz, Chat-Template und beabsichtigte Verwendung.

Modellkarte lesen

Finden Sie die Parameter, Architektur, Kontextlänge und Lizenz, die wichtig sind, bevor Sie herunterladen.

Quantisierung

Wie Quantisierung funktioniert und warum K-Quants einfache Quants übertreffen.

Modell-Passform-Leitfaden

Prüfen Sie, ob eine Modell- und Quant-Kombination auf Ihre Hardware passt.