Q4_K_M, INT4, FP8 – wie viele Bits verwendet werden und wie sie angeordnet sind; erläutert in Quantisierung erklärt) sowie das Quantisierungsformat (GGUF, AWQ, NVFP4 – das Dateiformat und der Kernel, der genutzt wird; sie bestimmen, welche Hardware das Format überhaupt laden kann). Diese Seite befasst sich mit der zweiten Dimension: Wählen Sie eine Zeile aus, um zu erfahren, welche Hardware dafür erforderlich ist.
Die Matrix
† In der offiziellen Hardware-Kompatibilitätstabelle von vLLM wird AWQ für x86- sowie Arm-CPUs über einen separaten Code- Pfad aufgeführt, GPTQ hingegen nicht; in der Praxis sollte man beide Formate als vorrangig für GPUs betrachten. ‡ Laut der Kompatibilitätstabelle von vLLM wird AWQ ebenso wie GPTQ auf AMD-GPUs nicht unterstützt – dies ist eine Einschränkung der vLLM-Laufzeitumgebung und gilt nicht für alle AWQ/GPTQ-Implementierungen generell. § Ältere NVIDIA-GPUs vor der Blackwell-Generation verfügen nicht über die Tensor-Core-Unterstützung, die NVFP4 erfordert; dies ist keine rein treiberbedingte Einschränkung. ** Das zentrale PyPI-Paket von MLX ist auf Apple Silicon sowie macOS ausgelegt; zudem stellt das Projekt ein experimentelles Linux-CUDA-Backend bereit. Die auf Hugging Face verfügbaren MLX-quantisierten Modelldateien wurden jedoch speziell für die Apple-Metal-Plattform erstellt.
Die Quellen zu allen oben genannten Aussagen sind in den nachfolgenden Anmerkungen aufgeführt.
Einzelheiten zu den jeweiligen Formaten
GGUF – das portable Standardformat
GGUF ist das Modellformat von llama.cpp, welches Ollama und LM Studio intern nutzen. Es lässt sich auf CPUs, Apple Metal, NVIDIA CUDA, AMD ROCm (mittels HIP) sowie Vulkan einsetzen; die Build-Dokumentation von llama.cpp enthält spezifische Build-Ziele für all diese Plattformen, weshalb GGUF das am weitesten verbreitete Format für Endnutzer-Hardware ist. Falls Sie unsicher sind, welche Plattformen Ihre Hardware unterstützt, ist GGUF die sichere Wahl. Weitere Informationen finden Sie unter llama.cpp sowie in der GGUF-Spezifikation.
bf16 / FP16 – der Basisstandard
bf16 and FP16 store each parameter in 2 bytes with no compression. This is the precision quantization compresses from — every Q4, AWQ, or NVFP4 file is a smaller, lossier version of a bf16/FP16 original. Treat support as framework-dependent: CUDA and ROCm serving stacks commonly support these precisions when you have enough memory, while CPU, Metal, and Vulkan paths depend on the runtime and are often impractical for large models. At roughly 4x the footprint of a 4-bit quantization, bf16/FP16 is rarely what you run locally on consumer hardware. See GPU-to-model fit for the memory math.
AWQ und GPTQ – für GPU-Inferenz, Formate von vLLM
AWQ sowie GPTQ sind 4-Bit-Quantisierungsformate, die speziell für GPU-Inferenz entwickelt wurden; vLLM ist das Framework, das beide Formate dokumentiert und unterstützt. Laut der Hardware-Kompatibilitätstabelle von vLLM laufen beide Formate auf NVIDIA-GPUs (von der Volta- bis zur Hopper-Generation; GPTQ zusätzlich auch auf Volta); AMD-GPUs werden hingegen nicht als kompatibel aufgeführt. Betrachten Sie diese Formate daher primär als NVIDIA/CUDA-optimierte Optionen, sofern Sie für Ihr Framework keine anderen Bestätigungen vorliegen haben. Weitere Informationen finden Sie unter vLLM’s Quantisierungsdokumentation.
MXFP4 – das native Format von gpt-oss
MXFP4 ist das vom Open Compute Project entwickelte Microscaling-4-Bit-Floating-Point-Format; OpenAI verwendete es bei der Veröffentlichung von gpt-oss als Standardformat. Sowohl gpt-oss-120b als auch gpt-oss-20b werden auf Hugging Face bereits in MXFP4-Quantisierung bereitgestellt, wodurch 120b mit etwa 80 GB und 20b mit etwa 16 GB Speicherbedarf auskommen können. llama.cpp bietet mittlerweile native MXFP4-Unterstützung für gpt-oss, ebenso wie vLLM. Weitere Details finden Sie unter OpenAI – Vorstellung von gpt-oss sowie in den llama.cpp-Unterstützungsnotizen zu gpt-oss.
NVFP4 – ausschließlich für Blackwell-GPUs
NVFP4 ist NVIDIAs eigenes 4-Bit-Floating-Point-Format, das explizit für die fünfte Generation der Tensor Cores in der Blackwell-Architektur entwickelt wurde (für Verbraucherkarten der RTX 50-Serie sowie für Datacenter-GPUs der Blackwell-Generation). In NVIDIAs technischen Dokumenten wird NVFP4 als Tensor-Core-Format der Blackwell-Generation beschrieben, das ein zweistufiges Skalierungsschema nutzt; es zählt zusammen mit MXFP4 und FP4 zu den drei 4-Bit-Formaten, die von diesen Tensor Cores nativ unterstützt werden. Falls Ihre GPU nicht zur Blackwell-Generation gehört, eignet sich NVFP4 nicht für Sie – wählen Sie stattdessen eine Quantisierung vom Typ GGUF, AWQ oder GPTQ. Weitere Informationen finden Sie unter NVIDIA – Vorstellung von NVFP4.
Viele
NVFP4-Repositories auf Hugging Face werden vom nvidia/-Organisationsteam verwaltet (zum Beispiel Modelle mit dem ...-NVFP4-Suffix). Diese Namensgebung deutet stark darauf hin, dass für die volle Geschwindigkeitssteigerung Hardware der Blackwell-Generation erforderlich ist – prüfen Sie daher die Modellbeschreibung, bevor Sie ein Modell auf einer älteren GPU herunterladen.MLX – optimiert für Apple Silicon
MLX ist Apples Array-Framework, das auf einem Unified-Memory-Modell basiert, bei dem Arrays sowohl vom Prozessor als auch von der GPU genutzt werden können. Modelle in MLX-Quantisierung – welche LM Studio sowie andere Mac-optimierte Tools neben dem GGUF-Format anbieten – sind für Apple Silicon unter macOS 14 oder höher konzipiert. In den offiziellen Installationsanleitungen wird Apple Silicon in Kombination mit macOS als primäre Plattform genannt; außerdem existiert ein experimenteller Linux/CUDA-Backend für das Framework selbst, der sich von den als MLX-Format verbreiteten Modelldateien unterscheidet. Falls Sie keinen Mac besitzen, kommt MLX nicht infrage – wählen Sie stattdessen GGUF. Weitere Informationen finden Sie unter MLX auf GitHub sowie in den MLX-Installationsanleitungen.
Welches Format sollten Sie wählen?
Wählen Sie das Format entsprechend Ihrer vorhandenen Hardware aus – nicht umgekehrt.- NVIDIA, Consumer-Grafikkarten (RTX 40/30-Serie oder ältere Blackwell-freie Modelle) –
GGUFstellt den einfachsten Weg dar (Ollama, LM Studio); alternativ können SieAWQ/GPTQnutzen, falls Sie vLLM einsetzen und die höhere Leistung eines GPU-nativen Kernels benötigen. - NVIDIA Blackwell (RTX 50-Serie sowie Blackwell-Datacenter-GPUs) – Alle oben genannten Optionen bleiben verfügbar; falls ein Upstream-Modell eine spezielle
NVFP4-Version bereitstellt, ist diese für Ihre Tensor Cores ideal geeignet. - Apple Silicon –
GGUF(mittels Metal) ist der einfachste und am häufigsten genutzte Weg; zudem bietetMLXeine Mac-native Alternative, die von einigen Tools wie LM Studio parallel zuGGUFangeboten wird. - AMD-Grafikkarten – Nutzen Sie dazu
GGUFüber ROCm oder Vulkan. Die Unterstützung von AWQ/GPTQ variiert je nach Laufzeitumgebung, weshalb Sie hierauf keine festen Annahmen stützen sollten. - Nur CPU –
GGUFist das einzige Format in dieser Übersicht, das echte CPU-Inferenz ermöglicht; es bildet die Basis für llama.cpp, Ollama sowie LM Studio.
Q4_K_M oder Q8_0) nutzen sollten, lesen Sie bitte Quantisierung erklärt. Zur Bestimmung der passenden Modellgröße für Ihren VRAM empfehlen wir GPU-zu-Modell-Kompatibilität.
Erstellen Sie einen stabilen Endpunkt.
Sobald ein quantisiertes Modell lokal läuft – unabhängig vom gewählten Format – ändert Tokios nichts an dessen Ausführung. Stattdessen stellt es Ihnen einen stabilen, authentifizierten API-Connector bereit, über den Sie von überall auf diese lokale Deployment zugreifen können.