Skip to main content
Wählen Sie die passende Hardware für die lokale LLM-Inferenz aus. Für jede der unten aufgeführten Plattformen sind Speicher, Rechenleistung, Bandbreite sowie Modellkapazitäten detailliert aufgeführt, sodass Sie im Nu vergleichen und anschließend zur passenden Einrichtungsanleitung gelangen können. Falls Sie bereits über Hardware verfügen, beginnen Sie mit der Übersichtstabelle, um die Position Ihrer Plattform zu ermitteln. Bei einem Neukauf hilft Ihnen der Entscheidungsleitfaden, basierend auf Budget und Anwendungsfall die richtige Wahl zu treffen.

​
Hardware-Plattformen

NVIDIA DGX Spark

Dauerhaft verfügbarer Inferenz-Server für große MoE-ModelleIdeal für Teams, die große MoE-Modelle 24/7 auf Grace Blackwell-Hardware ausführen.Die vollständige Liste der kompatiblen Modelle finden Sie unter DGX Spark Modellkompatibilität.

AMD Strix Halo (Radeon 8060S)

Kompakte Workstation mit 128 GB gemeinsam genutztem Arbeitsspeicher
Die Unterstützung durch ROCm ist begrenzt. Zur Erzielung optimaler Ergebnisse sollte man das Vulkan-Backend in Kombination mit llama.cpp nutzen.

NVIDIA RTX 4090

Desktop-Workstation für hochgeschwindigliche Inferenz durch EinzelnutzerDie höchste Speicherbandbreite unter allen Consumer-Grafikkarten – perfekt für schnelle Inferenzprozesse durch Einzelnutzer.Lässt sich hervorragend mit vLLM für leistungsstarke Serveranwendungen oder mit Ollama für eine einfache Einrichtung kombinieren. Weitere Informationen finden Sie unter RTX-Workstation-Einrichtung.

NVIDIA RTX A6000

Professionelle Workstation für den Mehrbenutzer-EinsatzDie VRAM-Menge ist doppelt so hoch wie bei einem 4090, bei geringerer Spitzenbandbreite. Dadurch lassen sich 70B Modelle auf einem 1 GPU ausführen.

Apple Mac Studio (M2 Ultra)

Leiser Betrieb – große Modelle auf macOSDer größte einheitliche Speicher aller Desktop-Systeme. Fähig, 120B Modelle geräuschlos auszuführen.Nutzen Sie LM Studio oder Ollama mit Metal-Beschleunigung. Weitere Informationen finden Sie unter Mac Studio-Setup.

Mehrfach-GPU-Unterstützung (2x RTX 4090 bzw. 2x A6000)

Modelle, die für 1 GPUs zu groß sindSetzen Sie Tensor-Parallelismus auf 2 GPUs ein, falls 1 GPUs nicht ausreichen. Weitere Informationen zu Clustering-Mustern finden Sie unter 1 im Vergleich zu 2 DGX Sparks.

Consumer-Laptop (16 GB)

7B Modelle, Offline-KI, ReisenFühren Sie 7B Modelle auf jedem Laptop aus – ohne dass eine GPU erforderlich ist. Ideal für Offline-Coding-Assistenten sowie Reisen.Kombinieren Sie Ollama oder llama.cpp für die einfachste lokale Deployment-Konfiguration; anschließend nutzen Sie Tokios, um das Modell von Ihrem Handy oder einem anderen Gerät aus zu verwenden.

Handy / mobiles Endgerät

Inferenz direkt auf dem Gerät – maximale DatenschutzgarantieFühren Sie kleine Modelle direkt auf Ihrem Handy aus – ohne Netzwerk, ohne Cloud und ohne Verzögerungen.Lesen Sie unter Vom Smartphone aus nach, wie Sie von iOS- und Android-Chat-Apps aus auf ein zu Hause installiertes Modell zugreifen können.
DeepSeek-V4-Flash-0731 is a special case: its roughly 162–167 GB weight floor is beyond the multi-GPU card examples above. 2× 96 GB RTX PRO 6000 Blackwell cards have enough aggregate VRAM, but 0731 needs community validation on that configuration. Compare the 2× RTX PRO 6000, 2× DGX Spark, and 2× Strix Halo paths before buying hardware.

​
Kurzer Vergleich

Die Angaben zu den Token-Geschwindigkeiten stellen grobe Schätzungen für die Inferenz mit 7B Q4 dar und hängen vom Backend, der Quantisierung sowie der Kontextlänge ab. Testen Sie Ihre eigene Deployment-Konfiguration mithilfe von Benchmark a deployment.

​
Laufzeitkompatibilität

Nicht jede Laufzeit ist auf allen Plattformen nutzbar. Nachfolgend finden Sie eine Übersicht darüber, welche Hardware-Ebene welche Funktionen unterstützt.
Falls Ihre Hardware nur eingeschränkte Laufzeitunterstützung bietet, beginnen Sie mit Ollama oder llama.cpp – diese bieten die breiteste Plattformabdeckung.

​
Energieverbrauch und Gehäusegröße

Hardware für lokale Inferenz reicht von einem Telefon in der Tasche bis hin zu einem Server im Rack. Energieverbrauch sowie Geräuschentwicklung spielen eine Rolle, wenn das Gerät auf dem Schreibtisch oder im Gemeinschaftsbüro steht. Falls das Gerät 24/7 in einem gemeinschaftlich genutzten Raum betrieben wird, sollte auf geringen Leerlaufverbrauch sowie leise Kühlung geachtet werden. Mac Studio und DGX Spark stellen die besten Optionen für einen ständigen Betrieb in Büroumgebungen dar.

​
Skalierung über ein einzelnes 1-Gerät hinaus

Wenn ein einzelnes 1-Gerät nicht ausreicht, stehen Ihnen 3 Möglichkeiten zur Verfügung:
  1. Eine zweite GPU in dasselbe Gerät einbauen und Tensor-Parallelismus nutzen (TP=2). Dies funktioniert gut mit 2x RTX 4090 oder 2x A6000. Die entsprechende Konfiguration finden Sie unter Model Sharding.
  2. Mehrere Knoten zu einem Cluster verbinden – beispielsweise können 2 DGX Sparks über das Netzwerk verbunden werden, um verteilte Modelle bereitzustellen, deren Speicherbedarf, Cache und Laufzeitaufwand unter 256 GB liegen. Die Vor- und Nachteile erläutert 1 vs 2 DGX Sparks.
  3. Auf einen entfernten Server auslagern – das Modell auf einem dedizierten GPU-Server ausführen und über Tokios von jedem Client aus nutzen. Weitere Informationen finden Sie unter vLLM Remotezugriff sowie Ollama Remotezugriff.
Bei der gemeinsamen Nutzung im Team stellt sich die Frage, ob mehr Durchsatz oder mehr Modellkapazität erforderlich ist. Zusätzliche GPUs können beides verbessern; die Skalierbarkeit hängt jedoch vom Modell, der Parallelisierungsstrategie und der Vernetzung ab. Messen Sie die Gesamtlast statt von einem linearen Durchsatz auszugehen.

​
Welche Hardware sollten Sie wählen?

Verwenden Sie ein Consumer-Notebook mit 16 GB Arbeitsspeicher, um 7B Modelle mittels Ollama oder llama.cpp auszuführen. Falls Sie einen Desktop-PC mit PCIe-Steckplatz besitzen, bietet ein gebrauchter RTX 3090 (24 GB) ein hervorragendes Preis-Leistungs-Verhältnis für etwa 700bis700 bis 900 und kann 30B Modelle in Q4-Qualität verarbeiten.
RTX 4090 (24 GB). Bietet die höchste Speicherbandbreite für Endverbraucher mit 1008 GB/s, ermöglicht eine schnelle Token-Generierung und wird von zahlreichen Plattformen wie Ollama, vLLM, llama.cpp sowie LM Studio unterstützt. Eignet sich ideal für die Aufnahme von 30B Q4-Modellen.
Mac Studio (192 GB unified) fits the largest models of any desktop — 120B at Q4. DGX Spark (128 GB) runs 70B FP8 natively and 120B MoE models. Strix Halo (128 GB unified) is a compact alternative with Vulkan-based inference.
2x A6000 with NVLink gives 96 GB total VRAM and serves multiple users at once. DGX Spark is a turnkey alternative with 128 GB unified memory and no multi-GPU plumbing.
Mac Studio arbeitet mit einer Leistungsaufnahme von 60 bis 150 Watt und verfügt über eine nahezu geräuschlose Kühlung. Es stellt die leiseste Wahl für eine dauerhaft aktive Inferenz in Büro- oder Heimumgebungen dar.
Strix Halo verfügt über 128 GB gemeinsam genutzten Speicher. Nutzen Sie llama.cpp in Kombination mit der Vulkan-Backend-Option; die Unterstützung für ROCm ist auf dieser Plattform begrenzt. Weitere Informationen finden Sie im Einrichtungsleitfaden für Strix Halo.
Telefone bzw. Edge-Geräte eignen sich ideal für Inferenzen direkt auf dem Gerät, ohne dass eine Netzverbindung erforderlich ist. Sie können 3B-7B Modelle mithilfe von llama.cpp, MLC-LLM oder MediaPipe ausführen.

​
Wie sich Speicherbedarf und Modellgröße zueinander verhalten

Die größte Einschränkung bei der lokalen Ausführung von LLMs ist der verfügbare Speicher. Im Folgenden wird dargestellt, wie gängige Modellgrößen mit dem benötigten RAM bzw. VRAM bei verschiedenen Quantisierungsstufen zusammenhängen.
Es sollte stets ein Speichervolumen von 2 bis 4 GB freigehalten werden, um den KV-Cache sowie sonstige Laufzeitanforderungen zu berücksichtigen. Ein Modell vom Typ 70B Q4_K_M, das theoretisch in 40 GB VRAM passt, benötigt dennoch zusätzlichen Speicherplatz für den Kontext – rechnen Sie daher mit insgesamt 44 bis 48 GB. Die zugrundeliegenden Berechnungen finden Sie unter KV-Cache und Kontext.
Frontier-scale models like Kimi K3 (2.8T parameters) need ~1.4 TB even at 4-bit quantization — no single desktop or prosumer setup fits them. Moonshot recommends a supernode with 64+ accelerators. See Kimi K3 hardware requirements for the full picture.
Lesen Sie Ein Modell finden, das zu Ihrer Hardware passt für detaillierte Informationen zur Abstimmung der Modellgröße auf Ihre Hardware sowie Konzepte zur Quantisierung zur Bedeutung der verschiedenen Quantisierungsstufen.

​
Häufige Fehler bei der Hardwareauswahl

  • Buying for TFLOPS, not memory. A 4090 has more raw compute than an A6000, but the A6000’s 48 GB VRAM fits 70B models that the 4090’s 24 GB cannot. Memory determines what runs; TFLOPS determines how fast.
  • Das Volumen des KV-Caches unterschätzen. Ein Modell, das beim Laden in den VRAM passt, kann dennoch während der Inferenz zu einem Speicherüberlauf führen, da sich der KV-Cache mit zunehmender Kontextlänge vergrößert. Planen Sie daher zusätzlich 2 bis 4 GB ein.
  • Die Kosten von Multi-GPU-Setups unterschätzen. Tensor-Parallelismus über mehrere 2 GPUs erfordert schnelle Verbindungen wie NVLink oder PCIe 4.0 x16. Über PCIe entsteht ein Durchsatzverlust von 10 bis 20% im Vergleich zu einer einzigen, leistungsstärkeren GPU.
  • Vernachlässigung von Stromversorgung und Kühlung. Ein RTX 450-Watt-4090 in einem kleinen Büro erzeugt erhebliche Wärme sowie Lärm. Läuft das Gerät mit einer Auslastung von 24 zu 7, müssen die Stromkosten sowie die akustischen Auswirkungen berücksichtigt werden.
  • Die Kompatibilität der Backends ignorieren. Nicht jeder Runtime-Connector funktioniert mit jeder GPU. Prüfen Sie vor dem Kauf, ob Ihr gewählter Backend-Connector zu Ihrer Hardware passt – siehe dazu Kompatibilität der Runtimes.

​
Nächste Schritte

Wählen Sie ein lokales Modell aus

Entscheiden Sie sich für ein Modell sowie einen Backend-Connector entsprechend Ihrem Arbeitsablauf, Ihrer Hardware und den Anforderungen an die Latenzzeit.

Modellkompatibilität

Ermitteln Sie, welche Modellgrößen und Quantisierungsstufen zu Ihrer GPU bzw. Ihrem Unified Memory passen.

Modell-Sharding

Teilen Sie Modelle auf mehrere GPUs auf, falls die Kapazität von 1 GPU nicht ausreicht.

Kompatibilität von Modellen mit DGX Spark

Erfahren Sie, welche Modelle mit DGX Spark kompatibel sind und in welchen Quantisierungsstufen sie laufen.

Kompatibilität von Modellen mit AMD Strix Halo

Prüfen Sie, welche Modelle mit AMD Strix Halo mittels Vulkan- und ROCm-Backends funktionieren.

Durchführen von Benchmarks für eine Deployment

Vergleichen Sie Latenz und Durchsatz verschiedener Deployments, sobald Datenverkehr vorhanden ist.

Unterstützte Backends

Richten Sie Ollama, LM Studio, llama.cpp, vLLM oder SGLang als Ihren Upstream ein.

Schnellstart

Richten Sie in wenigen Schritten einen funktionierenden Connector, eine Deployment sowie einen API-Schlüssel ein.