Hardware-Referenz

Wählen Sie die passende Hardware für die lokale LLM-Inferenz. Für jede der unten aufgeführten Plattformen sind Speicher, Rechenleistung, Bandbreite und Modellkapazität aufgeführt, sodass Sie auf einen Blick vergleichen und zur passenden Einrichtungsanleitung springen können. Wenn Sie bereits Hardware haben, beginnen Sie bei der Übersichtstabelle, um zu sehen, wo Ihre Plattform steht. Wenn Sie kaufen möchten, nutzen Sie den Entscheidungsleitfaden, um nach Budget und Anwendungsfall einzugrenzen.

​

Hardware-Plattformen

​

Übersicht

​

Laufzeitkompatibilität

Nicht jede Laufzeit funktioniert auf jeder Plattform. Hier sehen Sie, welche Hardware-Stufe heute welche Laufzeit unterstützt.

​

Stromverbrauch und Formfaktor

Hardware für lokale Inferenz reicht vom Telefon in Ihrer Tasche bis zum Rack-Server. Stromverbrauch und Lautstärke sind wichtig, wenn das Gerät auf Ihrem Schreibtisch oder in einem Gemeinschaftsbüro steht. Wenn der Rechner 24/7 in einem gemeinsamen Raum läuft, priorisieren Sie niedrigen Leerlauf-Stromverbrauch und leise Kühlung. Mac Studio und DGX Spark sind die besten Immer-aktiv-Optionen für Büroumgebungen.

​

Skalierung über 1 Rechner hinaus

Wenn 1 Rechner nicht ausreicht, haben Sie 3 Optionen:

1. Eine zweite GPU im selben Rechner mit Tensor-Parallelismus (TP=2). Funktioniert gut mit 2x RTX 5090 (64 GB insgesamt), 2x RTX 4090 oder 2x A6000. Siehe Modell-Sharding für die Konfiguration.
2. Mehrere Knoten clustern — zum Beispiel können 2 DGX Sparks über das Netzwerk verbunden ausgewählte verteilte Modelle bedienen, deren Gewichte, Cache und Laufzeit-Overhead unter 256 GB passen. Siehe 1 vs 2 DGX Sparks für die Abwägungen.
3. Auf einen entfernten Server auslagern — führen Sie das Modell auf einem dedizierten GPU-Server aus und erreichen Sie es über Tokios von jedem Client aus. Siehe vLLM-Fernzugriff und Ollama-Fernzugriff.

Für Team-Serving ist die zentrale Frage, ob Sie mehr Durchsatz oder mehr Modellkapazität benötigen. Zusätzliche GPUs können beides verbessern, aber die Skalierung hängt vom Modell, der Parallelisierungsstrategie und dem Interconnect ab. Messen Sie den gesamten Workload, statt von linearem Durchsatz auszugehen.

​

Welche Hardware sollten Sie wählen?

​

Wie Speicher auf Modellgröße abgebildet wird

Die größte Einschränkung bei lokaler LLM-Inferenz ist der Speicher. Hier sehen Sie, wie gängige Modellgrößen auf den RAM oder VRAM abgebildet werden, den Sie bei verschiedenen Quantisierungsstufen benötigen. Siehe Ein Modell finden, das zu Ihrer Hardware passt für einen tieferen Einblick, wie Sie Modellgröße auf Ihre Hardware abstimmen, und Quantisierungs-Konzepte für die Bedeutung der Quantisierungsstufen.

​

Häufige Hardware-Fehler

• Nach TFLOPS kaufen, nicht nach Speicher. Eine 4090 oder 5090 hat mehr Rohrechenleistung als eine A6000, aber die A6000 mit 48 GB VRAM passt 70B-Modelle, die die 4090 mit 24 GB nicht passt. Selbst die 5090 mit 32 GB ist fuer 70B bei hoeheren Quantisierungen knapp. Speicher bestimmt, was laeuft; TFLOPS bestimmt, wie schnell.
• KV-Cache-Overhead ignorieren. Ein Modell, das beim Laden in Ihren VRAM „passt”, kann während der Inferenz trotzdem einen OOM verursachen, weil der KV-Cache mit der Kontextlänge wächst. Planen Sie 2-4 GB extra ein.
• Annehmen, Multi-GPU sei kostenlos. Tensor-Parallelismus über 2 GPUs erfordert einen schnellen Interconnect (NVLink oder PCIe 4.0 x16). Über PCIe müssen Sie mit 10-20% Durchsatzverlust rechnen im Vergleich zu einer einzelnen größeren GPU.
• Stromverbrauch und Kühlung übersehen. Eine 575W RTX 5090 oder 450W RTX 4090 erzeugt in einem kleinen Büro echte Wärme und Lärm. Wenn das Gerät 24/7 läuft, rechnen Sie die Stromkosten und die akustischen Auswirkungen ein.
• Die Backend-Prüfung überspringen. Nicht jede Laufzeit unterstützt jede GPU. Bestätigen Sie, dass Ihr gewähltes Backend auf Ihrer Hardware funktioniert, bevor Sie kaufen — siehe Laufzeitkompatibilität oben.

​

Nächste Schritte