LM Studio für Geschwindigkeit und Speicher optimieren

LM Studio ist die benutzerfreundlichste Art, lokale Modelle auszuführen — laden Sie ein Modell herunter, klicken Sie auf Load, und Sie chatten bereits. Unter der Haube umgibt es llama.cpp (und MLX auf Apple Silicon) und stellt Konfigurationsoptionen bereit, die steuern, wie es Ihre Hardware nutzt. Die Standardwerte funktionieren für gelegentliche Nutzung, lassen aber erhebliche Performance ungenutzt. Dieser Guide behandelt jeden relevanten Einstellparameter und wie Sie ihn für Ihren Workload setzen.

Zuletzt überprüft: 2026-10-14 — LM Studio v0.3.26 / Bionic 1.1.8.

Apple Silicon verwendet MLX. Auf Apple Silicon Macs verwendet LM Studio automatisch Apples MLX-Framework statt llama.cpp. MLX liefert deutlich schnellere Inferenz auf M-Series-Chips (siehe Apple Silicon and MLX optimization). Die meisten Konfigurationsoptionen in diesem Guide gelten für beide Backends; wo das Verhalten abweicht, wird es explizit hervorgehoben.

Context-Window-Anpassung

Das Context Window steuert, wie viele Tokens das Modell in einer einzelnen Anfrage verarbeiten kann — Ihr Prompt plus die generierte Antwort zusammen. Es ist der größte Treiber des Speicherverbrauchs nach den Modellgewichten selbst.

How to increase the context window in LM Studio

LM Studio verwendet standardmäßig ein 2048-Token-Context-Window aus Kompatibilitätsgründen. Die meisten modernen Modelle unterstützen 8K, 32K oder sogar 128K Tokens, aber LM Studio verwendet nicht das Maximum des Modells — es nutzt 2048, um den Speicherverbrauch vorhersehbar zu halten. Setzen Sie es auf 3 Arten: In der UI (Modell-Lade-Panel): Wenn Sie ein Modell laden, zeigt das Lade-Panel einen Context Length-Schieberegler. Ziehen Sie ihn auf Ihren gewünschten Wert (z.B. 8192, 16384, 32768) bevor Sie auf Load Model klicken. Pro Modell (persistentes Standard): Setzen Sie eine Standard-Context-Länge für ein bestimmtes Modell, damit sie jedes Mal beim Laden gilt. Gehen Sie zum Modell in Ihrer Bibliothek, klicken Sie auf das Zahnradsymbol und setzen Sie Context Length unter Per-model Defaults. Siehe Per-model Defaults für Details. Über die API (pro Anfrage):

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "Summarize this document..."}],
    "context_length": 32768
  }'

Über die CLI:

lms load llama-3.1-8b-instruct --context-length 32768

Context-Window-Speicherkosten

Der KV-Cache wächst linear mit der Kontextlänge. Die Formel:

KV cache memory = 2 × num_layers × hidden_dim × num_ctx × precision_bytes

Für ein 7B-Modell (32 Schichten, 4096 Hidden-Dimension) bei f16-Präzision:

Kontextlänge	KV-Cache-Speicher
2,048 (Standard)	~1 GB
8,192	~4 GB
32,768	~16 GB
128,000	~64 GB

Setzen Sie die Kontextlänge nur so hoch, wie Ihr Workload tatsächlich benötigt. Ein Coding-Agent, der 2K-Prompts sendet, profitiert nicht von einem 128K-Context-Window — er verschwendet nur 64 GB KV-Cache-Speicher, der andere Anfragen bedienen oder ein größeres Modell passen könnte.

Flash attention

Flash Attention ist die nächstbeste Sache an einer kostenlosen Performance-Verbesserung, die LM Studio bietet. Es überarbeitet, wie das Modell Attention zwischen Tokens berechnet — statt die vollständige Attention-Matrix im Speicher zu materialisieren, berechnet es Attention in gekachelten Blöcken, die in schnellen SRAM passen. Das Ergebnis:

30-50% geringerer Speicherverbrauch für den KV-Cache — der größte Gewinn bei langen Kontextlängen.
Schnellere Inferenz — besonders auf der GPU, wo die gekachelte Berechnung gut auf Tensor Cores abbildet.
Gleiche Ausgabequalität — Flash Attention ist mathematisch äquivalent zu Standard-Attention, keine Approximation.

How to enable flash attention in LM Studio

In der UI: Wenn Sie ein Modell laden, zeigt das Lade-Panel einen Flash Attention-Schalter. Aktivieren Sie ihn vor dem Klick auf Load Model. Pro Modell (persistentes Standard): Setzen Sie einen Standard für ein bestimmtes Modell, damit er jedes Mal beim Laden gilt. Gehen Sie zum Modell in Ihrer Bibliothek, klicken Sie auf das Zahnradsymbol und aktivieren Sie Flash Attention unter Per-model Defaults. Über die API:

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "Hello"}],
    "flash_attention": true
  }'

Aktivieren Sie immer Flash Attention. Es gibt keinen Grund, es wegzulassen, außer Sie stoßen auf ein Kompatibilitätsproblem mit einem bestimmten Modell oder einer Plattform. Es ist die Einstellung mit der höchsten Wirkung in diesem Guide.

Auf Apple Silicon mit dem MLX-Backend ist Flash Attention standardmäßig aktiviert und die Einstellung hat keinen Effekt — MLX verwendet immer optimierte Attention-Kernel.

GPU-Offload-Strategie

LM Studio lagert automatisch Modellschichten auf Ihre GPU aus. Wenn das vollständige Modell in den VRAM passt, läuft jede Schicht auf der GPU für maximale Geschwindigkeit. Wenn VRAM knapp ist, teilt LM Studio Schichten zwischen GPU und CPU auf — die GPU läuft mit dem, was sie kann, und der Rest fällt auf System-RAM zurück.

How LM Studio decides GPU layers

LM Studios GPU-Planung funktioniert in dieser Reihenfolge:

Vollständiges Offload — wenn die Modellgewichte + KV-Cache in den VRAM passen, gehen alle Schichten auf die GPU. Das ist die schnellste Konfiguration.
Teilweises Offload — wenn das Modell nicht vollständig passt, legt LM Studio so viele Schichten auf die GPU, wie der VRAM zulässt, und führt den Rest auf der CPU aus. Die Performance verschlechtert sich, da jeder Forward-Pass den PCIe-Bus für CPU-residente Schichten überqueren muss.
Nur CPU — wenn keine GPU verfügbar ist oder VRAM selbst für wenige Schichten zu klein ist, läuft das gesamte Modell auf der CPU.

GPU-Offload steuern

Die GPU Offload-Einstellung steuert, wie viele Schichten auf die GPU ausgelagert werden. Setzen Sie sie in der UI, pro Modell oder über die API: In der UI: Wenn Sie ein Modell laden, zeigt das Lade-Panel einen GPU Offload-Schieberegler. Sie können ihn setzen auf:

Auto (Standard) — LM Studio erkennt automatisch verfügbaren VRAM und lagert so viele Schichten aus, wie passen.
Max — erzwingt alle Schichten auf die GPU. Verwenden Sie dies, wenn Sie wissen, dass das Modell passt.
Off — deaktiviert GPU-Offload vollständig (Inferenz nur auf CPU).
Manual — ziehen Sie den Schieberegler, um eine bestimmte Anzahl von Schichten zu setzen.

Pro Modell (persistentes Standard): Setzen Sie einen Standard für ein bestimmtes Modell. Gehen Sie zum Modell in Ihrer Bibliothek, klicken Sie auf das Zahnradsymbol und setzen Sie GPU Offload unter Per-model Defaults. Über die API:

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "Hello"}],
    "gpu": "max"
  }'

`gpu`-Wert	Verhalten
`"auto"` (Standard)	LM Studio erkennt automatisch basierend auf verfügbarem VRAM
`"max"`	Alle Schichten auf GPU — verwenden, wenn Sie wissen, dass das Modell passt
`"off"`	Kein GPU-Offload — nur CPU
`0.0` bis `1.0`	Anteil der Schichten auf GPU (z.B. `0.5` = 50% der Schichten)

Lassen Sie GPU-Offload in den meisten Fällen auf Auto und überlassen Sie LM Studio die Entscheidung. Setzen Sie ihn nur manuell, wenn Sie eine bestimmte Aufteilung erzwingen müssen — zum Beispiel, um VRAM für ein größeres Context Window zu reservieren oder einige Schichten auf der CPU zu behalten für ein Modell, das knapp passt.

VRAM-Budgetierung

Jede ausgelagerte Schicht verbraucht VRAM für sowohl Gewichte als auch KV-Cache. Eine grobe Schätzung:

VRAM per layer ≈ (parameters_per_layer × bytes_per_weight) + (KV_cache_per_layer × num_ctx)

Für ein 7B-Modell bei Q4_K_M (~4.5 Bits pro Gewicht, ~32 Schichten):

Komponente	Pro Schicht	32 Schichten gesamt
Gewichte	~0.19 GB	~6 GB
KV-Cache (f16, 8K ctx)	~0.13 GB	~4 GB
Gesamt		~10 GB

Lassen Sie 1-2 GB VRAM-Reserve für CUDA-Kontext und Overhead.

Wenn Sie die Kontextlänge erhöhen, wächst der KV-Cache und kann Schichten aus dem VRAM drängen. Wenn Sie ein 32K-Context-Window setzen und LM Studio plötzlich die Hälfte der Schichten auf die CPU auslagert, hat der KV-Cache Ihr VRAM-Budget aufgebraucht. Reduzieren Sie entweder die Kontextlänge, verwenden Sie eine kleinere Quantisierung oder aktivieren Sie Flash Attention, um den KV-Cache zu verkleinern.

KV-Cache-Präzision

Der KV-Cache speichert Key- und Value-Tensoren für jedes Token in jeder aktiven Sequenz. Standardmäßig verwendet LM Studio f16 (16-Bit-Gleitkomma). Sie können auf quantisierte Präzision wechseln, um den Speicherverbrauch auf Kosten geringer Qualität zu senken. Setzen Sie den Cache-Typ im Lade-Panel oder über die API: In der UI: Wenn Sie ein Modell laden, erweitern Sie Advanced Settings und suchen Sie nach KV Cache Quantization. Sie können setzen auf:

f16 (Standard) — volle Präzision
q8_0 — 8-Bit-Quantisierung
q4_0 — 4-Bit-Quantisierung

Über die API:

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "Hello"}],
    "llama_k_cache_quantization_type": "q8_0",
    "llama_v_cache_quantization_type": "q8_0"
  }'

Cache-Typ	Speicher pro Element	Qualität	Wann verwenden
`f16` (Standard)	2 Bytes	Baseline	Maximale Qualität; Sie haben reichlich Speicher
`q8_0`	1 Byte	Nahezu identisch zu f16	Beste Balance — halbiert KV-Cache-Speicher mit vernachlässigbarem Qualitätsverlust
`q4_0`	0.5 Bytes	Leichte Verschlechterung	Knapper Speicher; langer Kontext oder viele gleichzeitige Sequenzen

Kombinieren Sie q8_0 KV-Cache mit Flash Attention für den größten Speichergewinn. Flash Attention reduziert den KV-Cache-Fußabdruck um 30-50%, und q8_0 halbiert ihn erneut — zusammen können sie den KV-Cache-Speicher um 60-75% gegenüber dem Standard reduzieren.

q4_0 KV-Cache verursacht messbaren Qualitätsverlust bei Aufgaben, die auf präzise Attention über langen Kontext angewiesen sind — Needle-in-a-Haystack-Abruf, Multi-Dokument-Zusammenfassung und lange Gespräche. Testen Sie Ihren spezifischen Workload, bevor Sie sich für q4_0 entscheiden.

Batch-Größen-Anpassung

Der Eval Batch Size-Parameter steuert, wie viele Tokens LM Studio während der Prefill-Phase (Prompt-Aufnahme) gleichzeitig verarbeitet. Der Standard ist 512. Setzen Sie ihn im Lade-Panel unter Advanced Settings oder über die API:

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "Hello"}],
    "eval_batch_size": 1024
  }'

Einstellung	Effekt
`512` (Standard)	Ausgewogen für interaktiven Chat mit kurzen Prompts
`1024`	Schnellerer Prefill für lange Prompts — ungefähr 50-100% schnellere Time-to-First-Token
`2048`	Maximaler Durchsatz für Dokumentenaufnahme — bis zu 150% schnellerer Prefill
`2048+`	Abnehmende Erträge; höherer Speicherverbrauch ohne proportionalen Geschwindigkeitsgewinn

Für interaktiven Chat mit kurzen Prompts (unter 1K Tokens) ist der Standard 512 in Ordnung. Erhöhen Sie ihn nur, wenn Sie regelmäßig lange Dokumente aufnehmen und schnellere Time-to-First-Token wollen.

Größere Batch-Größen verbrauchen mehr VRAM während der Prompt-Aufnahme. Wenn Sie die Batch-Größe erhöhen und Out-of-Memory-Fehler erhalten, reduzieren Sie sie oder senken Sie die Kontextlänge.

Modell-Speicherverwaltung

Modelle mit TTL geladen halten

Standardmäßig entlädt LM Studio ein Modell nach einer Zeit der Inaktivität aus dem Speicher. Die nächste Anfrage muss das Modell von der Festplatte neu laden, was je nach Modellgröße und Festplattengeschwindigkeit Sekunden bis Minuten dauert. Setzen Sie den TTL (Time To Live), um zu steuern, wie lange Modelle geladen bleiben: In der UI: Wenn Sie ein Modell laden, zeigt das Lade-Panel ein TTL-Dropdown. Setzen Sie es auf:

Until you close the app — Modell bleibt unbegrenzt geladen.
Until you unload it — Modell bleibt geladen, bis Sie es manuell entladen.
Custom duration — Modell wird nach der angegebenen Zeit entladen (z.B. 5 Minuten, 1 Stunde).

Über die API:

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "Hello"}],
    "ttl": -1
  }'

Über die CLI:

lms load llama-3.1-8b-instruct --ttl -1

Wert	Verhalten
Standard (5 Minuten)	Entladen nach 5 Minuten Inaktivität
`-1`	Unbegrenzt geladen halten — kein Neulade-Penalty
`0`	Sofort nach jeder Anfrage entladen
Dauer in Sekunden (`3600`, `86400`)	Für diese Dauer nach der letzten Anfrage geladen halten

Für einen dedizierten Inferenz-Server, der dasselbe Modell den ganzen Tag ausführt, setzen Sie TTL auf Until you close the app oder -1. Das Modell bleibt im Speicher und jede Anfrage bekommt sofortige Antwort ohne Kaltstart-Penalty.

Multi-Modell-Serving

LM Studio kann mehrere Modelle gleichzeitig laden. Wenn Sie ein zweites Modell laden, prüft LM Studio, ob genug Speicher vorhanden ist. Wenn nicht, entlädt es das am kürzlichsten verwendete Modell, um Platz zu machen. Um geladene Modelle zu verwalten: In der UI: Das Models-Panel zeigt alle geladenen Modelle. Klicken Sie auf den Entladen-Button neben einem Modell, um Speicher freizugeben. Über die CLI:

# List loaded models
lms status

# Unload a specific model
lms unload llama-3.1-8b-instruct

# Unload all models
lms unload --all

Über die API:

# Unload a specific model
curl -X DELETE http://localhost:1234/v1/models/llama-3.1-8b-instruct

Lokale Server-Konfiguration

LM Studio bietet einen OpenAI-kompatiblen API-Server. Standardmäßig lauscht er auf http://localhost:1234.

Server-Einstellungen

In der UI: Gehen Sie zum Server-Reiter und klicken Sie auf Server Settings zum Konfigurieren:

Host — Bindungsadresse (Standard: 127.0.0.1). Ändern Sie auf 0.0.0.0, um im lokalen Netzwerk zu servieren.
Port — Listen-Port (Standard: 1234).
CORS — Cross-Origin-Anfragen für Web-Clients aktivieren.
Require API Key — Bearer-Token zur Authentifizierung erfordern.

Über die CLI:

lms server start --host 0.0.0.0 --port 8080

Den Host auf 0.0.0.0 zu setzen, exponiert LM Studio in Ihrem lokalen Netzwerk. Tun Sie dies nur, wenn Sie allen Geräten in Ihrem Netzwerk vertrauen, oder verwenden Sie eine Firewall, um den Zugriff einzuschränken. Für Remote-Zugriff über das Internet verwenden Sie stattdessen Tokios — es bietet authentifizierten Remote-Zugriff ohne offene Ports.

API-Endpunkte

LM Studio unterstützt diese OpenAI-kompatiblen Endpunkte:

Endpunkt	Zweck
`/v1/chat/completions`	Chat-Completions (am häufigsten)
`/v1/completions`	Text-Completions (Legacy)
`/v1/embeddings`	Embeddings generieren
`/v1/models`	Geladene Modelle auflisten
`/v1/responses`	Responses API (neueres Format)
`/v1/decisions`	Entscheidungsmodelle (Klassifizierung, Routing)

Beispiel: Geladene Modelle auflisten

curl http://localhost:1234/v1/models

Beispiel: Chat-Completion

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [
      {"role": "user", "content": "Hello!"}
    ]
  }'

Unterstützte Modellformate

LM Studio unterstützt 2 primäre Modellformate:

GGUF (plattformübergreifend)

GGUF ist das am weitesten unterstützte Format. Es funktioniert auf Windows, Linux und macOS — mit oder ohne GPU. GGUF-Modelle werden quantisiert, um die Dateigröße zu reduzieren (z.B. Q4_K_M, Q5_K_M, Q8_0). Wann GGUF verwenden:

Sie benötigen plattformübergreifende Portabilität (Windows, Linux, Mac).
Sie wollen dasselbe Modell auf NVIDIA GPU und Apple Silicon ausführen.
Sie bevorzugen die größte Auswahl an Quantisierungsoptionen.

MLX (Apple Silicon optimiert)

MLX ist Apples Machine-Learning-Framework, optimiert für M-Series-Chips. Auf Apple Silicon verwendet LM Studio automatisch MLX für schnellere Inferenz. Wann MLX verwenden:

Sie sind auf Apple Silicon (M1, M2, M3, M4).
Sie wollen maximale Performance auf dem Mac.
Sie müssen dasselbe Modell nicht auf Nicht-Apple-Hardware ausführen.

Auf Apple Silicon wählt LM Studio automatisch die beste Laufzeit (MLX oder llama.cpp) für Ihre Hardware. Sie müssen dies nicht manuell konfigurieren.

Apple Silicon und MLX-Optimierung

Auf Apple Silicon Macs verwendet LM Studio standardmäßig Apples MLX-Framework. MLX ist für Apples Unified-Memory-Architektur optimiert und liefert deutlich schnellere Inferenz als llama.cpp auf M-Series-Chips.

Performance-Gewinne

Benchmarks aus Community-Tests:

Modell	Quantisierung	Tokens/Sek (MLX)
Llama 3.1 8B	Q4_K_M	~70-80 tok/s
Gemma 4 12B	Q4_K_M	~46 tok/s
Qwen 2.5 7B	Q4_K_M	~60-70 tok/s

MLX unterstützt auch erweiterte Quantisierung auf Apple Silicon, die Near-BF16-Qualität mit 4-Bit-Speicher-Fußabdruck liefert — halbierter Qualitätsverlust gegenüber Q4-Quantisierung.

Apple Silicon Optimierungstipps

Verwenden Sie MLX-optimierte Modelle. Wenn Sie ein Modell auf Apple Silicon herunterladen, verwendet LM Studio automatisch das MLX-Backend. Keine Konfiguration erforderlich.
Flash Attention ist immer an. MLX verwendet standardmäßig optimierte Attention-Kernel. Die Flash-Attention-Einstellung hat keinen Effekt.
Unified Memory bedeutet vollständiges GPU-Offload. Apples GPU kann auf den vollständigen RAM-Pool zugreifen, daher funktioniert vollständiges GPU-Offload, solange Modell und KV-Cache in den Unified Memory passen.
Verwenden Sie q8_0 KV-Cache, um Ihr Speicherbudget zu dehnen. Den KV-Cache zu halbieren ermöglicht größere Modelle oder längere Kontexte.
Setzen Sie TTL auf “Until you close the app” für dauerhaft laufende Inferenz. Modelle bleiben im Unified Memory ohne Neulade-Penalty.

Wenn Sie plattformübergreifende Portabilität benötigen oder dieselbe Konfiguration auf NVIDIA GPU und Mac ausführen wollen, können Sie LM Studio zwingen, das llama.cpp-Backend auf Apple Silicon zu verwenden. Kontaktieren Sie den LM Studio-Support oder prüfen Sie deren Dokumentation für die Einstellung, um die Backend-Auswahl zu überschreiben.

Beispielkonfigurationen

Mac Studio M2 Ultra — 128 GB Unified Memory

UI-Einstellungen:

GPU Offload: Max
Context Length: 32768
Flash Attention: Enabled (auto on MLX)
KV Cache Quantization: q8_0
TTL: Until you close the app

Diese Konfiguration betreibt ein 70B-Q4-Modell mit einem 32K-Context-Window. Der 128-GB-Unified-Memory-Pool bewältigt die ~40 GB Modellgewichte, ~16 GB KV-Cache bei q8_0 und lässt Reserve für mehrere Modelle. MLX liefert maximalen Durchsatz auf Apple Silicon.

NVIDIA RTX 4090 — 24 GB VRAM

UI-Einstellungen:

GPU Offload: Max
Context Length: 16384
Flash Attention: Enabled
KV Cache Quantization: q8_0
Eval Batch Size: 1024
TTL: Until you close the app

Diese Konfiguration betreibt ein 8B-Q4-Modell mit einem 16K-Context-Window. Der 24-GB-VRAM bewältigt die ~5 GB Modellgewichte, ~4 GB KV-Cache bei q8_0 mit Flash Attention. Die größere Batch-Größe beschleunigt die Prompt-Aufnahme.

Multi-GPU-Server — 2× RTX 4090 (48 GB VRAM gesamt)

UI-Einstellungen:

GPU Offload: Max
Context Length: 32768
Flash Attention: Enabled
KV Cache Quantization: q8_0
Eval Batch Size: 2048
TTL: Until you close the app

Diese Konfiguration betreibt ein 70B-Q4-Modell über 2 GPUs. Der 48-GB-Gesamt-VRAM bewältigt die ~40 GB Modellgewichte, ~16 GB KV-Cache. Die große Batch-Größe maximiert den Durchsatz für Batch-Workloads.

Nur-CPU-Server — 64 GB RAM, keine GPU

UI-Einstellungen:

GPU Offload: Off
Context Length: 8192
Flash Attention: Disabled
KV Cache Quantization: q8_0
Eval Batch Size: 512
TTL: Until you close the app

Diese Konfiguration betreibt ein 8B-Q4-Modell vollständig auf der CPU. Die kleine Batch-Größe und einzelne parallele Anfrage halten den Speicherverbrauch handhabbar. Erwarten Sie 5-10 tok/s — nutzbar für interaktiven Chat, aber nicht für Batch-Workloads.

Häufige Fehler und wie man sie vermeidet

Fehler 1: Kontextlänge zu hoch setzen

Problem: Sie haben die Kontextlänge auf 128K gesetzt “für den Fall”, aber Ihre Prompts sind unter 2K Tokens. Sie haben gerade 64 GB KV-Cache-Speicher verschwendet. Lösung: Setzen Sie die Kontextlänge passend zu Ihrem tatsächlichen Workload. Wenn Ihre Prompts unter 4K Tokens sind, verwenden Sie 4096 oder 8192. Sie können sie später jederzeit für bestimmte Anfragen über die API erhöhen.

Fehler 2: Flash Attention vergessen

Problem: Sie verwenden 30-50% mehr VRAM als nötig, weil Flash Attention nicht aktiviert ist. Lösung: Aktivieren Sie immer Flash Attention. Es gibt keinen Nachteil auf unterstützter Hardware.

Fehler 3: Modell-Entladung nicht steuern

Problem: Sie starten Ihre Anfrage nach einer 10-minütigen Pause neu, und die erste Anfrage dauert 30 Sekunden, weil LM Studio das Modell von der Festplatte neu geladen hat. Lösung: Setzen Sie TTL auf Until you close the app oder -1 für dauerhaft laufende Inferenz. Das Modell bleibt im Speicher und jede Anfrage bekommt sofortige Antwort.

Fehler 4: KV-Cache-Präzision ignorieren

Problem: Ihr VRAM geht aus und LM Studio lagert Schichten auf die CPU aus, aber Sie haben nicht bedacht, dass der KV-Cache 2× mehr Speicher als nötig verwendet. Lösung: Setzen Sie KV-Cache-Quantisierung auf q8_0, um den KV-Cache-Speicher zu halbieren. Das ist die beste Balance aus Qualität und Speicherersparnis.

Fehler 5: GPU-Offload bei einem Modell, das nicht passt

Problem: Sie haben GPU-Offload auf Max gesetzt, aber das Modell passt nicht in den VRAM. LM Studio bekommt keinen Speicher mehr oder stürzt ab. Lösung: Setzen Sie GPU-Offload auf Auto und überlassen Sie LM Studio die Entscheidung. Wenn Sie es manuell setzen müssen, starten Sie mit einem niedrigeren Wert und erhöhen Sie, bis Sie das Limit erreichen.

Fehlerbehebung

LM Studio ist langsam nach dem Start

Ursache: Das Modell wurde entladen und musste von der Festplatte neu geladen werden. Lösung: Setzen Sie TTL auf Until you close the app oder -1, um das Modell unbegrenzt geladen zu halten.

Out-of-Memory-Fehler

Ursache: Das Modell + KV-Cache überschreitet den verfügbaren VRAM oder RAM. Lösung: Reduzieren Sie die Kontextlänge, aktivieren Sie Flash Attention, setzen Sie KV-Cache-Quantisierung auf q8_0 oder verwenden Sie eine kleinere Quantisierung.

GPU wird nicht genutzt

Ursache: LM Studio hat die GPU nicht erkannt, oder VRAM ist zu klein selbst für wenige Schichten. Lösung: Prüfen Sie das Lade-Panel, um zu sehen, ob Schichten auf der GPU sind. Stellen Sie für NVIDIA GPUs sicher, dass die NVIDIA-Treiber und das CUDA-Toolkit installiert sind. Stellen Sie für AMD GPUs sicher, dass ROCm installiert ist.

Langsame CPU-Inferenz

Ursache: Schichten zwischen GPU und CPU aufgeteilt, oder kein GPU-Offload. Lösung: Lagern Sie wenn möglich mehr Schichten auf die GPU aus. Verwenden Sie eine kleinere Quantisierung (Q4_K_M oder Q5_K_M), um mehr Schichten auf die GPU zu bekommen.

Modell lädt nicht

Ursache: Nicht genug Speicher für das Modell + KV-Cache. Lösung: Reduzieren Sie die Kontextlänge, reduzieren Sie GPU-Offload oder verwenden Sie eine kleinere Quantisierung. Wenn das Modell zu groß für Ihre Hardware ist, laden Sie ein kleineres Modell herunter.

Nächste Schritte

LM Studio remote access

Machen Sie Ihr LM-Studio-Modell für Teammitglieder und Agenten über Tokios erreichbar — ohne Ports zu öffnen oder im lokalen Netzwerk zu servieren.

Hardware reference

Vergleichen Sie Hardware-Plattformen für lokale LLM-Inferenz — Spezifikationen, Modellkapazität und Empfehlungen.

Model fit finder

Finden Sie, welche Modelle auf Ihrer Hardware laufen, oder welche Hardware Ihr Zielmodell ausführen kann.

Test your deployment

Messen Sie Latenz und Durchsatz nach der Optimierung, um die Verbesserung zu bestätigen.

FAQ

What is the best GPU offload setting?

Verwenden Sie in den meisten Fällen Auto. LM Studio erkennt verfügbaren VRAM und lagert so viele Schichten aus, wie passen. Setzen Sie es nur auf Max, wenn Sie wissen, dass das vollständige Modell in den VRAM passt. Setzen Sie es auf Off für Inferenz nur auf CPU.

How do I increase the context window?

Ziehen Sie im Lade-Panel den Context Length-Schieberegler auf Ihren gewünschten Wert (z.B. 8192, 16384, 32768). Sie können auch einen pro-Modell-Standard in den Modelleinstellungen setzen oder context_length in der API-Anfrage übergeben.

Does LM Studio support flash attention?

Ja. Aktivieren Sie es im Lade-Panel oder pro Modell. Flash Attention reduziert KV-Cache-Speicher um 30-50% und beschleunigt die Inferenz. Auf Apple Silicon mit MLX ist Flash Attention immer an.

How do I keep the model loaded?

Setzen Sie den TTL auf Until you close the app oder -1 über die API. Das Modell bleibt im Speicher und jede Anfrage bekommt sofortige Antwort ohne Neulade-Penalty.

Can I run multiple models at once?

Ja. LM Studio kann mehrere Modelle gleichzeitig laden. Wenn der Speicher knapp ist, entlädt es das am kürzlichsten verwendete Modell, um Platz zu machen. Verwenden Sie lms status, um geladene Modelle zu sehen, und lms unload, um Speicher freizugeben.

What model format should I use?

Verwenden Sie GGUF für plattformübergreifende Kompatibilität (Windows, Linux, Mac). Auf Apple Silicon verwendet LM Studio automatisch MLX für schnellere Inferenz. Sie müssen nicht manuell wählen.

How do I serve LM Studio on the local network?

Im Server-Reiter klicken Sie auf Server Settings und ändern den Host auf 0.0.0.0. Dies exponiert LM Studio in Ihrem lokalen Netzwerk. Für Remote-Zugriff über das Internet verwenden Sie stattdessen Tokios.

What is the best KV cache quantization?

Verwenden Sie q8_0 für die beste Balance aus Qualität und Speicherersparnis. Es halbiert KV-Cache-Speicher mit vernachlässigbarem Qualitätsverlust. Verwenden Sie q4_0 nur, wenn Speicher extrem knapp ist und Sie etwas Qualitätsverlust akzeptieren.

Quellen

LM Studio documentation — offizielle Dokumentation zu Konfiguration und API
LM Studio per-model defaults — persistente Konfiguration pro Modell setzen
LM Studio CLI reference — CLI-Befehle zum Laden, Entladen und Server-Management
LM Studio OpenAI compatibility — API-Endpunkte und Client-Integration
LM Studio changelog — Release Notes und neue Features
GGUF vs MLX on Apple Silicon — Performance-Vergleich und Formatauswahl
LM Studio GPU offload guide — GPU-Offload- und Kontextgrößen-Konfiguration

Nach dem Ändern der LM-Studio-Konfiguration, registrieren Sie Ihr Tokios-Deployment neu, damit der Connector den neuen Upstream-Endpunkt übernimmt. Siehe Register Model.

​Context-Window-Anpassung

​How to increase the context window in LM Studio

​Context-Window-Speicherkosten

​Flash attention

​How to enable flash attention in LM Studio

​GPU-Offload-Strategie

​How LM Studio decides GPU layers

​GPU-Offload steuern

​VRAM-Budgetierung

​KV-Cache-Präzision

​Batch-Größen-Anpassung

​Modell-Speicherverwaltung

​Modelle mit TTL geladen halten

​Multi-Modell-Serving

​Lokale Server-Konfiguration

​Server-Einstellungen

​API-Endpunkte

​Unterstützte Modellformate

​GGUF (plattformübergreifend)

​MLX (Apple Silicon optimiert)

​Apple Silicon und MLX-Optimierung

​Performance-Gewinne

​Apple Silicon Optimierungstipps

​Beispielkonfigurationen

​Mac Studio M2 Ultra — 128 GB Unified Memory

​NVIDIA RTX 4090 — 24 GB VRAM

​Multi-GPU-Server — 2× RTX 4090 (48 GB VRAM gesamt)

​Nur-CPU-Server — 64 GB RAM, keine GPU

​Häufige Fehler und wie man sie vermeidet

​Fehler 1: Kontextlänge zu hoch setzen

​Fehler 2: Flash Attention vergessen

​Fehler 3: Modell-Entladung nicht steuern

​Fehler 4: KV-Cache-Präzision ignorieren

​Fehler 5: GPU-Offload bei einem Modell, das nicht passt

​Fehlerbehebung

​LM Studio ist langsam nach dem Start

​Out-of-Memory-Fehler

​GPU wird nicht genutzt

​Langsame CPU-Inferenz

​Modell lädt nicht

​Nächste Schritte

LM Studio remote access

Hardware reference

Model fit finder

Test your deployment

​FAQ

​What is the best GPU offload setting?

​How do I increase the context window?

​Does LM Studio support flash attention?

​How do I keep the model loaded?

​Can I run multiple models at once?

​What model format should I use?

​How do I serve LM Studio on the local network?

​What is the best KV cache quantization?

​Quellen

Context-Window-Anpassung

How to increase the context window in LM Studio

Context-Window-Speicherkosten

Flash attention

How to enable flash attention in LM Studio

GPU-Offload-Strategie

How LM Studio decides GPU layers

GPU-Offload steuern

VRAM-Budgetierung

KV-Cache-Präzision

Batch-Größen-Anpassung

Modell-Speicherverwaltung

Modelle mit TTL geladen halten

Multi-Modell-Serving

Lokale Server-Konfiguration

Server-Einstellungen

API-Endpunkte

Unterstützte Modellformate

GGUF (plattformübergreifend)

MLX (Apple Silicon optimiert)

Apple Silicon und MLX-Optimierung

Performance-Gewinne

Apple Silicon Optimierungstipps

Beispielkonfigurationen

Mac Studio M2 Ultra — 128 GB Unified Memory

NVIDIA RTX 4090 — 24 GB VRAM

Multi-GPU-Server — 2× RTX 4090 (48 GB VRAM gesamt)

Nur-CPU-Server — 64 GB RAM, keine GPU

Häufige Fehler und wie man sie vermeidet

Fehler 1: Kontextlänge zu hoch setzen

Fehler 2: Flash Attention vergessen

Fehler 3: Modell-Entladung nicht steuern

Fehler 4: KV-Cache-Präzision ignorieren

Fehler 5: GPU-Offload bei einem Modell, das nicht passt

Fehlerbehebung

LM Studio ist langsam nach dem Start

Out-of-Memory-Fehler

GPU wird nicht genutzt

Langsame CPU-Inferenz

Modell lädt nicht

Nächste Schritte

FAQ

What is the best GPU offload setting?

How do I increase the context window?

Does LM Studio support flash attention?

How do I keep the model loaded?

Can I run multiple models at once?

What model format should I use?

How do I serve LM Studio on the local network?

What is the best KV cache quantization?

Quellen