> ## Documentation Index > Fetch the complete documentation index at: https://docs.tokios.com/llms.txt > Use this file to discover all available pages before exploring further. > ## Agent Instructions > Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel. > Use 'connector' for the local tokios-connector process. > Use 'deployment' for the public model name in the API model field. > Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend. > API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-. # LM Studio für Geschwindigkeit und Speicher optimieren > Optimieren Sie LM Studio für maximale Geschwindigkeit – Auslagern auf die GPU, Kontextfenster, Flash Attention, KV-Cache-Quantisierung und Batchgröße. Reduzieren Sie die Latenz mit diesen Einstellungen um 2-5x. LM Studio ist die benutzerfreundlichste Art, lokale Modelle auszuführen — laden Sie ein Modell herunter, klicken Sie auf Load, und Sie chatten bereits. Unter der Haube umgibt es llama.cpp (und MLX auf Apple Silicon) und stellt Konfigurationsoptionen bereit, die steuern, wie es Ihre Hardware nutzt. Die Standardwerte funktionieren für gelegentliche Nutzung, lassen aber erhebliche Performance ungenutzt. Dieser Guide behandelt jeden relevanten Einstellparameter und wie Sie ihn für Ihren Workload setzen. > [!NOTE] > > Zuletzt überprüft: 2026-10-14 — LM Studio v0.3.26 / Bionic 1.1.8. > [!NOTE] > > **Apple Silicon verwendet MLX.** Auf Apple Silicon Macs verwendet LM Studio automatisch Apples MLX-Framework statt llama.cpp. MLX liefert deutlich schnellere Inferenz auf M-Series-Chips (siehe [Apple Silicon and MLX optimization](#apple-silicon-and-mlx-optimization)). Die meisten Konfigurationsoptionen in diesem Guide gelten für beide Backends; wo das Verhalten abweicht, wird es explizit hervorgehoben. ## Context-Window-Anpassung Das Context Window steuert, wie viele Tokens das Modell in einer einzelnen Anfrage verarbeiten kann — Ihr Prompt plus die generierte Antwort zusammen. Es ist der größte Treiber des Speicherverbrauchs nach den Modellgewichten selbst. ### How to increase the context window in LM Studio LM Studio verwendet standardmäßig ein 2048-Token-Context-Window aus Kompatibilitätsgründen. Die meisten modernen Modelle unterstützen 8K, 32K oder sogar 128K Tokens, aber LM Studio verwendet nicht das Maximum des Modells — es nutzt 2048, um den Speicherverbrauch vorhersehbar zu halten. Setzen Sie es auf 3 Arten: **In der UI (Modell-Lade-Panel):** Wenn Sie ein Modell laden, zeigt das Lade-Panel einen **Context Length**-Schieberegler. Ziehen Sie ihn auf Ihren gewünschten Wert (z.B. 8192, 16384, 32768) bevor Sie auf **Load Model** klicken. **Pro Modell (persistentes Standard):** Setzen Sie eine Standard-Context-Länge für ein bestimmtes Modell, damit sie jedes Mal beim Laden gilt. Gehen Sie zum Modell in Ihrer Bibliothek, klicken Sie auf das Zahnradsymbol und setzen Sie **Context Length** unter **Per-model Defaults**. Siehe [Per-model Defaults](https://lmstudio.ai/docs/app/advanced/per-model) für Details. **Über die API (pro Anfrage):** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} curl http://localhost:1234/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Summarize this document..."}], "context_length": 32768 }' ``` **Über die CLI:** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} lms load llama-3.1-8b-instruct --context-length 32768 ``` ### Context-Window-Speicherkosten Der KV-Cache wächst linear mit der Kontextlänge. Die Formel: ``` KV cache memory = 2 × num_layers × hidden_dim × num_ctx × precision_bytes ``` Für ein 7B-Modell (32 Schichten, 4096 Hidden-Dimension) bei f16-Präzision: | Kontextlänge | KV-Cache-Speicher | | - | - | | 2,048 (Standard) | \~1 GB | | 8,192 | \~4 GB | | 32,768 | \~16 GB | | 128,000 | \~64 GB | > [!TIP] > > Setzen Sie die Kontextlänge nur so hoch, wie Ihr Workload tatsächlich benötigt. Ein Coding-Agent, der 2K-Prompts sendet, profitiert nicht von einem 128K-Context-Window — er verschwendet nur 64 GB KV-Cache-Speicher, der andere Anfragen bedienen oder ein größeres Modell passen könnte. ## Flash attention Flash Attention ist die nächstbeste Sache an einer kostenlosen Performance-Verbesserung, die LM Studio bietet. Es überarbeitet, wie das Modell Attention zwischen Tokens berechnet — statt die vollständige Attention-Matrix im Speicher zu materialisieren, berechnet es Attention in gekachelten Blöcken, die in schnellen SRAM passen. Das Ergebnis: * **30-50% geringerer Speicherverbrauch** für den KV-Cache — der größte Gewinn bei langen Kontextlängen. * **Schnellere Inferenz** — besonders auf der GPU, wo die gekachelte Berechnung gut auf Tensor Cores abbildet. * **Gleiche Ausgabequalität** — Flash Attention ist mathematisch äquivalent zu Standard-Attention, keine Approximation. ### How to enable flash attention in LM Studio **In der UI:** Wenn Sie ein Modell laden, zeigt das Lade-Panel einen **Flash Attention**-Schalter. Aktivieren Sie ihn vor dem Klick auf **Load Model**. **Pro Modell (persistentes Standard):** Setzen Sie einen Standard für ein bestimmtes Modell, damit er jedes Mal beim Laden gilt. Gehen Sie zum Modell in Ihrer Bibliothek, klicken Sie auf das Zahnradsymbol und aktivieren Sie **Flash Attention** unter **Per-model Defaults**. **Über die API:** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} curl http://localhost:1234/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Hello"}], "flash_attention": true }' ``` > [!TIP] > > **Aktivieren Sie immer Flash Attention.** Es gibt keinen Grund, es wegzulassen, außer Sie stoßen auf ein Kompatibilitätsproblem mit einem bestimmten Modell oder einer Plattform. Es ist die Einstellung mit der höchsten Wirkung in diesem Guide. > [!NOTE] > > Auf Apple Silicon mit dem MLX-Backend ist Flash Attention standardmäßig aktiviert und die Einstellung hat keinen Effekt — MLX verwendet immer optimierte Attention-Kernel. ## GPU-Offload-Strategie LM Studio lagert automatisch Modellschichten auf Ihre GPU aus. Wenn das vollständige Modell in den VRAM passt, läuft jede Schicht auf der GPU für maximale Geschwindigkeit. Wenn VRAM knapp ist, teilt LM Studio Schichten zwischen GPU und CPU auf — die GPU läuft mit dem, was sie kann, und der Rest fällt auf System-RAM zurück. ### How LM Studio decides GPU layers LM Studios GPU-Planung funktioniert in dieser Reihenfolge: 1. **Vollständiges Offload** — wenn die Modellgewichte + KV-Cache in den VRAM passen, gehen alle Schichten auf die GPU. Das ist die schnellste Konfiguration. 2. **Teilweises Offload** — wenn das Modell nicht vollständig passt, legt LM Studio so viele Schichten auf die GPU, wie der VRAM zulässt, und führt den Rest auf der CPU aus. Die Performance verschlechtert sich, da jeder Forward-Pass den PCIe-Bus für CPU-residente Schichten überqueren muss. 3. **Nur CPU** — wenn keine GPU verfügbar ist oder VRAM selbst für wenige Schichten zu klein ist, läuft das gesamte Modell auf der CPU. ### GPU-Offload steuern Die **GPU Offload**-Einstellung steuert, wie viele Schichten auf die GPU ausgelagert werden. Setzen Sie sie in der UI, pro Modell oder über die API: **In der UI:** Wenn Sie ein Modell laden, zeigt das Lade-Panel einen **GPU Offload**-Schieberegler. Sie können ihn setzen auf: * **Auto** (Standard) — LM Studio erkennt automatisch verfügbaren VRAM und lagert so viele Schichten aus, wie passen. * **Max** — erzwingt alle Schichten auf die GPU. Verwenden Sie dies, wenn Sie wissen, dass das Modell passt. * **Off** — deaktiviert GPU-Offload vollständig (Inferenz nur auf CPU). * **Manual** — ziehen Sie den Schieberegler, um eine bestimmte Anzahl von Schichten zu setzen. **Pro Modell (persistentes Standard):** Setzen Sie einen Standard für ein bestimmtes Modell. Gehen Sie zum Modell in Ihrer Bibliothek, klicken Sie auf das Zahnradsymbol und setzen Sie **GPU Offload** unter **Per-model Defaults**. **Über die API:** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} curl http://localhost:1234/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Hello"}], "gpu": "max" }' ``` | `gpu`-Wert | Verhalten | | - | - | | `"auto"` (Standard) | LM Studio erkennt automatisch basierend auf verfügbarem VRAM | | `"max"` | Alle Schichten auf GPU — verwenden, wenn Sie wissen, dass das Modell passt | | `"off"` | Kein GPU-Offload — nur CPU | | `0.0` bis `1.0` | Anteil der Schichten auf GPU (z.B. `0.5` = 50% der Schichten) | > [!TIP] > > Lassen Sie GPU-Offload in den meisten Fällen auf **Auto** und überlassen Sie LM Studio die Entscheidung. Setzen Sie ihn nur manuell, wenn Sie eine bestimmte Aufteilung erzwingen müssen — zum Beispiel, um VRAM für ein größeres Context Window zu reservieren oder einige Schichten auf der CPU zu behalten für ein Modell, das knapp passt. ### VRAM-Budgetierung Jede ausgelagerte Schicht verbraucht VRAM für sowohl Gewichte als auch KV-Cache. Eine grobe Schätzung: ``` VRAM per layer ≈ (parameters_per_layer × bytes_per_weight) + (KV_cache_per_layer × num_ctx) ``` Für ein 7B-Modell bei Q4\_K\_M (\~4.5 Bits pro Gewicht, \~32 Schichten): | Komponente | Pro Schicht | 32 Schichten gesamt | | - | - | - | | Gewichte | \~0.19 GB | \~6 GB | | KV-Cache (f16, 8K ctx) | \~0.13 GB | \~4 GB | | **Gesamt** | | **\~10 GB** | Lassen Sie 1-2 GB VRAM-Reserve für CUDA-Kontext und Overhead. > [!WARNING] > > Wenn Sie die Kontextlänge erhöhen, wächst der KV-Cache und kann Schichten aus dem VRAM drängen. Wenn Sie ein 32K-Context-Window setzen und LM Studio plötzlich die Hälfte der Schichten auf die CPU auslagert, hat der KV-Cache Ihr VRAM-Budget aufgebraucht. Reduzieren Sie entweder die Kontextlänge, verwenden Sie eine kleinere Quantisierung oder aktivieren Sie Flash Attention, um den KV-Cache zu verkleinern. ## KV-Cache-Präzision Der KV-Cache speichert Key- und Value-Tensoren für jedes Token in jeder aktiven Sequenz. Standardmäßig verwendet LM Studio `f16` (16-Bit-Gleitkomma). Sie können auf quantisierte Präzision wechseln, um den Speicherverbrauch auf Kosten geringer Qualität zu senken. Setzen Sie den Cache-Typ im Lade-Panel oder über die API: **In der UI:** Wenn Sie ein Modell laden, erweitern Sie **Advanced Settings** und suchen Sie nach **KV Cache Quantization**. Sie können setzen auf: * **f16** (Standard) — volle Präzision * **q8\_0** — 8-Bit-Quantisierung * **q4\_0** — 4-Bit-Quantisierung **Über die API:** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} curl http://localhost:1234/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Hello"}], "llama_k_cache_quantization_type": "q8_0", "llama_v_cache_quantization_type": "q8_0" }' ``` | Cache-Typ | Speicher pro Element | Qualität | Wann verwenden | | - | - | - | - | | `f16` (Standard) | 2 Bytes | Baseline | Maximale Qualität; Sie haben reichlich Speicher | | `q8_0` | 1 Byte | Nahezu identisch zu f16 | Beste Balance — halbiert KV-Cache-Speicher mit vernachlässigbarem Qualitätsverlust | | `q4_0` | 0.5 Bytes | Leichte Verschlechterung | Knapper Speicher; langer Kontext oder viele gleichzeitige Sequenzen | > [!TIP] > > Kombinieren Sie `q8_0` KV-Cache mit Flash Attention für den größten Speichergewinn. Flash Attention reduziert den KV-Cache-Fußabdruck um 30-50%, und q8\_0 halbiert ihn erneut — zusammen können sie den KV-Cache-Speicher um 60-75% gegenüber dem Standard reduzieren. > [!WARNING] > > `q4_0` KV-Cache verursacht messbaren Qualitätsverlust bei Aufgaben, die auf präzise Attention über langen Kontext angewiesen sind — Needle-in-a-Haystack-Abruf, Multi-Dokument-Zusammenfassung und lange Gespräche. Testen Sie Ihren spezifischen Workload, bevor Sie sich für `q4_0` entscheiden. ## Batch-Größen-Anpassung Der **Eval Batch Size**-Parameter steuert, wie viele Tokens LM Studio während der Prefill-Phase (Prompt-Aufnahme) gleichzeitig verarbeitet. Der Standard ist 512. Setzen Sie ihn im Lade-Panel unter **Advanced Settings** oder über die API: ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} curl http://localhost:1234/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Hello"}], "eval_batch_size": 1024 }' ``` | Einstellung | Effekt | | - | - | | `512` (Standard) | Ausgewogen für interaktiven Chat mit kurzen Prompts | | `1024` | Schnellerer Prefill für lange Prompts — ungefähr 50-100% schnellere Time-to-First-Token | | `2048` | Maximaler Durchsatz für Dokumentenaufnahme — bis zu 150% schnellerer Prefill | | `2048+` | Abnehmende Erträge; höherer Speicherverbrauch ohne proportionalen Geschwindigkeitsgewinn | > [!TIP] > > Für interaktiven Chat mit kurzen Prompts (unter 1K Tokens) ist der Standard `512` in Ordnung. Erhöhen Sie ihn nur, wenn Sie regelmäßig lange Dokumente aufnehmen und schnellere Time-to-First-Token wollen. > [!WARNING] > > Größere Batch-Größen verbrauchen mehr VRAM während der Prompt-Aufnahme. Wenn Sie die Batch-Größe erhöhen und Out-of-Memory-Fehler erhalten, reduzieren Sie sie oder senken Sie die Kontextlänge. ## Modell-Speicherverwaltung ### Modelle mit TTL geladen halten Standardmäßig entlädt LM Studio ein Modell nach einer Zeit der Inaktivität aus dem Speicher. Die nächste Anfrage muss das Modell von der Festplatte neu laden, was je nach Modellgröße und Festplattengeschwindigkeit Sekunden bis Minuten dauert. Setzen Sie den **TTL (Time To Live)**, um zu steuern, wie lange Modelle geladen bleiben: **In der UI:** Wenn Sie ein Modell laden, zeigt das Lade-Panel ein **TTL**-Dropdown. Setzen Sie es auf: * **Until you close the app** — Modell bleibt unbegrenzt geladen. * **Until you unload it** — Modell bleibt geladen, bis Sie es manuell entladen. * **Custom duration** — Modell wird nach der angegebenen Zeit entladen (z.B. 5 Minuten, 1 Stunde). **Über die API:** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} curl http://localhost:1234/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Hello"}], "ttl": -1 }' ``` **Über die CLI:** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} lms load llama-3.1-8b-instruct --ttl -1 ``` | Wert | Verhalten | | - | - | | Standard (5 Minuten) | Entladen nach 5 Minuten Inaktivität | | `-1` | Unbegrenzt geladen halten — kein Neulade-Penalty | | `0` | Sofort nach jeder Anfrage entladen | | Dauer in Sekunden (`3600`, `86400`) | Für diese Dauer nach der letzten Anfrage geladen halten | > [!TIP] > > Für einen dedizierten Inferenz-Server, der dasselbe Modell den ganzen Tag ausführt, setzen Sie TTL auf **Until you close the app** oder `-1`. Das Modell bleibt im Speicher und jede Anfrage bekommt sofortige Antwort ohne Kaltstart-Penalty. ### Multi-Modell-Serving LM Studio kann mehrere Modelle gleichzeitig laden. Wenn Sie ein zweites Modell laden, prüft LM Studio, ob genug Speicher vorhanden ist. Wenn nicht, entlädt es das am kürzlichsten verwendete Modell, um Platz zu machen. Um geladene Modelle zu verwalten: **In der UI:** Das **Models**-Panel zeigt alle geladenen Modelle. Klicken Sie auf den Entladen-Button neben einem Modell, um Speicher freizugeben. **Über die CLI:** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} # List loaded models lms status # Unload a specific model lms unload llama-3.1-8b-instruct # Unload all models lms unload --all ``` **Über die API:** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} # Unload a specific model curl -X DELETE http://localhost:1234/v1/models/llama-3.1-8b-instruct ``` ## Lokale Server-Konfiguration LM Studio bietet einen OpenAI-kompatiblen API-Server. Standardmäßig lauscht er auf `http://localhost:1234`. ### Server-Einstellungen **In der UI:** Gehen Sie zum **Server**-Reiter und klicken Sie auf **Server Settings** zum Konfigurieren: * **Host** — Bindungsadresse (Standard: `127.0.0.1`). Ändern Sie auf `0.0.0.0`, um im lokalen Netzwerk zu servieren. * **Port** — Listen-Port (Standard: `1234`). * **CORS** — Cross-Origin-Anfragen für Web-Clients aktivieren. * **Require API Key** — Bearer-Token zur Authentifizierung erfordern. **Über die CLI:** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} lms server start --host 0.0.0.0 --port 8080 ``` > [!WARNING] > > Den Host auf `0.0.0.0` zu setzen, exponiert LM Studio in Ihrem lokalen Netzwerk. Tun Sie dies nur, wenn Sie allen Geräten in Ihrem Netzwerk vertrauen, oder verwenden Sie eine Firewall, um den Zugriff einzuschränken. Für Remote-Zugriff über das Internet verwenden Sie stattdessen [Tokios](/de/guides/lm-studio-remote-access.md) — es bietet authentifizierten Remote-Zugriff ohne offene Ports. ### API-Endpunkte LM Studio unterstützt diese OpenAI-kompatiblen Endpunkte: | Endpunkt | Zweck | | - | - | | `/v1/chat/completions` | Chat-Completions (am häufigsten) | | `/v1/completions` | Text-Completions (Legacy) | | `/v1/embeddings` | Embeddings generieren | | `/v1/models` | Geladene Modelle auflisten | | `/v1/responses` | Responses API (neueres Format) | | `/v1/decisions` | Entscheidungsmodelle (Klassifizierung, Routing) | Beispiel: Geladene Modelle auflisten ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} curl http://localhost:1234/v1/models ``` Beispiel: Chat-Completion ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} curl http://localhost:1234/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llama-3.1-8b-instruct", "messages": [ {"role": "user", "content": "Hello!"} ] }' ``` ## Unterstützte Modellformate LM Studio unterstützt 2 primäre Modellformate: ### GGUF (plattformübergreifend) GGUF ist das am weitesten unterstützte Format. Es funktioniert auf Windows, Linux und macOS — mit oder ohne GPU. GGUF-Modelle werden quantisiert, um die Dateigröße zu reduzieren (z.B. Q4\_K\_M, Q5\_K\_M, Q8\_0). **Wann GGUF verwenden:** * Sie benötigen plattformübergreifende Portabilität (Windows, Linux, Mac). * Sie wollen dasselbe Modell auf NVIDIA GPU und Apple Silicon ausführen. * Sie bevorzugen die größte Auswahl an Quantisierungsoptionen. ### MLX (Apple Silicon optimiert) MLX ist Apples Machine-Learning-Framework, optimiert für M-Series-Chips. Auf Apple Silicon verwendet LM Studio automatisch MLX für schnellere Inferenz. **Wann MLX verwenden:** * Sie sind auf Apple Silicon (M1, M2, M3, M4). * Sie wollen maximale Performance auf dem Mac. * Sie müssen dasselbe Modell nicht auf Nicht-Apple-Hardware ausführen. > [!TIP] > > Auf Apple Silicon wählt LM Studio automatisch die beste Laufzeit (MLX oder llama.cpp) für Ihre Hardware. Sie müssen dies nicht manuell konfigurieren. ## Apple Silicon und MLX-Optimierung Auf Apple Silicon Macs verwendet LM Studio standardmäßig Apples MLX-Framework. MLX ist für Apples Unified-Memory-Architektur optimiert und liefert deutlich schnellere Inferenz als llama.cpp auf M-Series-Chips. ### Performance-Gewinne Benchmarks aus Community-Tests: | Modell | Quantisierung | Tokens/Sek (MLX) | | - | - | - | | Llama 3.1 8B | Q4\_K\_M | \~70-80 tok/s | | Gemma 4 12B | Q4\_K\_M | \~46 tok/s | | Qwen 2.5 7B | Q4\_K\_M | \~60-70 tok/s | MLX unterstützt auch erweiterte Quantisierung auf Apple Silicon, die Near-BF16-Qualität mit 4-Bit-Speicher-Fußabdruck liefert — halbierter Qualitätsverlust gegenüber Q4-Quantisierung. ### Apple Silicon Optimierungstipps 1. **Verwenden Sie MLX-optimierte Modelle.** Wenn Sie ein Modell auf Apple Silicon herunterladen, verwendet LM Studio automatisch das MLX-Backend. Keine Konfiguration erforderlich. 2. **Flash Attention ist immer an.** MLX verwendet standardmäßig optimierte Attention-Kernel. Die Flash-Attention-Einstellung hat keinen Effekt. 3. **Unified Memory bedeutet vollständiges GPU-Offload.** Apples GPU kann auf den vollständigen RAM-Pool zugreifen, daher funktioniert vollständiges GPU-Offload, solange Modell und KV-Cache in den Unified Memory passen. 4. **Verwenden Sie `q8_0` KV-Cache**, um Ihr Speicherbudget zu dehnen. Den KV-Cache zu halbieren ermöglicht größere Modelle oder längere Kontexte. 5. **Setzen Sie TTL auf "Until you close the app"** für dauerhaft laufende Inferenz. Modelle bleiben im Unified Memory ohne Neulade-Penalty. > [!NOTE] > > Wenn Sie plattformübergreifende Portabilität benötigen oder dieselbe Konfiguration auf NVIDIA GPU und Mac ausführen wollen, können Sie LM Studio zwingen, das llama.cpp-Backend auf Apple Silicon zu verwenden. Kontaktieren Sie den LM Studio-Support oder prüfen Sie deren Dokumentation für die Einstellung, um die Backend-Auswahl zu überschreiben. ## Beispielkonfigurationen ### Mac Studio M2 Ultra — 128 GB Unified Memory **UI-Einstellungen:** * **GPU Offload:** Max * **Context Length:** 32768 * **Flash Attention:** Enabled (auto on MLX) * **KV Cache Quantization:** q8\_0 * **TTL:** Until you close the app Diese Konfiguration betreibt ein 70B-Q4-Modell mit einem 32K-Context-Window. Der 128-GB-Unified-Memory-Pool bewältigt die \~40 GB Modellgewichte, \~16 GB KV-Cache bei q8\_0 und lässt Reserve für mehrere Modelle. MLX liefert maximalen Durchsatz auf Apple Silicon. ### NVIDIA RTX 4090 — 24 GB VRAM **UI-Einstellungen:** * **GPU Offload:** Max * **Context Length:** 16384 * **Flash Attention:** Enabled * **KV Cache Quantization:** q8\_0 * **Eval Batch Size:** 1024 * **TTL:** Until you close the app Diese Konfiguration betreibt ein 8B-Q4-Modell mit einem 16K-Context-Window. Der 24-GB-VRAM bewältigt die \~5 GB Modellgewichte, \~4 GB KV-Cache bei q8\_0 mit Flash Attention. Die größere Batch-Größe beschleunigt die Prompt-Aufnahme. ### Multi-GPU-Server — 2× RTX 4090 (48 GB VRAM gesamt) **UI-Einstellungen:** * **GPU Offload:** Max * **Context Length:** 32768 * **Flash Attention:** Enabled * **KV Cache Quantization:** q8\_0 * **Eval Batch Size:** 2048 * **TTL:** Until you close the app Diese Konfiguration betreibt ein 70B-Q4-Modell über 2 GPUs. Der 48-GB-Gesamt-VRAM bewältigt die \~40 GB Modellgewichte, \~16 GB KV-Cache. Die große Batch-Größe maximiert den Durchsatz für Batch-Workloads. ### Nur-CPU-Server — 64 GB RAM, keine GPU **UI-Einstellungen:** * **GPU Offload:** Off * **Context Length:** 8192 * **Flash Attention:** Disabled * **KV Cache Quantization:** q8\_0 * **Eval Batch Size:** 512 * **TTL:** Until you close the app Diese Konfiguration betreibt ein 8B-Q4-Modell vollständig auf der CPU. Die kleine Batch-Größe und einzelne parallele Anfrage halten den Speicherverbrauch handhabbar. Erwarten Sie 5-10 tok/s — nutzbar für interaktiven Chat, aber nicht für Batch-Workloads. ## Häufige Fehler und wie man sie vermeidet ### Fehler 1: Kontextlänge zu hoch setzen **Problem:** Sie haben die Kontextlänge auf 128K gesetzt "für den Fall", aber Ihre Prompts sind unter 2K Tokens. Sie haben gerade 64 GB KV-Cache-Speicher verschwendet. **Lösung:** Setzen Sie die Kontextlänge passend zu Ihrem tatsächlichen Workload. Wenn Ihre Prompts unter 4K Tokens sind, verwenden Sie 4096 oder 8192. Sie können sie später jederzeit für bestimmte Anfragen über die API erhöhen. ### Fehler 2: Flash Attention vergessen **Problem:** Sie verwenden 30-50% mehr VRAM als nötig, weil Flash Attention nicht aktiviert ist. **Lösung:** Aktivieren Sie immer Flash Attention. Es gibt keinen Nachteil auf unterstützter Hardware. ### Fehler 3: Modell-Entladung nicht steuern **Problem:** Sie starten Ihre Anfrage nach einer 10-minütigen Pause neu, und die erste Anfrage dauert 30 Sekunden, weil LM Studio das Modell von der Festplatte neu geladen hat. **Lösung:** Setzen Sie TTL auf **Until you close the app** oder `-1` für dauerhaft laufende Inferenz. Das Modell bleibt im Speicher und jede Anfrage bekommt sofortige Antwort. ### Fehler 4: KV-Cache-Präzision ignorieren **Problem:** Ihr VRAM geht aus und LM Studio lagert Schichten auf die CPU aus, aber Sie haben nicht bedacht, dass der KV-Cache 2× mehr Speicher als nötig verwendet. **Lösung:** Setzen Sie KV-Cache-Quantisierung auf `q8_0`, um den KV-Cache-Speicher zu halbieren. Das ist die beste Balance aus Qualität und Speicherersparnis. ### Fehler 5: GPU-Offload bei einem Modell, das nicht passt **Problem:** Sie haben GPU-Offload auf **Max** gesetzt, aber das Modell passt nicht in den VRAM. LM Studio bekommt keinen Speicher mehr oder stürzt ab. **Lösung:** Setzen Sie GPU-Offload auf **Auto** und überlassen Sie LM Studio die Entscheidung. Wenn Sie es manuell setzen müssen, starten Sie mit einem niedrigeren Wert und erhöhen Sie, bis Sie das Limit erreichen. ## Fehlerbehebung ### LM Studio ist langsam nach dem Start **Ursache:** Das Modell wurde entladen und musste von der Festplatte neu geladen werden. **Lösung:** Setzen Sie TTL auf **Until you close the app** oder `-1`, um das Modell unbegrenzt geladen zu halten. ### Out-of-Memory-Fehler **Ursache:** Das Modell + KV-Cache überschreitet den verfügbaren VRAM oder RAM. **Lösung:** Reduzieren Sie die Kontextlänge, aktivieren Sie Flash Attention, setzen Sie KV-Cache-Quantisierung auf `q8_0` oder verwenden Sie eine kleinere Quantisierung. ### GPU wird nicht genutzt **Ursache:** LM Studio hat die GPU nicht erkannt, oder VRAM ist zu klein selbst für wenige Schichten. **Lösung:** Prüfen Sie das Lade-Panel, um zu sehen, ob Schichten auf der GPU sind. Stellen Sie für NVIDIA GPUs sicher, dass die NVIDIA-Treiber und das CUDA-Toolkit installiert sind. Stellen Sie für AMD GPUs sicher, dass ROCm installiert ist. ### Langsame CPU-Inferenz **Ursache:** Schichten zwischen GPU und CPU aufgeteilt, oder kein GPU-Offload. **Lösung:** Lagern Sie wenn möglich mehr Schichten auf die GPU aus. Verwenden Sie eine kleinere Quantisierung (Q4\_K\_M oder Q5\_K\_M), um mehr Schichten auf die GPU zu bekommen. ### Modell lädt nicht **Ursache:** Nicht genug Speicher für das Modell + KV-Cache. **Lösung:** Reduzieren Sie die Kontextlänge, reduzieren Sie GPU-Offload oder verwenden Sie eine kleinere Quantisierung. Wenn das Modell zu groß für Ihre Hardware ist, laden Sie ein kleineres Modell herunter. ## Nächste Schritte > **[LM Studio remote access](/de/guides/lm-studio-remote-access.md)** > > Machen Sie Ihr LM-Studio-Modell für Teammitglieder und Agenten über Tokios erreichbar — ohne Ports zu öffnen oder im lokalen Netzwerk zu servieren. > **[Hardware reference](/de/guides/hardware-reference.md)** > > Vergleichen Sie Hardware-Plattformen für lokale LLM-Inferenz — Spezifikationen, Modellkapazität und Empfehlungen. > **[Model fit finder](/de/guides/model-fit.md)** > > Finden Sie, welche Modelle auf Ihrer Hardware laufen, oder welche Hardware Ihr Zielmodell ausführen kann. > **[Test your deployment](/de/guides/benchmark-your-deployment.md)** > > Messen Sie Latenz und Durchsatz nach der Optimierung, um die Verbesserung zu bestätigen. ## FAQ ### What is the best GPU offload setting? Verwenden Sie in den meisten Fällen **Auto**. LM Studio erkennt verfügbaren VRAM und lagert so viele Schichten aus, wie passen. Setzen Sie es nur auf **Max**, wenn Sie wissen, dass das vollständige Modell in den VRAM passt. Setzen Sie es auf **Off** für Inferenz nur auf CPU. ### How do I increase the context window? Ziehen Sie im Lade-Panel den **Context Length**-Schieberegler auf Ihren gewünschten Wert (z.B. 8192, 16384, 32768). Sie können auch einen pro-Modell-Standard in den Modelleinstellungen setzen oder `context_length` in der API-Anfrage übergeben. ### Does LM Studio support flash attention? Ja. Aktivieren Sie es im Lade-Panel oder pro Modell. Flash Attention reduziert KV-Cache-Speicher um 30-50% und beschleunigt die Inferenz. Auf Apple Silicon mit MLX ist Flash Attention immer an. ### How do I keep the model loaded? Setzen Sie den **TTL** auf **Until you close the app** oder `-1` über die API. Das Modell bleibt im Speicher und jede Anfrage bekommt sofortige Antwort ohne Neulade-Penalty. ### Can I run multiple models at once? Ja. LM Studio kann mehrere Modelle gleichzeitig laden. Wenn der Speicher knapp ist, entlädt es das am kürzlichsten verwendete Modell, um Platz zu machen. Verwenden Sie `lms status`, um geladene Modelle zu sehen, und `lms unload`, um Speicher freizugeben. ### What model format should I use? Verwenden Sie **GGUF** für plattformübergreifende Kompatibilität (Windows, Linux, Mac). Auf Apple Silicon verwendet LM Studio automatisch **MLX** für schnellere Inferenz. Sie müssen nicht manuell wählen. ### How do I serve LM Studio on the local network? Im Server-Reiter klicken Sie auf **Server Settings** und ändern den **Host** auf `0.0.0.0`. Dies exponiert LM Studio in Ihrem lokalen Netzwerk. Für Remote-Zugriff über das Internet verwenden Sie stattdessen [Tokios](/de/guides/lm-studio-remote-access.md). ### What is the best KV cache quantization? Verwenden Sie **q8\_0** für die beste Balance aus Qualität und Speicherersparnis. Es halbiert KV-Cache-Speicher mit vernachlässigbarem Qualitätsverlust. Verwenden Sie **q4\_0** nur, wenn Speicher extrem knapp ist und Sie etwas Qualitätsverlust akzeptieren. ## Quellen * [LM Studio documentation](https://lmstudio.ai/docs) — offizielle Dokumentation zu Konfiguration und API * [LM Studio per-model defaults](https://lmstudio.ai/docs/app/advanced/per-model) — persistente Konfiguration pro Modell setzen * [LM Studio CLI reference](https://lmstudio.ai/docs/cli) — CLI-Befehle zum Laden, Entladen und Server-Management * [LM Studio OpenAI compatibility](https://lmstudio.ai/docs/developer/openai-compat) — API-Endpunkte und Client-Integration * [LM Studio changelog](https://lmstudio.ai/changelog) — Release Notes und neue Features * [GGUF vs MLX on Apple Silicon](https://atomic.chat/blog/guides/gguf-vs-mlx) — Performance-Vergleich und Formatauswahl * [LM Studio GPU offload guide](https://houtini.com/articles/how-to-set-up-lm-studio/) — GPU-Offload- und Kontextgrößen-Konfiguration > [!NOTE] > > Nach dem Ändern der LM-Studio-Konfiguration, registrieren Sie Ihr Tokios-Deployment neu, damit der Connector den neuen Upstream-Endpunkt übernimmt. Siehe [Register Model](/de/setup/register-model.md). This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.