Zum Hauptinhalt springen
Dies sind zusammengesetzte Profile basierend auf gängigen Deployment-Mustern. Jedes erfasst echte Abwägungen, Zahlen und Erkenntnisse aus dem Betrieb lokaler Modelle in Produktion oder persönlicher Nutzung.

Einzelentwickler: Coding-Assistent auf einem MacBook

Setup: Mac Studio M2 Ultra + Ollama + Claude Code über Tokios Model: Qwen3-30B Q5_K_M Time to first working setup: 20 Minuten Ein einzelner Full-Stack-Entwickler wollte einen Coding-Assistenten, der den Quellcode auf seiner Maschine behält. Er betreibt Ollama auf einem Mac Studio M2 Ultra mit 64 GB einheitlichem Speicher und leitet Claude Code über Tokios darauf.
Was funktioniert hat: Die Speicherbandbreite des M2 Ultra bewältigt das 30B-Modell gut. Tokios bedeutet, dass dieselbe Einrichtung auch von einem Laptop unterwegs funktioniert — richten Sie einfach Claude Code auf api.tokios.com aus. Einschränkung: Die Kontextlänge liegt bei diesem Modell bei etwa 8K Tokens. Bei großen Codebasen mit vielen geöffneten Dateien unterteilt der Entwickler die Arbeit in kleinere Sitzungen, anstatt gesamte Repositories zu übergeben.
Wichtigste Erkenntnis: Wenn Sie bereits Apple Silicon mit 32 GB+ RAM besitzen, kostet ein lokaler Coding-Assistent $0/Monat und hält Ihren Code privat. Tokios fügt Remote-Zugriff ohne VPN hinzu.

Kleines Team: gemeinsamer Modell-Endpunkt für 5 Entwickler

Setup: RTX 4090 Workstation + vLLM + Tokios Connector Model: Qwen3-72B FP8 (AWQ-Quantisierung) Time to first working setup: 45 Minuten Ein 5-köpfiges Backend-Team teilt sich eine einzelne RTX 4090 Workstation als Team-Modellserver. Sie verwenden vLLM für Durchsatz und Tokios, um jedem Entwickler einen eingegrenzten API-Schlüssel zu geben.
Was funktioniert hat: Konsistenter Modellzugriff ohne Ratenbegrenzungen. Eingegrenzte Schlüssel bedeuten, dass jeder Entwickler seinen eigenen sk-tok-…-Schlüssel hat — das Widerrufen eines Schlüssels betrifft nicht die anderen. Zu beachten: Das 72B AWQ-Modell passt kaum in 24 GB VRAM. Während der Spitzenlast bei gleichzeitiger Nutzung speichert vLLM den KV-Cache in den CPU-Speicher aus, was den Durchsatz verlangsamt. Das Team hat --max-num-seqs 8 hinzugefügt, um gleichzeitige Anfragen zu begrenzen und OOM-Crashes zu verhindern. Was sie ändern würden: Zu einer 48 GB A6000 wechseln oder eine zweite GPU für Tensor-Parallelität hinzufügen. Siehe Tensor vs Pipeline Parallelität.
Wesentliche Erkenntnis: Eine einzelne Consumer-GPU kann ein kleines Team bedienen, aber planen Sie für Spitzenlasten. Begrenzen Sie --max-num-seqs, um OOM zu verhindern, und akzeptieren Sie höhere Latenz unter Last.

Homelab-Enthusiast: DGX Spark als Immer-aktiv-Inferenzserver

Setup: DGX Spark + vLLM + Tokios + Tailscale (für LAN-Zugang) Models: Rotierende Sammlung — Qwen3-30B für den täglichen Gebrauch, DeepSeek-R1 für Reasoning-Aufgaben, Phi-4 für schnelle Klassifizierung Time to first working setup: 1 Stunde (inklusive Modell-Downloads) Ein Homelab-Hobbyist betreibt einen DGX Spark 24/7 als persönlichen Inferenzserver. Der 128 GB einheitliche Speicher ermöglicht es ihm, ein großes Modell geladen zu halten und andere bei Bedarf auszutauschen. Tokios stellt Modelle seinem Telefon, Laptop und Home-Automation-Skripten zur Verfügung.
Was funktioniert hat: Der 128 GB einheitliche Speicher des DGX Spark fasst Modelle, für die 2–3 Consumer-GPUs nötig wären. Das Ausführen mehrerer vLLM-Instanzen auf verschiedenen Ports ermöglicht es, 3 Modelle gleichzeitig zu bedienen. Tokios Modell-Routing bedeutet, dass die Telefon-App einfach das model-Feld ändert, um zwischen täglichem Chat und tiefgehendem Reasoning zu wechseln. Tipp: Verwenden Sie Modell-Routing, um automatisch ein Deployment nach Anfragetyp auszuwählen. Richten Sie Chat-Clients auf daily und Automatisierungs-Skripte auf classifier aus.
Wichtigste Erkenntnis: Ein DGX Spark als Immer-aktiv-Server kostet $8–15/Monat an Strom und bietet unbegrenzte Inferenz bei Modellen, die nicht auf Consumer-Hardware passen. Der 128 GB einheitliche Speicher ist der eigentliche Unterschied.

Startup: Lokale Modelle für Kundendatenverarbeitung

Setup: 2x A100 80 GB + vLLM + Tokios Models: Llama 3.1 70B für Analyse, Phi-4 für Klassifizierung Time to first working setup: 2 Stunden (inklusive Infrastruktur) Ein 10-köpfiges Startup verarbeitet Kundendokumente mit sensiblen Finanzdaten. Compliance verlangt, dass diese Daten ihre Infrastruktur niemals verlassen. Sie betreiben 2 separate vLLM-Instanzen — 1 für Analyse, 1 für Klassifizierung — und stellen beide über Tokios bereit.
Architektur: Ihre Verarbeitungspipeline sendet Dokumente an das analyzer-Deployment für Zusammenfassung und Entitätsextraktion, leitet dann extrahierte Felder an das classifier-Deployment zur Kategorisierung weiter. Beide Modelle laufen auf separaten A100s, um VRAM-Konflikte zu vermeiden. Was funktioniert hat: Separate Deployments für verschiedene Aufgaben bedeuten, dass sie unabhängig skaliert, neu gestartet oder Modelle ausgetauscht werden können. Tokios eingegrenzte Schlüssel beschränken den Verarbeitungsdienst auf nur die analyzer- und classifier-Deployments. Was sie ändern würden: Ein 3. Modell für Qualitätsprüfung hinzufügen. Die aktuelle 2-Modell-Pipeline klassifiziert gelegentlich Grenzfälle falsch, die ein größeres Reasoning-Modell erkennen würde.
Wichtigste Erkenntnis: Wenn Compliance On-Premises-Daten erfordert, amortisieren sich lokale Modelle schnell. Separate Deployments pro Aufgabe bieten unabhängige Skalierung und Fehlerisolierung. Dieses Startup erreichte den Break-even in 3 Monaten gegenüber Cloud-GPU-Kosten.

Forscher: Benchmarking über Quantisierungen hinweg

Setup: RTX 4090 + llama.cpp + lm-evaluation-harness Testing: Dasselbe Modell (Qwen2.5-7B) bei Q4_K_M, Q5_K_M, Q8_0, FP16 Time to full benchmark suite: 3 Stunden Ein ML-Forscher musste messen, wie sich Quantisierung auf Bewertungs-Scores für eine bestimmte Aufgabe (Code-Generierung) auswirkt. Er betrieb dasselbe Modell bei 4 Quantisierungsstufen und verglich Perplexität und Pass-Raten.
Ergebnis: Q5_K_M erzielte innerhalb von 2.2 Prozentpunkten von FP16 bei fast doppelt so schneller Ausführung. Für die Code-Generierungsaufgaben dieses Forschers ist Q5_K_M der Sweet Spot. Wie Tokios half: Die Registrierung jeder Quantisierung als separates Deployment (bench-q4km, bench-q5km, bench-q8, bench-fp16) ermöglichte es der Evaluierungs-Harness, zwischen ihnen zu wechseln, indem nur das model-Feld geändert wurde. Ergebnisse waren direkt vergleichbar, da die Harness für jeden Lauf dieselbe Endpunkt-Struktur aufrief.
Wichtigste Erkenntnis: Q5_K_M ist der Sweet Spot für die meisten 7B-Evaluierungsaufgaben — innerhalb von 2–3% der FP16-Qualität bei fast 2x der Geschwindigkeit. Registrieren Sie jede Quantisierung als separates Tokios-Deployment, um sie über eine konsistente API zu benchmarken.

Gemeinsame Muster über alle Fallstudien hinweg

Nächste Schritte

Rezepte

Copy-paste-Konfigurationen für 8 gängige lokale LLM-Setups.

Deployment testen

Strukturierte Benchmarks zum Vergleichen Ihrer Hardware- und Modellentscheidungen.

Modell-Routing

Registrieren Sie mehrere Deployments und wechseln Sie zwischen ihnen.

Ein lokales Modell wählen

Wählen Sie das richtige Modell und die Quantisierung für Ihre Hardware.