KI lokal mit über 200 Tokens pro Sekunde
In unserem letzten Artikel haben wir bewiesen, dass man das sagenumwobene 27-Milliarden-Parameter-Modell Qwen3.8-27B mit Müh und Not auf eine billige 8-GB-Grafikkarte quetschen kann. Das Ergebnis? Phänomenaler Code, aber eine Schneckengeschwindigkeit von 4 Tokens pro Sekunde, ideal für Tee-Liebhaber, die nach jedem Prompt eine halbe Stunde Däumchen drehen wollen.
Doch was passiert, wenn wir die Handbremse komplett lösen? Wenn wir aufhören, ein Rennauto wie einen Traktor zu betanken, und der KI die Hardware und Software geben, die sie wirklich verdient?
Die Antwort: Eine astronomische Geschwindigkeit von über 200 Tokens pro Sekunde.
In einem beeindruckenden Experiment hat KI-Experte Sam Witteveen gezeigt, wie sich Qwen3.8-27B von einer zähen Geduldsprobe in einen ultraschnellen, lokalen Copiloten verwandelt, der selbst kommerzielle Cloud-APIs in den Schatten stellt. Wir haben uns das High-Speed-Setup genau angeschaut: Hier ist die Blaupause für maximale Local-AI-Performance!
Der Benchmark-Schock: Warum alle Qwen3.8 wollen
Um zu verstehen, warum die Tech-Welt derzeit verrückt nach optimalen Inferenz-Speeds für dieses Modell ist, reicht ein Blick auf die aktuellen Auswertungen von Artificial Analysis.
Im Intelligence Index erzielt Qwen3.8-27B einen Fabelwert von 52 Punkten. Damit kratzt das Open-Weights-Modell direkt an geschlossenen Proprietary-Giganten wie GLM 5.2 (53 Punkte) oder DeepSeek V4 Pro, während es den eigenen Vorgänger (Qwen 3.6) und Metas Muse Glimmer weit hinter sich lässt. Noch extremer sieht es im Agentic Index aus: Bei autonomen Task-Ausführungen und Tool-Calling-Workflows lässt das 27B-Modell sogar Ausgaben von GPT-5.6 und Claude Opus stellenweise alt aussehen.
Kurz gesagt: Qwen3.8-27B ist aktuell das intelligenteste Open-Source-Modell, das man realistisch auf eigener Hardware betreiben kann. Es verlangt aber nach dem richtigen Treibstoff.
Die heimliche Geschwindigkeitsbremse: Das Reasoning-Dilemma
Wer gelernt hat, dass die reine Token-Generierungsrate (Tokens/Sekunde) der einzige Wert für Geschwindigkeit ist, wird bei modernen Reasoning-Modellen wie Qwen3.8 schnell eines Besserem belehrt.
Qwen3.8 besitzt, ähnlich wie O1 oder O3, eine integrierte „Denkphase“ (Thinking Tokens). Und genau hier liegt die größte Geschwindigkeitsfalle im Alltagsbetrieb!
In seinen Tests demonstrierte Witteveen eindrucksvoll, was passiert, wenn man der KI freie Hand beim Nachdenken lässt (X-High Reasoning):
- Der Prompt: Generiere eine komplexe 3D-Webseite oder eine detaillierte SVG-Vektorgrafik.
- Das Ergebnis bei X-High Reasoning: Die KI verfiel in epische Selbstgespräche. Sie verbrauchte 17.000 bis über 21.000 Tokens nur für das Nachdenken, bevor sie überhaupt die erste Zeile Code ausgab! Trotz 32.000 Tokens Kontextfenster lief das System schlicht ins Limit und brach ab.
- Das Ergebnis bei Medium Reasoning (Der Sweetspot): Das Modell benötigte lediglich 500 bis 2.000 Reasoning-Tokens. Das Ergebnis war optisch und funktionell beinahe identisch, aber die Ausgabe startete nach wenigen Augenblicken.
Die AIFactum-Formel für den Alltag: Wer auf Höchstgeschwindigkeit aus ist, stellt das Reasoning-Level stur auf Medium. Das Ausschalten der Denkphase (No Thinking) führt bei komplexem Code zu Qualitätsverlusten; X-High hingegen frisst sinnlos Token-Budget und Zeit.
Das High-Speed-Setup: Wie man 200+ Tokens/Sekunde erreicht
Wie schlägt man nun die Brücke von mageren 4 Tokens/Sekunde (unser 8-GB-Offline-Hack) zu atemberaubenden 200 Tokens/Sekunde? Das Geheimnis liegt in der Kombination aus professioneller VRAM-Kapazität, NVFP4-Quantisierung und der richtigen Inferenz-Engine.
In dem Testaufbau auf einer NVIDIA RTX Pro 6000 (96 GB VRAM)* wurden verschiedene Software-Stacks gegeneinander ins Feld geführt:
1. Das Standard-Setup (vLLM + FP8)
Wer das Modell im offiziellen FP8-Format über die beliebte Engine vLLM laufen lässt und Speculative Decoding (MTP = 3, Multi-Token-Prediction) aktiviert, erreicht saubere 80 bis 120 Tokens pro Sekunde. Das ist bereits blitzschnell und fühlt sich im Chat flüssig an. Doch da geht noch mehr.
2. Der Raketenantrieb (SGLang + NVFP4)
Der echte Durchbruch gelang durch den Wechsel auf das Framework SGLang in Kombination mit einem speziell angepassten NVFP4-Quantisierungsmodell und G-Spark Speculative Decoding.
Im Docker-Container betrieben, peitschte SGLang die Generierungsgeschwindigkeit auf einen Durchschnitt von 173 Tokens pro Sekunde, bei kürzeren Prompts kletterte die Nadel sogar auf über 220 Tokens pro Sekunde! Das gesamte 262K-Kontextfenster blieb dabei voll nutzbar.
Zum Vergleich: Ein Text in der Länge dieses Blogartikels wird bei dieser Geschwindigkeit in unter 5 Sekunden komplett generiert.
Die Hardware-Realität: Welcher Typ bist du?
Nach diesen beiden Extremtests zeichnet sich für uns eine glasklare Matrix ab. Je nachdem, welche Hardware bei dir auf dem Schreibtisch oder im Serverrack steht, erreichst du mit Qwen3.8-27B völlig unterschiedliche Dimensionen:
| Hardware-Szenario | VRAM / Setup | Quantisierung & Engine | Erreichbare Speed | Einsatzzweck |
| Der Sparfuchs | 8 GB VRAM (RTX 5060*) | Unsloth IQ4_XS + CPU-Offload | ~ 4 – 5 Tokens/s | Batch-Workloads über Nacht, Proof of Concept |
| Der Sweetspot | 16 GB VRAM (RTX 5060 Ti*/ Mac*) | GGUF / MLX 4-Bit + Ollama | ~ 12 – 15 Tokens/s | Interaktives Coden, tagesaktuelle Nutzung |
| Der Power-User | 24–48 GB VRAM (RTX 4090*/A6000*) | FP8 / NVFP4 + vLLM | ~ 80 – 120 Tokens/s | Professioneller KI-Copilot, lokale Agents |
| Die Enterprise-Rake | 96+ GB VRAM (Pro-GPUs / Multi-GPU)* | NVFP4 + SGLang | 170 – 220+ Tokens/s | Ultraschnelle Unternehmens-Pipeline, Realtime AI |
Unsere Meinung: Die Zukunft der lokalen KI ist extrem schnell
Vor zwei Jahren galt die Regel: Open-Source-Modelle auf eigener Hardware sind entweder dumm und schnell, oder schlau und unendlich langsam.
Diese Regel ist offiziell Geschichte.
Der Test von Sam Witteveen zeigt eindrucksvoll, wo die Reise im Bereich KI-Hardware und Software-Inferenz hingeht. Durch bahnbrechende Inferenz-Engines wie SGLang, neuartige Quantisierungen (NVFP4) und intelligentes Speculative Decoding schmilzt der Latenz-Vorteil von Cloud-Riesen wie OpenAI oder Anthropic dahin wie Schnee in der Sonne.
Wenn ein lokal gehostetes Modell mit der Intelligenz von Claude Opus oder GPT-5.6 mit über 200 Tokens pro Sekunde über deinen Bildschirm rauscht, verändert das die Art und Weise, wie wir mit Software arbeiten, fundamental. Autonome Agenten können hunderte von Iterationen in Sekunden durchführen, ohne dass API-Kosten dein Konto leerräumen oder Latenzen den Workflow ausbremsen.
Achte bei deinem lokalen KI-Setup nicht mehr nur darauf, ob ein Modell in deinen VRAM passt. Achte penibel auf die Engine (SGLang vs. Ollama vs. vLLM) und limitiere deine Reasoning-Tokens. Erst dann entfesselst du das wahre Biest in deinem Rechner!
Welche Inferenz-Engine nutzt du für deine lokalen LLMs? Hast du SGLang oder vLLM bereits auf deinem Rig getestet?
Die mit einem Sternchen (*) gekennzeichneten Links sind Provisions-Links, auch Affiliate-Links genannt. Wenn du auf einen solchen Link klickst und auf der Zielseite einen Kauf tätigst, erhalten wir von dem betreffenden Anbieter oder Online-Shop eine Vermittlerprovision. Dir entstehen dadurch keine Nachteile beim Kauf oder Preis. Durch deine Unterstützung hilfst du uns, danke dafür!
Hinweis: Dieser Artikel enthält Inhalte, die mit Unterstützung eines KI-Systems erstellt wurden. Die Inhalte wurden anschließend von einem Menschen mit ❤️ überprüft und bearbeitet, um Qualität und Richtigkeit sicherzustellen.