Das steckt hinter AMDs Day-0-Versprechen
Ein 27-Milliarden-Parameter-Modell, lokal auf einem Mini-PC oder einer einzelnen Grafikkarte und das direkt zum Start? Genau dieses Versprechen macht AMD mit Qwen3.8-27B. Der neue Ableger aus der Qwen-Modellfamilie soll nicht nur leistungsfähig, sondern auch vergleichsweise einfach lokal einsetzbar sein. AMD nennt dabei bis zu 24,5 Tokens pro Sekunde auf einem Ryzen AI Max+ 395 und bis zu 51,8 Tokens pro Sekunde auf einer Radeon AI PRO R9700*.
Das klingt nach einem wichtigen Schritt für lokale KI. Doch was bedeutet „Day-0-Support“ tatsächlich? Wie realistisch sind die genannten Geschwindigkeiten? Und ist Qwen3.8-27B für Entwickler, Agenturen und Unternehmen wirklich eine Alternative zu Cloud-Modellen?
AMD setzt auf lokale KI
AMD beschreibt Qwen3.8-27B als ein Modell, das direkt zum Veröffentlichungszeitpunkt auf ausgewählter AMD-Hardware laufen kann. Unterstützt werden insbesondere Systeme mit AMD Ryzen AI Max+ Prozessoren* sowie die Radeon AI PRO R9700 mit 32 GB VRAM*.
Der Begriff „Day 0“ ist dabei bewusst gewählt. Er bedeutet nicht, dass jede AMD-Grafikkarte automatisch optimal unterstützt wird. Vielmehr möchte AMD zeigen, dass die notwendigen Softwarepfade bereits zum Modellstart verfügbar sind. Anwender sollen Qwen3.8-27B über etablierte Werkzeuge wie llama.cpp und LM Studio lokal ausführen können, ohne wochenlang auf passende Treiber, Backends oder Konfigurationen warten zu müssen.
Für AMD ist das strategisch wichtig. Im Bereich lokaler KI dominieren derzeit häufig NVIDIA-GPUs, weil CUDA, TensorRT und eine große Entwicklergemeinschaft den Einstieg erleichtern. AMD versucht, dieser Abhängigkeit mit ROCm, Vulkan-Unterstützung, llama.cpp und eigenen Plattformen wie Lemonade entgegenzuwirken.
Was ist Qwen3.8-27B?
Qwen3.8-27B ist ein dichtes Modell mit 27 Milliarden Parametern. „Dicht“ bedeutet, dass bei einer Inferenz grundsätzlich das komplette Modell genutzt wird. Das unterscheidet Qwen3.8-27B von großen Mixture-of-Experts-Modellen, bei denen jeweils nur ein Teil der Parameter aktiv verarbeitet wird.
Der Vorteil eines dichten Modells liegt in der vergleichsweise einfachen Bereitstellung. Es gibt keine aufwendige Routing-Logik zwischen Experten und keine riesige Cluster-Infrastruktur wie bei einem Modell mit mehreren Billionen Parametern. Der Nachteil: Die gesamten Modellgewichte müssen in den verfügbaren Speicher passen.
In der Praxis hängt der Speicherbedarf von der verwendeten Quantisierung ab. Eine stark quantisierte Version kann laut LM Studio mit ungefähr 17 GB Arbeitsspeicher starten. Für einen komfortablen Betrieb, längere Kontexte und multimodale Aufgaben ist jedoch deutlich mehr Speicher sinnvoll. AMD spricht deshalb von ungefähr 24 GB nutzbarem VRAM oder Variable Graphics Memory als relevante Größenordnung.
Qwen3.8-27B ist außerdem multimodal. Das Modell kann nicht nur Texte analysieren und erzeugen, sondern auch Bilder und Videos verarbeiten. Damit eignet es sich grundsätzlich für Aufgaben wie:
- Analyse von Screenshots und Benutzeroberflächen.
- Auswertung von Dokumenten, Tabellen und Diagrammen.
- Bildbeschreibung und visuelle Recherche.
- Computer-Use- und Agenten-Workflows.
- Unterstützung bei Softwareentwicklung und Codeanalyse.
- Verarbeitung längerer Video- und Dokumentinhalte.
Die native Kontextlänge beträgt 262.144 Tokens. Mit entsprechender Erweiterung soll Qwen3.8-27B sogar bis zu eine Million Tokens verarbeiten können. In lokalen Szenarien ist diese maximale Kontextlänge allerdings nicht automatisch praktisch nutzbar. Je länger der Kontext, desto stärker steigen Speicherbedarf, Latenz und Anforderungen an die Inferenzsoftware.
AMDs Leistungswerte
AMD nennt für Qwen3.8-27B zwei zentrale Messwerte. Auf einem Ryzen AI Max+ 395 wurden bis zu 24,5 Tokens pro Sekunde erreicht. Auf einer einzelnen Radeon AI PRO R9700 waren es bis zu 51,8 Tokens pro Sekunde.
Getestet wurde unter Windows mit llama.cpp und dem Vulkan-Backend. Zusätzlich kam Multi-Token Prediction zum Einsatz. AMD verwendete beim Ryzen AI Max+ 395 vier Draft-Tokens und bei der Radeon AI PRO R9700* zwei Draft-Tokens.
Diese Angaben sind interessant, müssen aber richtig eingeordnet werden. Es handelt sich um vorläufige Herstellerwerte und nicht um einen unabhängigen Plattformvergleich. AMD weist selbst darauf hin, dass die Ergebnisse auf drei oder mehr Durchläufen basieren und sich die Leistung mit weiteren Optimierungen noch verändern kann.
Auch die konkrete Systemkonfiguration spielt eine große Rolle. Beim Ryzen-System wurde ein Mini-PC mit 128 GB Arbeitsspeicher eingesetzt. Der Variable Graphics Memory war auf 64 GB eingestellt. Die Radeon-Messung erfolgte dagegen mit einem Ryzen 9 9950X*, 64 GB System-RAM* und der Radeon AI PRO R9700*.
Die 24,5 Tokens pro Sekunde auf dem Ryzen AI Max+ 395* sind deshalb nicht einfach auf jedes Notebook oder jeden Mini-PC mit diesem Prozessor übertragbar. Entscheidend sind unter anderem:
- Die Größe des zugewiesenen Video- oder Shared-Memorys.
- Die verwendete Quantisierung.
- Das Betriebssystem und der Grafiktreiber.
- Das Backend von llama.cpp.
- Die Kontextlänge.
- Die Anzahl paralleler Anfragen.
- Die Nutzung von Thinking- oder Agentenfunktionen.
Andere Quellen zeigen ein differenziertes Bild
Externe Berichte bestätigen, dass Qwen3.8-27B deutlich mehr ist als ein gewöhnliches Open-Weights-Sprachmodell. Die vom Qwen-Team veröffentlichten Benchmarks zeigen besondere Stärken bei Softwareentwicklung, multimodaler Verarbeitung, Computersteuerung und längeren Arbeitsabläufen.
Bei SWE-bench Pro erreicht Qwen3.8-27B laut den veröffentlichten Vergleichsdaten einen Wert von 61,7. Damit liegt es vor dem angegebenen Ergebnis von Claude Opus 4.6 Max mit 53,4. Auch bei CoWorkBench liegt Qwen mit 70,7 vor Claude mit 68,2.
Das Bild verändert sich jedoch bei anderen Aufgaben. Bei Terminal Bench 2.1 liegt Claude Opus 4.6 Max mit 78,2 vor Qwen3.8-27B mit 73,0. Auch beim wissenschaftlich ausgerichteten GPQA Diamond wird Claude mit 91,3 gegenüber 89,2 für Qwen vorne angegeben.
Diese Zahlen sprechen nicht für einen generellen Sieger. Sie zeigen vielmehr ein Modell mit einem bestimmten Schwerpunkt. Qwen3.8-27B scheint besonders interessant zu sein, wenn Softwareentwicklung, visuelle Eingaben, Dokumente und agentische Arbeitsabläufe zusammenkommen.
Auch bei multimodalen Benchmarks werden starke Werte genannt. Bei OSWorld-Verified, einem Test für die Bedienung grafischer Benutzeroberflächen, erreicht Qwen3.8-27B den veröffentlichten Angaben zufolge 84,3. Bei der Dokumentverarbeitung und beim Verständnis wissenschaftlicher Diagramme soll das Modell ebenfalls deutlich zugelegt haben.
Wie bei allen Herstellerbenchmarks gilt: Die Resultate sind ein Ausgangspunkt, aber kein Ersatz für unabhängige Tests. Unterschiedliche Promptvorlagen, Systemanweisungen, Bewertungsmethoden und Modellversionen können Ergebnisse erheblich beeinflussen.
AMD ist nicht automatisch am schnellsten
Besonders aufschlussreich ist ein Bericht des Inferenzprojekts SGLang. Dort wurde Qwen3.8-27B auf einer GeForce RTX 5090* mit speziellen Optimierungen betrieben. SGLang meldete dabei bis zu 206,1 Tokens pro Sekunde.
Dieser Wert liegt deutlich über AMDs 51,8 Tokens pro Sekunde auf der Radeon AI PRO R9700*. Daraus lässt sich jedoch nicht unmittelbar ableiten, dass die RTX 5090* im Alltag viermal schneller ist. Die Tests nutzten andere Software, andere Quantisierungsverfahren und Optimierungen wie NVFP4 und DSpark.
Der Vergleich zeigt trotzdem einen wichtigen Punkt: Bei lokalen KI-Modellen entscheidet nicht allein die Hardware. Die Inferenzsoftware ist mindestens ebenso entscheidend. Ein gut optimierter CUDA-Stack kann einer leistungsfähigen GPU einen deutlichen Vorsprung verschaffen. AMD muss daher nicht nur schnelle Chips liefern, sondern auch die Softwareebene konsequent weiterentwickeln.
Genau hier setzen llama.cpp, ROCm, Vulkan und Lemonade an. Wenn AMD diese Werkzeuge zuverlässig, gut dokumentiert und plattformübergreifend verfügbar macht, kann das Unternehmen die Einstiegshürden für lokale KI deutlich senken.
RTX 5090 vs. Radeon AI PRO R9700
| Merkmal | GeForce RTX 5090 | Radeon AI PRO R9700 |
|---|---|---|
| Preis | ab ca. 4.400–4.700 € | ab ca. 1.550–1.800 € |
| Speicher | 32 GB GDDR7 | 32 GB GDDR6 |
| Speicherbandbreite | ca. 1,8 TB/s | ca. 640 GB/s |
| Leistungsaufnahme | bis zu 575 Watt | etwa 300 Watt |
| Plattform | CUDA, TensorRT, OptiX | ROCm, Vulkan |
| Qwen3.8-27B | bis zu 206,1 Tokens/s mit optimiertem SGLang-Setup | bis zu 51,8 Tokens/s laut AMD mit llama.cpp/Vulkan |
LM Studio und Lemonade
Für Einsteiger und Power-User ist LM Studio der einfachste Weg, Qwen3.8-27B auszuprobieren. Das Modell lässt sich über eine grafische Oberfläche suchen, herunterladen und lokal laden. Eine eigene Python-Umgebung oder ein manuell konfigurierter Inferenzserver ist für die ersten Tests nicht erforderlich.
AMD empfiehlt für die unterstützten Systeme die Aktivierung von Multi-Token Prediction. Beim Ryzen AI Max+ sollen vier Draft-Tokens, bei der Radeon AI PRO R9700 zwei Draft-Tokens verwendet werden. Zusätzlich muss in den erweiterten Ladeeinstellungen die Option „Try mmap“ deaktiviert werden.
Für Entwickler ist Lemonade interessanter. AMD positioniert die Plattform als lokale Inferenzschicht, die verschiedene Hardware-Ressourcen wie CPU, GPU und NPU nutzen kann. Anwendungen sollen über vertraute API-Muster mit dem lokalen Modell kommunizieren können, während Lemonade die Auswahl des passenden Backends übernimmt.
Das könnte besonders für Agenturen und Softwareanbieter relevant werden. Statt für jede AMD-Konfiguration einen eigenen Inferenzpfad zu entwickeln, könnte eine Anwendung Lemonade als lokale Runtime mitliefern. Damit würde sich die Lücke zwischen einem lokal getesteten Modell und einer tatsächlich verteilten Desktop-Anwendung verkleinern.
Bedeutung für Agenturen und Unternehmen
Für Unternehmen ist Qwen3.8-27B vor allem aus Datenschutzgründen interessant. Wenn Dokumente, Screenshots, interne Wissensbestände oder Kundendaten lokal verarbeitet werden, müssen diese Informationen nicht zwingend an einen externen API-Anbieter übertragen werden.
Das kann bei sensiblen Projekten, internen Wissensdatenbanken, Kundenservice-Anwendungen oder der Analyse vertraulicher Dokumente ein entscheidender Vorteil sein. Gleichzeitig bleiben die üblichen Anforderungen bestehen: Zugriffskontrolle, Protokollierung, Modellüberwachung, Lizenzprüfung und eine saubere Datenschutzarchitektur.
Für eine produktive Anwendung sollte daher nicht nur die Geschwindigkeit getestet werden. Wichtiger sind oft die tatsächliche Antwortqualität, die Stabilität bei langen Kontexten, der Speicherverbrauch, die Fehlerrate bei Tool-Aufrufen und das Verhalten bei unklaren oder widersprüchlichen Anweisungen.
Auch die Kostenrechnung fällt anders aus als bei Cloud-APIs. Lokale Inferenz verursacht keine direkten Tokengebühren, benötigt aber geeignete Hardware, Strom, Wartung und gegebenenfalls Support. Für einzelne Nutzer kann ein lokales Modell wirtschaftlich attraktiv sein. Bei vielen parallelen Nutzern ist möglicherweise weiterhin ein zentraler Server oder eine Cloud-Infrastruktur sinnvoller.
Unser Fazit
AMD macht mit Qwen3.8-27B vieles richtig. Der Hersteller verbindet ein leistungsfähiges Open-Weights-Modell mit konkreten Hardwareempfehlungen, llama.cpp-Unterstützung, LM Studio und einer Entwicklerplattform für lokale Anwendungen.
Besonders überzeugend ist nicht die einzelne Zahl von 51,8 Tokens pro Sekunde. Entscheidend ist vielmehr, dass ein multimodales 27B-Modell auf einem einzelnen AMD-System überhaupt praktikabel nutzbar wird. Für lokale Entwicklungsumgebungen, Datenschutz-Workflows und agentische Anwendungen ist das ein relevanter Fortschritt.
Gleichzeitig sollte man AMDs Angaben nicht mit einem unabhängigen Benchmark verwechseln. Die Messwerte sind vorläufig, die Konfigurationen speziell gewählt und andere Inferenzstacks können deutlich höhere Geschwindigkeiten erzielen. Wer eine Kaufentscheidung treffen möchte, sollte Qwen3.8-27B mit der eigenen Quantisierung, dem eigenen Kontextumfang und den realen Arbeitsabläufen testen.
Unsere Einschätzung: Qwen3.8-27B ist eines der interessanteren lokalen Modelle für Entwickler, die Text, Bildverständnis, Dokumente und Agentenfunktionen in einer Anwendung verbinden möchten.
AMD liefert dafür einen wichtigen Baustein. Ob daraus eine echte Alternative zu NVIDIA für lokale KI wird, entscheidet sich aber weniger am Day-0-Marketing als an der langfristigen Qualität von ROCm, Vulkan, Treibern, Dokumentation und Entwicklerwerkzeugen.
RTX 5090 oder lieber Radeon AI PRO R9700
Die RTX 5090* ist bei der reinen Rechen- und Speicherleistung deutlich schneller. Unabhängige llama.cpp-Messungen zeigen bei der Token-Generierung einen Vorsprung von etwa 1,5- bis 1,6-fach für die RTX 5090*; beim Prompt-Processing kann der Abstand aufgrund der deutlich höheren Speicherbandbreite noch größer ausfallen.
Die Radeon AI PRO R9700* bietet dagegen ebenfalls 32 GB VRAM, benötigt aber mit rund 300 Watt deutlich weniger Energie als die RTX 5090*. Sie ist damit besonders interessant für lokale KI-Workstations, bei denen Speichergröße, Stromverbrauch und professionelle AMD-Treiber wichtiger sind als maximale Geschwindigkeit.
Kurz gesagt: Die RTX 5090* ist die bessere Wahl für maximale Performance und das ausgereiftere CUDA-Ökosystem. Die R9700* ist die effizientere und günstigere Alternative für lokale KI, sofern die eingesetzte Software AMD beziehungsweise ROCm oder Vulkan gut unterstützt. AMDs Qwen3.8-27B-Wert von 51,8 Tokens/s ist zudem nicht direkt mit den 206,1 Tokens/s der RTX 5090* vergleichbar, da unterschiedliche Software-Stacks und Optimierungen verwendet wurden.
Die mit einem Sternchen (*) gekennzeichneten Links sind Provisions-Links, auch Affiliate-Links genannt. Wenn du auf einen solchen Link klickst und auf der Zielseite einen Kauf tätigst, erhalten wir von dem betreffenden Anbieter oder Online-Shop eine Vermittlerprovision. Dir entstehen dadurch keine Nachteile beim Kauf oder Preis. Durch deine Unterstützung hilfst du uns, danke dafür!
Hinweis: Dieser Artikel enthält Inhalte, die mit Unterstützung eines KI-Systems erstellt wurden. Die Inhalte wurden anschließend von einem Menschen mit ❤️ überprüft und bearbeitet, um Qualität und Richtigkeit sicherzustellen.