Apple steigert LLM Performance dank optimiertem M5 Design Apfelpatient

Apple zeigt im aktuellen Machine Learning Research Blog, wie stark der neue M5 bei der Ausführung lokaler LLMs zugelegt hat. Im direkten Vergleich mit dem M4 erreicht der Chip spürbar höhere Geschwindigkeiten. Dabei geht es vor allem um die Frage, wie schnell lokale Sprachmodelle das erste Token erzeugen und wie effizient nachfolgende Tokens generiert werden. Der Bericht liefert dazu klare Messwerte und erklärt, warum der M5 in beiden Bereichen Vorteile bietet.

Um die Ergebnisse einordnen zu können, hilft ein Blick auf MLX. Apple hat dieses Framework vor einigen Jahren veröffentlicht, um maschinelles Lernen nativ auf Apple Silicon zugänglich zu machen. MLX ist open source und als Array-Framework aufgebaut. Es orientiert sich an NumPy und nutzt die einheitliche Speicherarchitektur von Apple Silicon. Dadurch können Operationen nahtlos zwischen CPU und GPU wechseln, ohne Speicher zu verschieben. MLX bringt Pakete für neuronale Netze, Optimierung, automatische Differentiation und Graphenoptimierung mit.

Ein zentraler Baustein ist MLX LM. Mit diesem Paket lassen sich Modelle von Hugging Face lokal ausführen, inklusive Textgenerierung und Feinabstimmung. MLX LM unterstützt Quantisierung, wodurch Modelle weniger Speicher benötigen und schneller inferieren. Das macht große Modelle auch auf Geräten mit weniger RAM praktikabel. Auf dieser Basis führt Apple die Vergleiche zwischen dem M4 und dem M5 durch.

Hintergrund zu MLX und MLX LM

MLX bietet ein flexibles System, das numerische Simulationen, wissenschaftliche Berechnungen und maschinelles Lernen abdeckt. Für Sprachmodelle liefert MLX LM die passenden Werkzeuge. Damit lassen sich große Modelle laden, ausführen und finetunen, wobei Quantisierung eine wichtige Rolle spielt. Sie reduziert sowohl Speicherbedarf als auch Rechenlast und beschleunigt die Inferenz.

MLX nutzt die einheitliche Architektur der Apple Silicon Plattform konsequent. Die Unterstützung von BF16, Mixed Precision Formaten und automatischer Differentiation sorgt dafür, dass Modelle effizient laufen. Für die Ausführung großer Modelle steht der gesamte Speicherverbund zur Verfügung. Das ist entscheidend für LLMs, da Folge-Tokens speicherintensiv berechnet werden.

M5 im Vergleich zum M4

Apple hat mehrere Modelle getestet, um die Unterschiede zwischen beiden Chips sichtbar zu machen. Dazu gehören:

Qwen 1,7B in BF16
Qwen 8B in BF16
Qwen 8B in 4 Bit Quantisierung
Qwen 14B in 4 Bit Quantisierung
Qwen 30B als Mixture of Experts Modell mit 3B aktiven Parametern in 4 Bit
GPT OSS 20B in MXFP4

Alle Benchmarks nutzten eine Promptgröße von 4096 Token. Die Messung umfasst einerseits die Zeit bis zur Erzeugung des ersten Tokens und andererseits die Geschwindigkeit bei der Produktion von 128 zusätzlichen Tokens.

Die Ergebnisse zeigen, dass der M5 bei der Generierung des ersten Tokens klar schneller arbeitet. Grund dafür ist die überarbeitete GPU mit Neuralbeschleunigern. Diese führen dedizierte Matrixmultiplikationen aus, die bei LLMs besonders häufig vorkommen. Für nachfolgende Tokens spielt hingegen die Speicherbandbreite eine größere Rolle. Der M5 erreicht 153 GB pro Sekunde, der M4 liegt bei 120 GB pro Sekunde. Das entspricht einer Steigerung von 28 Prozent. Insgesamt resultiert daraus eine Leistungsverbesserung von 19 bis 27 Prozent bei der Generierung zusätzlicher Tokens.

Ein MacBook Pro mit 24 GB RAM kann sowohl ein 8B Modell in BF16 als auch ein 30B MoE Modell in 4 Bit problemlos speichern. Die Inferenz bleibt dabei unter 18 GB und läuft daher stabil auf beiden Architekturen.

Bilderzeugung im Vergleich

Apple hat zusätzlich die Leistung bei der Bilderzeugung gemessen. Hier fällt der Unterschied noch deutlicher aus. Der M5 erledigt diese Aufgaben mehr als 3,8 Mal schneller als der M4. Die höhere Bandbreite und die optimierten Einheiten der neuen GPU zahlen sich bei generativen Bildprozessen besonders stark aus.

M5 steigert die Effizienz lokaler KI deutlich

Der M5 zeigt im Vergleich zum M4 klare Leistungsgewinne bei der lokalen Ausführung großer Sprachmodelle. Durch verbesserte Neuralbeschleuniger, höhere Speicherbandbreite und eine optimierte GPU steigert Apple die Effizienz der LLM-Inferenz auf der gesamten Apple Silicon Plattform. MLX und MLX LM spielen dabei eine zentrale Rolle, weil sie die Ausführung großer Modelle überhaupt ermöglichen und durch Quantisierung weiter beschleunigen.

Die Ergebnisse verdeutlichen, dass Apple die Hardware gezielt auf maschinelles Lernen ausrichtet. LLMs laufen schneller, benötigen weniger Wartezeit bis zum ersten Token und profitieren von einer stabileren Speicheranbindung. Auch bei der Bilderzeugung setzt sich der M5 klar vom M4 ab. Dadurch stärkt Apple den Einsatz lokaler KI und erweitert die Möglichkeiten auf allen Geräten mit Apple Silicon. (Bild: Apple)