Apple zeigt im aktuellen Machine Learning Research Blog, wie stark der neue M5 bei der Ausführung lokaler LLMs zugelegt hat. Im direkten Vergleich mit dem M4 erreicht der Chip spürbar höhere Geschwindigkeiten. Dabei geht es vor allem um die Frage, wie schnell lokale Sprachmodelle das erste Token erzeugen und wie effizient nachfolgende Tokens generiert werden. Der Bericht liefert dazu klare Messwerte und erklärt, warum der M5 in beiden Bereichen Vorteile bietet.
Um die Ergebnisse einordnen zu können, hilft ein Blick auf MLX. Apple hat dieses Framework vor einigen Jahren veröffentlicht, um maschinelles Lernen nativ auf Apple Silicon zugänglich zu machen. MLX ist open source und als Array-Framework aufgebaut. Es orientiert sich an NumPy und nutzt die einheitliche Speicherarchitektur von Apple Silicon. Dadurch können Operationen nahtlos zwischen CPU und GPU wechseln, ohne Speicher zu verschieben. MLX bringt Pakete für neuronale Netze, Optimierung, automatische Differentiation und Graphenoptimierung mit.
Ein zentraler Baustein ist MLX LM. Mit diesem Paket lassen sich Modelle von Hugging Face lokal ausführen, inklusive Textgenerierung und Feinabstimmung. MLX LM unterstützt Quantisierung, wodurch Modelle weniger Speicher benötigen und schneller inferieren. Das macht große Modelle auch auf Geräten mit weniger RAM praktikabel. Auf dieser Basis führt Apple die Vergleiche zwischen dem M4 und dem M5 durch.
Hintergrund zu MLX und MLX LM
MLX bietet ein flexibles System, das numerische Simulationen, wissenschaftliche Berechnungen und maschinelles Lernen abdeckt. Für Sprachmodelle liefert MLX LM die passenden Werkzeuge. Damit lassen sich große Modelle laden, ausführen und finetunen, wobei Quantisierung eine wichtige Rolle spielt. Sie reduziert sowohl Speicherbedarf als auch Rechenlast und beschleunigt die Inferenz.
MLX nutzt die einheitliche Architektur der Apple Silicon Plattform konsequent. Die Unterstützung von BF16, Mixed Precision Formaten und automatischer Differentiation sorgt dafür, dass Modelle effizient laufen. Für die Ausführung großer Modelle steht der gesamte Speicherverbund zur Verfügung. Das ist entscheidend für LLMs, da Folge-Tokens speicherintensiv berechnet werden.
M5 im Vergleich zum M4
Apple hat mehrere Modelle getestet, um die Unterschiede zwischen beiden Chips sichtbar zu machen. Dazu gehören:
- Qwen 1,7B in BF16
- Qwen 8B in BF16
- Qwen 8B in 4 Bit Quantisierung
- Qwen 14B in 4 Bit Quantisierung
- Qwen 30B als Mixture of Experts Modell mit 3B aktiven Parametern in 4 Bit
- GPT OSS 20B in MXFP4
Alle Benchmarks nutzten eine Promptgröße von 4096 Token. Die Messung umfasst einerseits die Zeit bis zur Erzeugung des ersten Tokens und andererseits die Geschwindigkeit bei der Produktion von 128 zusätzlichen Tokens.
Die Ergebnisse zeigen, dass der M5 bei der Generierung des ersten Tokens klar schneller arbeitet. Grund dafür ist die überarbeitete GPU mit Neuralbeschleunigern. Diese führen dedizierte Matrixmultiplikationen aus, die bei LLMs besonders häufig vorkommen. Für nachfolgende Tokens spielt hingegen die Speicherbandbreite eine größere Rolle. Der M5 erreicht 153 GB pro Sekunde, der M4 liegt bei 120 GB pro Sekunde. Das entspricht einer Steigerung von 28 Prozent. Insgesamt resultiert daraus eine Leistungsverbesserung von 19 bis 27 Prozent bei der Generierung zusätzlicher Tokens.
Ein MacBook Pro mit 24 GB RAM kann sowohl ein 8B Modell in BF16 als auch ein 30B MoE Modell in 4 Bit problemlos speichern. Die Inferenz bleibt dabei unter 18 GB und läuft daher stabil auf beiden Architekturen.
Bilderzeugung im Vergleich
Apple hat zusätzlich die Leistung bei der Bilderzeugung gemessen. Hier fällt der Unterschied noch deutlicher aus. Der M5 erledigt diese Aufgaben mehr als 3,8 Mal schneller als der M4. Die höhere Bandbreite und die optimierten Einheiten der neuen GPU zahlen sich bei generativen Bildprozessen besonders stark aus.
M5 steigert die Effizienz lokaler KI deutlich
Der M5 zeigt im Vergleich zum M4 klare Leistungsgewinne bei der lokalen Ausführung großer Sprachmodelle. Durch verbesserte Neuralbeschleuniger, höhere Speicherbandbreite und eine optimierte GPU steigert Apple die Effizienz der LLM-Inferenz auf der gesamten Apple Silicon Plattform. MLX und MLX LM spielen dabei eine zentrale Rolle, weil sie die Ausführung großer Modelle überhaupt ermöglichen und durch Quantisierung weiter beschleunigen.
Die Ergebnisse verdeutlichen, dass Apple die Hardware gezielt auf maschinelles Lernen ausrichtet. LLMs laufen schneller, benötigen weniger Wartezeit bis zum ersten Token und profitieren von einer stabileren Speicheranbindung. Auch bei der Bilderzeugung setzt sich der M5 klar vom M4 ab. Dadurch stärkt Apple den Einsatz lokaler KI und erweitert die Möglichkeiten auf allen Geräten mit Apple Silicon. (Bild: Apple)
- Apple stärkt Präsenz im Sport durch Real Madrid Inhalte
- iPhone kann jetzt Dateien per AirDrop an Android senden
- Apple Music kürt Tyler, The Creator zum Künstler des Jahres 2025
- Apple erzielt starken Umsatz pro Mitarbeiter im Tech-Vergleich
- Matter 1.5 bringt neue Standards für Kameras und Sensoren
- Apple TV: Mysteriöse Streichungen werfen neue Fragen auf
- TikTok führt neue KI-Kontrollen für den „For You“-Feed ein
- Apple TV hält Friday Night Baseball kostenlos bis 2028
- iPhone Air: iFixit untersucht die 3D gedruckte USB-C Einheit
- ChatGPT Atlas Update bringt neue Funktionen auf macOS
- EU macht Schluss mit nervigen Cookie-Bannern im gesamten Netz
- Apple präsentiert die Finalisten der App Store Awards 2025
- Cloudflare Ausfall erklärt: So kam es zum weltweiten Problem
- Gemini 3 setzt neue KI-Standards & verändert Googles Produkte
- WhatsApp testet endlich zwei Konten auf einem einzelnen iPhone
- Apple veröffentlicht neue Firmware für wichtiges Zubehör
- WhatsApp Schwachstelle blieb acht Jahre lang ungeschützt
- Wie Apple durch 3D-Druck neue Titanbauteile erstellt
- Apple veröffentlicht die großen Podcastcharts für 2025
- iPhone 17 hebt Apple in China auf das stärkste Niveau seit Jahren
- Apple verliert erneut wichtigen Designer im laufenden Wandel
- F1 The Movie: Wie realistisch eine Fortsetzung wirklich ist
- Apple siegt im langjährigen Konflikt um iPhone Kamerapatente
