Apple beschäftigt sich schon länger mit KI-Technologien, aber was das Unternehmen jetzt zusammen mit Forscherteams aus China vorgestellt hat, ist etwas Besonderes. Das neue Modell heißt Matrix3D und erzeugt dreidimensionale Szenen aus gerade mal drei Fotos. Das könnte einige Bereiche grundlegend verändern – etwa virtuelle Realität, 3D-Design oder das Apple Vision Pro Headset.
Apple bringt mit Matrix3D ein neues KI-Modell an den Start, das 3D-Rekonstruktionen aus wenigen 2D-Bildern erstellt. Es basiert auf moderner Photogrammetrie, funktioniert aber anders als bisherige Ansätze. Statt mehrere Modelle für einzelne Verarbeitungsschritte zu verwenden, arbeitet Matrix3D mit einer durchgehenden Architektur. Die Technologie wurde gemeinsam mit der Nanjing University und der Hong Kong University of Science and Technology entwickelt. Der Quellcode ist öffentlich zugänglich.
Was Matrix3D von bisherigen Photogrammetrie-Methoden unterscheidet
Photogrammetrie bedeutet, aus Fotos Messdaten zu gewinnen, um 3D-Modelle oder Karten zu erstellen. In der Praxis sind dafür normalerweise mehrere spezialisierte Modelle im Einsatz – zum Beispiel zur Schätzung der Kameraposition oder zur Berechnung von Tiefeninformationen. Diese Aufteilung führt oft zu Ungenauigkeiten und macht den gesamten Prozess kompliziert. Matrix3D geht einen anderen Weg. Es verwendet eine einheitliche Architektur, die Bilder, Kameraparameter (wie Winkel und Brennweite) sowie Tiefendaten gleichzeitig verarbeitet. Das macht den Arbeitsablauf einfacher und reduziert Fehlerquellen. Gleichzeitig steigt die Genauigkeit der Rekonstruktionen.
Das Trainingsverfahren von Matrix3D
Ein zentraler Aspekt von Matrix3D ist die Art und Weise, wie es trainiert wurde. Das Modell nutzt eine sogenannte maskierte Lernstrategie. Dabei werden während des Trainings zufällig Teile der Eingabedaten ausgeblendet. Matrix3D muss diese Lücken selbstständig ergänzen. Solche Methoden wurden auch bei frühen Transformer-Modellen verwendet, wie sie in Sprachmodellen wie ChatGPT eingesetzt wurden. Durch diese Trainingsstrategie kann Matrix3D auch mit unvollständigen oder kleinen Datensätzen arbeiten. Das ist besonders nützlich, wenn nur wenige Fotos verfügbar sind. Trotzdem lassen sich damit detaillierte 3D-Modelle erzeugen.
Was Matrix3D mit nur drei Bildern leisten kann
Die Ergebnisse sind beeindruckend. Matrix3D benötigt lediglich drei Bilder, um komplexe Objekte oder ganze Szenen in 3D zu rekonstruieren. Das eröffnet viele neue Möglichkeiten – vor allem für Augmented- und Virtual-Reality-Anwendungen. Besonders naheliegend ist der Einsatz im Zusammenhang mit dem Apple Vision Pro Headset, das auf immersive digitale Erlebnisse ausgelegt ist.
Open Source: Apple veröffentlicht den Code
Ungewöhnlich für Apple: Der Quellcode von Matrix3D wurde auf GitHub veröffentlicht. Das bedeutet, dass Entwickler das Modell selbst ausprobieren oder in eigene Projekte integrieren können. Zusätzlich gibt es eine begleitende Website, auf der man Beispielvideos anschauen und mit interaktiven Punktwolken arbeiten kann. Diese Punktwolken stellen rekonstruierte Objekte und Umgebungen dar.
Warum Matrix3D ein wichtiger Schritt für Apple ist
Für Apple ist Matrix3D ein weiterer Schritt in Richtung KI-Integration in Alltagstechnologien. Das Modell passt gut in die Strategie rund um das Vision Pro Headset, denn es liefert Inhalte, die sich direkt für immersive Anwendungen nutzen lassen. Gleichzeitig zeigt Apple, dass KI auch in Bereichen wie Fotografie, 3D-Gestaltung und Raumvisualisierung eine zunehmend wichtige Rolle spielt.
Matrix3D als Baustein für Apple’s Mixed-Reality-Zukunft?
Matrix3D ist ein KI-Modell, das 3D-Szenen aus nur drei Bildern erstellen kann – mit hoher Genauigkeit, effizientem Ablauf und innovativem Training. Apple hat das Modell zusammen mit chinesischen Universitäten entwickelt und überraschend offen zugänglich gemacht. Die Technologie könnte eine zentrale Rolle in zukünftigen Anwendungen spielen, vor allem im Bereich Mixed Reality. Wer sich für KI, 3D-Modelle oder die technische Zukunft von Apple interessiert, sollte sich Matrix3D genauer ansehen. (Bild: Shutterstock / pio3)
- Apple Vision Pro: Warum dieses Headset den Markt verändert
- Apple Vision Pro: Die größte Innovation des Jahres 2024
- Apple Vision Pro M5: Ein einzigartiges Dilemma für Apple
- Apple Vision Pro 2: Der richtige Schritt dank KI und M5
- Apple Vision Pro: Ein Jahr später – Wie geht es weiter?
