Apple veröffentlicht Studie zur smarten Aktivitätserkennung

Apple hat eine neue Studie veröffentlicht, die zeigt, wie Large Language Models anhand von Audio- und Bewegungsdaten erkennen können, welche Aktivität gerade stattfindet. Die Untersuchung verbindet klassische Sensorik mit KI und macht deutlich, wie zuverlässig sich selbst kurze oder unvollständige Informationen auswerten lassen. Apple rückt damit ein Thema in den Vordergrund, das für Fitness, Gesundheit und Alltag relevante Anwendungen ermöglichen kann.

Viele Geräte sammeln heute Audio- und Bewegungsdaten, doch oft reichen diese Rohdaten allein nicht aus, um Aktivitäten eindeutig zuzuordnen. Die neue Studie von Apple untersucht deshalb einen Ansatz, der LLMs nutzt, um aus Textbeschreibungen präzise Rückschlüsse zu ziehen. Statt direkt Audio oder Bewegungsdaten zu analysieren, erhalten die Modelle kurze Texte, die zuvor von kleineren Audiomodellen und einem IMU-Modell erzeugt wurden. So lässt sich erkennen, was gerade passiert, ohne dass ein speziell trainiertes multimodales Modell nötig ist.

Wie Apple LLMs einsetzt

Der Artikel mit dem Titel „Using LLMs for Late Multimodal Sensor Fusion for Activity Recognition“ beschreibt, wie Apple verschiedene Informationsquellen zusammenführt. LLMs erhalten Texte über Geräusche, Bewegungen und Klassenvorhersagen und sollen daraus eine Aktivität ableiten. Dieser Ansatz ist weniger invasiv, da kein Zugriff auf die echten Audioaufnahmen erfolgt, sondern nur auf beschreibende Textlabels.

Die Forscher argumentieren, dass dieser Weg große Vorteile bietet. Selbst wenn Sensoren nur begrenzte Daten liefern, kann das LLM die Informationen so verbinden, dass ein deutlich klareres Bild entsteht. Das spart Speicher und Rechenleistung, weil keine speziell angepassten multimodalen Modelle trainiert oder bereitgestellt werden müssen.

Der verwendete Datensatz Ego4D

Für die Experimente nutzte Apple den Ego4D Datensatz. Er enthält viele Stunden Video- und Audiomaterial aus der Ich-Perspektive und deckt Alltagssituationen ab. Aus diesem Material stellte Apple ein Set aus 20 Sekunden langen Beispielen zusammen. Zwölf Aktivitäten wurden ausgewählt. Staubsaugen, Kochen, Wäsche waschen, Essen, Basketball spielen, Fußball spielen, mit Haustieren spielen, ein Buch lesen, am Computer sitzen, Geschirr spülen, fernsehen und trainieren oder Gewichte heben.

Diese Auswahl deckt typische Haushalts-, Freizeit- und Sportaktivitäten ab und kommt im Datensatz häufig vor. Für jedes Beispiel wurden Audiobeschreibungen, Audio-Labels und Vorhersagen aus dem IMU-Modell erzeugt.

Wie die LLMs getestet wurden

Die Ergebnisse wurden an zwei LLMs getestet. Gemini 2.5 Pro und Qwen 32B. Die Forscher untersuchten zwei Szenarien. Einmal erhielten die Modelle eine Liste mit den zwölf möglichen Aktivitäten. Im zweiten Szenario gab es keine vorgegebene Auswahl.

Auch ohne spezielles Training erreichten die Modelle F1-Werte, die klar über dem Zufallsniveau lagen. Im Zero Shot Modus konnten sie also bereits sinnvolle Klassifizierungen vornehmen. Mit genau einem Beispiel für jede Aktivität stieg die Genauigkeit noch weiter. Die Studie zeigt damit, dass LLMs sehr gut darin sind, aus textbasierten Beschreibungen die richtige Aktivität zu erkennen.

Warum die Ergebnisse relevant sind

Apple betont, dass diese Art der späten Fusion besonders dann hilfreich ist, wenn rohe Sensordaten allein kein eindeutiges Bild liefern. LLMs können Brücken zwischen einzelnen Informationsquellen schlagen und so ein Gesamtverständnis erzeugen, das klassische Modelle ohne zusätzliche Trainingsdaten nicht erreichen. Dadurch lassen sich Gesundheitsfunktionen, Fitnessanalysen oder Assistenzsysteme verbessern, ohne dass große Mengen abgestimmter Trainingsdaten nötig sind.

Zusätzlich stellt Apple ergänzendes Material bereit. Dazu gehören Segment IDs, Zeitstempel, Prompts und One Shot Beispiele, die in den Experimenten verwendet wurden. Diese Offenheit erleichtert es Forschenden, die Ergebnisse nachzuvollziehen und eigene Studien darauf aufzubauen.

Wie Apple Sensorik und KI sinnvoll verbindet

Die neue Studie zeigt, wie Apple die Stärken von Sensorik und KI kombiniert. LLMs erhalten kurze Textbeschreibungen aus Audio- und Bewegungsdaten und erkennen damit zuverlässig verschiedene Aktivitäten. Der Ansatz ist effizient, flexibel und kommt ohne aufwendiges Spezialtraining aus. Apple liefert damit wichtige Impulse für zukünftige Anwendungen rund um Gesundheit, Bewegung und Alltag und öffnet zugleich ein Forschungsfeld, das durch die bereitgestellten Materialien weiter wachsen kann. (Bild: Shutterstock / issaro prakalung)