Visual Intelligence erklärt: So nutzt du Kamera und Bildschirm

Visual Intelligence begann als Kamerafunktion, mit der sich Objekte, Texte und Orte in der Umgebung erkennen lassen. Mit iOS 26 reicht die Funktion deutlich weiter: Sie analysiert jetzt auch alles, was auf dem Bildschirm zu sehen ist – ausgelöst über einen simplen Screenshot. Dazu kommen Suche, Übersetzung, ChatGPT-Anfragen und das Erstellen von Kalendereinträgen aus einem einzigen Bild. Wie sich Visual Intelligence auf dem iPhone einsetzen lässt, welche Geräte mitspielen und was iOS 27 ergänzt, steht hier im Überblick.

Mit Apple Intelligence hat Apple eine ganze Reihe KI-Funktionen ins iPhone gebracht – Visual Intelligence gehört zu den unmittelbar nützlichsten davon. Statt eine App zu öffnen und eine Suche zu tippen, genügt es, die Kamera auf etwas zu richten oder einen Screenshot zu machen. Das iPhone erkennt daraufhin, worum es geht, und bietet passende Aktionen an: von der Übersetzung eines Schilds über die Produktsuche bis zum Kalendereintrag aus einer Veranstaltungsankündigung. Wer Apple Intelligence auf seinem iPhone zunächst aktivieren und einrichten möchte, legt damit die Grundlage – Visual Intelligence ist anschließend Teil des Systems und muss nicht separat installiert werden.

Diese Geräte unterstützen Visual Intelligence

Visual Intelligence ist Teil von Apple Intelligence und setzt entsprechend leistungsfähige Hardware voraus. Unterstützt werden:

• iPhone 15 Pro und iPhone 15 Pro Max
• die gesamte iPhone-16-Reihe inklusive iPhone 16e
• die gesamte iPhone-17-Reihe inklusive iPhone Air

Zum Starten gibt es je nach Modell mehrere Wege. Auf den iPhone-16- und iPhone-17-Modellen führt der schnellste über die Kamerasteuerung. Auf dem iPhone 15 Pro, iPhone 15 Pro Max und iPhone 16e lässt sich Visual Intelligence stattdessen über die Aktionstaste, ein Steuerelement auf dem Sperrbildschirm oder das Kontrollzentrum aufrufen. Der Weg über einen Screenshot funktioniert auf allen unterstützten Geräten. Dass die KI-Funktionen deutlich neuere Hardware voraussetzen als das reine Systemupdate, gilt hier ebenso – ältere iPhones zeigen die Funktion nicht an.

Über die Kamera: die Umgebung erfassen

Der klassische Weg führt über die Kamera. Dabei muss nicht die Kamera-App geöffnet werden – es genügt, die Kamerasteuerung gedrückt zu halten (oder auf älteren Modellen eine der Alternativen zu nutzen) und das iPhone auf ein Ziel zu richten.

Besonders praktisch ist das bei Orten und Unternehmen: Richtest du die Kamera auf ein Restaurant oder Geschäft und tippst auf den Namen, erscheinen Öffnungszeiten, Kontaktdaten, Bewertungen und passende Aktionen wie Anrufen oder der Sprung auf die Website. Genauso lassen sich physische Objekte und Texte erfassen – etwa ein Schild, ein Buchcover oder eine Pflanze. Was danach möglich ist, hängt vom erkannten Inhalt ab und ist im Abschnitt zu den Aktionen zusammengefasst.

Neu ab iOS 26: Bildschirminhalte per Screenshot

Die größte Erweiterung kam mit iOS 26: Visual Intelligence funktioniert seitdem nicht mehr nur mit der physischen Umgebung, sondern mit allem, was auf dem Display zu sehen ist. Damit lässt sich ein Produkt aus einem Social-Media-Post, ein Textabschnitt in einer App oder ein Termin aus einem Chatverlauf genauso auswerten wie ein Objekt vor der Kamera. Ausführlicher haben wir diese Erweiterung auf Bildschirminhalte an anderer Stelle beschrieben.

Der Ablauf ist bewusst einfach gehalten:

1. Erstelle einen Screenshot, indem du gleichzeitig die Seitentaste und die Lauter-Taste drückst und wieder loslässt.
2. In der Vollbild-Vorschau erscheinen unten die Werkzeuge der visuellen Intelligenz.
3. Wähle die gewünschte Aktion – oder streiche mit dem Finger über ein bestimmtes Objekt, um gezielt nur danach zu suchen.

Nach der Nutzung lässt sich der Screenshot mit einem Tippen auf den Haken in der Fotomediathek sichern oder über das X verwerfen. Ein Wisch vom unteren Bildschirmrand nach oben schließt Visual Intelligence wieder.

Welche Aktionen möglich sind

Ob über die Kamera oder den Bildschirm – die verfügbaren Aktionen sind weitgehend identisch und richten sich nach dem erkannten Inhalt:

• Visuell suchen: Zu einem Objekt zeigt das iPhone ähnliche Bilder und Informationen aus dem Web. Ein einzelnes Detail lässt sich durch Darüberstreichen gezielt hervorheben.
• Fragen stellen: Über die Anbindung an ChatGPT lassen sich Rückfragen zu einem Objekt oder Screenshot stellen – etwa nach der Geschichte eines Wahrzeichens oder einer Zusammenfassung eines Dokuments.
• Text verarbeiten: Erkannter Text lässt sich zusammenfassen, in eine andere Sprache übersetzen oder vorlesen.
• Direkt handeln: Aus erkannten Telefonnummern, E-Mail-Adressen, Daten oder Web-Adressen werden Ein-Tipp-Aktionen – anrufen, eine E-Mail beginnen oder eine Website öffnen.
• Termine übernehmen: Enthält ein Plakat, Flyer oder Screenshot ein Datum, bietet das iPhone an, daraus direkt einen Kalendereintrag samt Uhrzeit und Ort zu erstellen.

Einzelne Handelsaktionen – etwa eine Lieferbestellung direkt aus der Ansicht heraus – sind je nach Region unterschiedlich verfügbar und in Deutschland teils eingeschränkt.

Was iOS 27 ergänzt

iOS 27 erscheint im Herbst 2026 und bringt das bislang größte Update für Visual Intelligence. Die Funktion zieht in die Kamera-App um: Ein neuer Siri-Modus sitzt dort neben Foto und Video und wird zum primären Weg zu Visual Intelligence – der bisherige Zugang über langes Drücken der Kamerasteuerung bleibt daneben erhalten. Statt komplexe Fragen wie bisher an ChatGPT weiterzureichen, beantwortet die nun mit Siri AI verbundene Funktion sie direkt und zieht dafür auch Wissen aus dem Web heran.

Neu hinzu kommen unter anderem diese Aktionen:

• Nährwerte einschätzen: Auf ein Gericht gerichtet, ordnet Visual Intelligence die Nährstoffe ein – etwa nährstoffreich oder zuckerhaltig – statt exakte Kalorienzahlen zu nennen.
• Kontakte und Termine übernehmen: Aus einer Visitenkarte wird ein Kontakt, und aus einem Zeitplan lassen sich mehrere Kalender- oder Erinnerungseinträge auf einmal importieren.
• Wallet-Pässe anlegen: Der abfotografierte Barcode einer Mitgliedschaft oder eines Tickets wandert als Pass in die Wallet-App.
• Rechnung teilen (nur USA): Aus dem Foto einer Restaurantrechnung lässt sich der eigene Anteil herauslösen und per Apple Cash begleichen.

Über die Web-Anbindung von Siri reichen die Möglichkeiten von Visual Intelligence in iOS 27 noch weiter – etwa das Übersetzen von Pflegehinweisen auf Wäscheetiketten, das Identifizieren unbekannter Kabel oder das Prüfen von Zutatenlisten auf Allergene. Alle Anfragen landen zudem im Verlauf der Siri-App und lassen sich mit einstellbarer Aufbewahrung später erneut aufrufen.

Über das iPhone hinaus stehen die Funktionen mit iPadOS 27, macOS 27 und visionOS 27 auch auf iPad, Mac und Apple Vision Pro bereit. Wichtig für die EU: Weil der ausgebaute Funktionsumfang und der Siri-Modus zur neuen Siri-Generation zählen, stehen sie auf iPhone und iPad in der EU zum Start nicht bereit – auf Mac und Vision Pro dagegen schon, denn dort kommt Siri AI auch in der EU. Welche Apple-Funktionen in der EU vorerst fehlen, ändert sich mit jeder Softwaregeneration; die bereits mit iOS 26 verfügbaren Kern-Funktionen von Visual Intelligence bleiben davon unberührt.

Visual Intelligence im Alltag: Das Wichtigste auf einen Blick

Visual Intelligence macht das iPhone zur Schnittstelle zwischen Bildschirm, Kamera und Information. Über die Kamera lassen sich Orte, Objekte und Texte in der Umgebung erfassen; seit iOS 26 kommt der Weg über einen Screenshot hinzu, der dieselben Werkzeuge auf beliebige Bildschirminhalte anwendet. Suchen, Übersetzen, Zusammenfassen, Nachfragen bei ChatGPT und das Anlegen von Terminen laufen dabei ohne Umweg über zusätzliche Apps. Mit iOS 27 wandert die Funktion zusätzlich als eigener Modus in die Kamera-App, verbindet sich mit Siri AI und lernt neue Tricks vom Nährwert-Check bis zum Visitenkarten-Import dazu.

Die besten Produkte für dich: Unsere Amazon Storefront bietet eine breite Auswahl an Zubehörteilen, auch für HomeKit. (Bild: Apple)

• ChatGPT mit Apple Intelligence: Einfach auf dem iPhone einrichten
• Apple Intelligence beschränken: So nutzt du Bildschirmzeit richtig
• Apple Intelligence in der Nachrichten-App nutzen
• Apple Intelligence: Die besten Tipps für deine Fotos-App
• Mit Apple Intelligence: Fokus und Mitteilungen im Griff
• Apple Intelligence: Webseiten schnell zusammenfassen
• Apple Intelligence in der Mail-App: Alle Funktionen im Überblick
• Apple Intelligence: So funktionieren die Schreibwerkzeuge
• Apple Intelligence einrichten: Anleitung für iPhone, iPad und Mac
• Kurzbefehle in iOS 27: So baust du Automationen einfach per Beschreibung
• Welches USB-C-Kabel braucht dein Mac?
• Apple Silicon: Wie viel RAM brauchst du wirklich?
• Wie viele externe Displays unterstützt dein Mac?
• iOS 27: Wecker und Benachrichtigungen endlich getrennt einstellen
• Create a Pass in iOS 27: Eigene Wallet-Pässe selbst erstellen
• iOS 27, iPadOS 27 und macOS Golden Gate: Diese Apple-Geräte sind kompatibel
• iOS 27 Developer Beta installieren: Anleitung, Risiken und Troubleshooting
• Apple Familienfreigabe sicher einrichten: Was Eltern wissen müssen
• iCloud Privat-Relay vs. VPN: Was schützt dich wirklich?
• Apple-Geräte vor Malware schützen: So geht’s
• Konfigurationsprofile auf dem iPhone: Wann sie helfen, wann sie gefährlich werden
• HomePod spielt von selbst Musik: Geister-Berührungen stoppen

Häufige Fragen: Visual Intelligence