In Seeing the World through Your Eyes haben Forscher 3D-Szenen aus den Reflexionen in Augen rekonstruiert. Die Ergebnisse sind noch nicht sehr gut, vor allem der Test in freier Wildbahn zeigt praktisch nur einen schwarzen Würfel oder was auch immer. Auszug aus der Zusammenfassung:
Our method jointly refines the cornea poses, the radiance field depicting the scene, and the observer’s eye iris texture. We further propose a simple regularization prior on the iris texture pattern to improve reconstruction quality. Through various experiments on synthetic and real-world captures featuring people with varied eye colors, we demonstrate the feasibility of our approach to recover 3D scenes using eye reflections.
Die Technologie ist sicherlich noch nicht so weit und das erinnert an die 2014 veröffentlichte Arbeit «The Visual Microphone«, in der aus dem Video von Vibrationen auf der Oberfläche einer Tüte Kartoffelchips identifizierbare Audiodaten extrahiert wurden, oder natürlich an das uralte «Zoom and Enhance«-Mem und ich bin davon überzeugt, dass Dinge wie die Kartoffelchip-Technologie in Geheimdienstkreisen schon seit Jahren verwendet werden – warum sollte man ein Mikrofon in der Nähe eines Ziels aufstellen, wenn man Miet-Videokameras aus grosser Entfernung einsetzen kann? Auch bin ich der Meinung, dass dieses Zeug für eine ganze Reihe von Leuten von grossem Interesse ist.
Außerdem handelt es sich bei dieser KI-gestützten Eye-NeRF-Pipeline eindeutig um ein frühes Experiment und wir sind noch weit von realen Anwendungen oder Schlagzeilen wie «Augenreflexion eines toten Mannes in einem Mordprozess» oder ähnlichem entfernt, aber die Technologie könnte schon bald genutzt werden, um beispielsweise Apples AR-Anwendungen zu verbessern. Ein paar Beispiele sind in folgenden Video zusammengestellt, gefolgt von einem In-the-Wild-Test mit Miley Cirus: