Speech 2 Face: Wie man aus Stimmen Gesichter konstruiert

Speech2Face: Learning the Face Behind a Voice, ein Neural Network lernt Gesichtsassoziationen nach Stimmen und kann schliesslich Gesichter nach Sprachaufnahmen konstruieren. Funktioniert im Detail eher so mittel, wiedererkennen könnte man die Leute nicht, aber der Algorithmus sortiert die Sprachaufnahmen auffallend gut nach Hautfarbe, Geschlecht und Alter.

Zur Verfolgung von muslimischen Minderheiten setzt China bereits heute AI-Gesichtserkennung ein und sind in der Anwendung grossflächiger Überwachungsmassnahmen natürlich Vorreiter. Ein solcher Algorithmus könnte für die chinesischen Behörden wahrscheinlich die Uiguren im Telefonnetz identifizieren, selbst wenn sie mit Geräten oder Nummern telefonieren, die nicht ihnen gehören. Gesichter aus Stimmen zu rekonstruieren hört sich zunächst lustig an, aber die AI-gestützte Kategorisierung von Menschenmassen anhand digitaler ID-Snippets (wie eben Stimme oder Foto oder Videoclip, oder auch Schreibstil wie bereits geschehen) kristallisiert sich immer mehr als Technologie der Massenüberwachung heraus. Spielereien sollten nicht darüber hinwegtäuschen, dass diese Technologien das Zeug haben, eine Dystopie auf die Beine zu stellen, gegen die sich die orwellsche Überwachung durch echte Menschen wie ein Kindergeburtstag ausnimmt.

How much can we infer about a person’s looks from the way they speak? In this paper, we study the task of reconstructing a facial image of a person from a short audio recording of that person speaking. We design and train a deep neural network to perform this task using millions of natural Internet/YouTube videos of people speaking. During training, our model learns voice-face correlations that allow it to produce images that capture various physical attributes of the speakers such as age, gender and ethnicity. This is done in a self-supervised manner, by utilizing the natural co-occurrence of faces and speech in Internet videos, without the need to model attributes explicitly. We evaluate and numerically quantify how–and in what manner–our Speech2Face reconstructions, obtained directly from audio, resemble the true face images of the speakers.