Aktuell | Forschung | c't | heise magazine

KI lernt Lippenlesen durch die Maske

Mit Hochfrequenzsensorik und künstlicher Intelligenz haben Forscher der University of Glasgow eine Technik entwickelt, die selbst Sprechern mit Maske die Vokale von den Lippen liest.

Eine Versuchsperson spricht fünf Vokale und macht für einen sechsten Test ein unbewegtes Gesicht. Die sechs Aufnahmen in WLAN-Funkfrequenzen (mittlere Reihe) und mit Radartechnik (unten) ermöglichen es, die Lippenstellung zu erkennen.

Bild: University of Glasgow

Unter der Leitung von Qammer Abbasi entwickelt ein Forscherteam einen Lippenleser, der Radartechnik und WLAN-Frequenzen nutzt. Mundbewegungen verraten sich durch die Reflektion solcher Funkwellen nicht nur beim unverschleierten Kontakt. Die Wellen durchdringen auch Gesichtsmasken, und die dann zurückgeworfenen Signale ermöglichen noch hohe Erkennungsraten.

Die Forscher ließen ihre Probanden die fünf Vokale A, E, I, O und U sprechen. Dabei vermaßen sie die Gesichter der Sprecher einmal mit Radartechnik und einmal mit WLAN-Funktechnik auf verschiedenen Frequenzen mithilfe eines USRP (Universal Software Radio Peripheral), dem X300 von National Instruments. Zusätzlich zur Artikulation der Vokale zeigten die Teilnehmer ein stilles Gesicht. Um die Messungen der Funkwellen zu analysieren, trainierten die Forscher eine eigene KI. Der Vorteil der eingesetzten Hochfrequenztechnik zeigte sich schnell: die neue Lippenlesetechnik bewies hohe Erkennungsraten nicht nur bei unvermummten Gesichtern, sondern auch bei Trägern chirurgischer Gesichtsmasken. Konkret erkannte das System mit WLAN-Technik 95 Prozent der unverhüllt gesprochenen Vokale und 80 Prozent der Vokale hinter einer Maske. Mit der eingesetzten Radartechnik verstand der Lippenleser 91 Prozent der unmaskiert und 83 Prozent der maskiert gesprochenen Vokale korrekt.