Zwischen Schutz und Überwachung
Wie Content-Scanner im Netz nach Missbrauchsbildern fahnden
Google, Facebook & Co. durchkämmen ihre Plattformen nach Fotos und Videos, die sexuellen Kindesmissbrauch zeigen, und melden Funde an die Behörden. Da geht teils ausgeklügelte Überwachungstechnik auf Streife: Was und wie die großen US-Konzerne scannen – und was die EU plant, um den Zugriff auszuweiten.
Das Internet ist der Hauptumschlagplatz für pädokriminelle Inhalte. In Foren mit Hunderttausenden bis einigen Millionen Teilnehmern tauschen die Nutzer mehr oder weniger unbehelligt Fotos und Videos von schwerstem sexuellem Kindesmissbrauch, animieren sich gegenseitig zur Produktion von neuem Content und schulen Neulinge in Sachen Kontaktanbahnung und Verschleierung. Doch auch immer mehr Jugendliche und sogar Kinder machen sich strafbar, weil sie – teils aus Naivität und Geltungsdrang – zur Verbreitung beitragen.
Um die Verbreitung dieses sogenannten Child Sexual Abuse Material (CSAM) im Internet einzudämmen, soll zum einen ein hohes Strafmaß abschreckend wirken. Seit Juli dieses Jahres steht auf Besitz und Verbreitung von Kinderpornografie mindestens ein Jahr Freiheitsstrafe. Zum anderen soll die Wahrscheinlichkeit steigen, dass die Täter erwischt werden. Deshalb sehen viele Politiker und Kinderschutzorganisationen die Lösung in einem flächendeckenden Einsatz von Bildvergleichs- und Bilderkennungssoftware, die CSAM nicht nur automatisiert erkennen, sondern auch melden soll.
In den USA gibt es dafür bereits eine Verpflichtung sowie ein Meldesystem, über das Verdachtsfälle international weitergeleitet werden, auch an deutsche Behörden. Die Europäische Union möchte ein eigenes System aufbauen. Weil die EU-Pläne explizit auch den Messenger- und Mailverkehr einbeziehen, könnte dies auf eine anlasslose Überwachung der gesamten digitalen Kommunikation hinauslaufen: also konkret auf eine Schwächung der Ende-zu-Ende-Verschlüsselung sowie abhängig von den eingesetzten Algorithmen auf eine wachsende Anzahl Unbescholtener, die aufgrund systembedingter Fehleinschätzung in den Fokus von Ermittlungen geraten.
Wir geben einen Überblick über die Problemlage, die technischen Möglichkeiten und deren Verbreitung, die Funktionsweise der gebräuchlichen Algorithmen (siehe Artikel auf S. 56) sowie die – abhängig vom Einsatzzweck – mehr oder weniger gravierenden rechtlichen Probleme, die sie aufwerfen, siehe Artikel auf Seite 62.
Bekanntes finden
Derzeit am gebräuchlichsten sind Bildvergleichsalgorithmen, die nach bekannten CSAM-Inhalten fahnden. Herzstück dieser Suchstrategie ist eine von der US-amerikanischen Organisation National Center for Missing and Exploited Children (NCMEC) gepflegte Datenbank. Sie enthält über vier Millionen Missbrauchsbilder von Opfern sexueller Gewalt. Außerdem betreibt das NCMEC mit CyberTipline das zentrale Meldesystem der USA.
Den ersten CSAM-Detektor auf Basis dieser Datenbank hat Microsoft 2008 zusammen mit dem Bildforensiker Hany Farid vom Dartmouth College entwickelt und der NCMEC gespendet: PhotoDNA ist ein perzeptiver Algorithmus, der die Pixelwerte eines Fotos in einen digitalen Fingerabdruck umwandelt, um Bilder effektiv miteinander vergleichen zu können. Dieses sogenannte perzeptive Hashing soll für Kopien von Bildern denselben – oder einen sehr ähnlichen – Wert errechnen, auch wenn sie rekomprimiert, zugeschnitten oder anderweitig bearbeitet wurden. Internet-Dienstleister können PhotoDNA kostenlos nutzen, müssen es aber über Microsofts Cloud-Plattform Azure lizenzieren. 2018 wurde PhotoDNA um einen Videodetektor erweitert.
Facebook nutzte anfangs ebenfalls PhotoDNA, hat aber später mit PDQ für Fotos und TMK+PDQF für Videos eigene Verfahren entwickelt und als Open Source veröffentlicht. Googles Pendant namens CSAI Match hat sich aufs Scannen von YouTube-Videos spezialisiert und Apples Entwicklung namens NeuralHash (nur Fotos) kombiniert klassisches perzeptives Hashing mit einem maschinell trainierten Bildvergleich, um noch robuster gegen Bildbearbeitung zu werden. Plattformübergreifend agiert das Canadian Center for Child Detection mit Project Arachnid: Der Web Crawler durchsucht URLs, die bereits mit CSAM in Verbindung standen, eigenständig nach PhotoDNA-Hashes. Technische Details zu perzeptiven Hashverfahren liefert der Artikel auf Seite 56.
Neues erkennen
Um auch unbekannte Fotos und Videos aufzuspüren, schickt Google seit 2018 zusätzlich das Toolkit „Content Safety API“ auf Streife, das unbekannte sexualisierte Darstellung von Kindern und Jugendlichen sowie Missbrauch selbstständig erkennen sollte – eine deutlich anspruchsvollere Aufgabe, denn die Algorithmen müssen nicht nur die Szene richtig deuten, sondern auch Kinder von Jugendlichen und Erwachsenen unterscheiden können. Dabei kommen Machine-Learning-Verfahren auf Basis tiefer neuronaler Netze (Deep Learning) zum Einsatz. Prinzipiell funktionieren sie wie die seit Jahren etablierten Alltagshelfer, die Urlaubs- und Familienfotos automatisch verschlagworten.
Ein auf CSAM angesetztes System benötigt allerdings eine Spezialausbildung: Anhand Tausender Beispielbilder muss es lernen, alles von harmlosen Alltagsfotos bis zu erlaubter Erwachsenenpornografie von strafbarem CSAM-Content zu unterscheiden. Mit jedem neuen Foto schärft es seine Sinne in Form diverser Parameter, bis es (im besten Fall) sensibel genug auch auf subtile Merkmale reagiert. Das Google Content Safety API, das übrigens auch von Facebook genutzt wird, analysiert bislang nur Fotos, keine Videos.
Ebenfalls KI-gestützt arbeitet das Tool Safer der gemeinnützigen Organisation Thorn. Es kombiniert ein eigenes Machine-Learning-System mit Microsofts PhotoDNA, um sowohl bekannte als auch unbekannte Fotos zu filtern. Zu Thorns Kunden gehören die Foto-Sharing-Dienste Flickr, Imgur und VSCO. Ein eigenes System auf Basis von PhotoDNA betreibt auch die Firma Cloudflare, das Kunden bei Bedarf einfach aktivieren können.