c't 20/2018
S. 40
News
Video-zu-Video-Synthese

Traumland in Bewegung

KI erzeugt fotorealistische Videos ohne sichtbare Sprünge

Die von KIs erfundenen Bilder sehen längst fotorealistisch aus. In einem Video hintereinander gehängt, produzierten sie aber Sprünge zwischen den Einzelbildern, die jeglichen Realismus zerstörten. Ein Forscherteam von Nvidia hat dieses Problem nun gelöst.

Wissenschaftler aus Nvidias Forschungsabteilung haben ein neuronales Netz vorgestellt, das aus Videos, die nur markieren, wo welche Art von Inhalt stehen soll, fotorealistische Videos erzeugt. Mit einzelnen Fotos und Generative Adversarial Networks (GANs) war das bereits möglich, lieferte für Videos aber inkonsistente und unrealistische Ergebnisse. Das neue Verfahren verhindert sprunghafte Änderungen in den Einzelbildern und erzeugt scharfe Videos in 2K-Auflösung. Das knapp 5 Minuten lange Demovideo (siehe ct.de/yhva) ist sehenswert.

Pixelmischer