c't 9/2016
S. 72
Reportage
Photogrammetrie-VR
Aufmacherbild
Nein, das ist kein Foto, sondern ein Screenshot aus einem frei begehbaren 3D-Modell.

Im Foto spazierengehen

Das deutsche Unternehmen Realities holt echte Orte in die Virtual Reality

Virtual-Reality-Inhalte bestehen bislang entweder aus am Rechner erzeugten 3D-Modellen oder aus Fotos oder Videos, die in einer virtuellen Kugel kleben. Das deutsche Start-up Realities.io vermischt die beiden Formen durch Photogrammetrie – mit atemberaubenden Ergebnissen.

Offene Münder, Kopfschütteln, hui: Begeisterung für ihre Arbeit ist für David Finsterwalder, Dominic Eskofier und Daniel Sproll längst Routine. Seit Monaten demonstrieren sie ihre selbstentwickelte Software auf Messen und in Konferenzräumen – und überall die gleichen Reaktionen. Kein Wunder. „Realities“, so heißt die Software, macht endlich möglich, was man bislang nur rudimentär hinbekommen hat: reale Orte so zu digitalisieren, dass man darin wie im Vorbild herumspazieren kann.

Die Realties.io-Macher konservieren reale Orte virtuell. Von links: Dominic Eskofier, David Finsterwalder und Daniel Sproll.

Möglich machts Virtual Reality, im speziellen das HTC-Vive-System: Dank zweier Lasertracker darf man sich hier auf bis zu 15 Quadratmetern frei bewegen. Die virtuelle Umgebung erzeugt dabei einen so realistischen Eindruck, dass sich mehrere Kollegen im (völlig sauberen!) c’t-Testlabor nicht hinknien mochten – der Boden des (virtuellen!) verlassenen Sanatoriums in Beelitz-Heilstätten war ihnen zu schmutzig.

Die Realities-Technik beeindruckt nicht nur Technik-Freaks, sondern auch Investoren: Der mit Risikokapital finanzierte Start-up-Förderer Boost VC hat den deutschen Entwicklern Büro- und Wohnräume in San Meteo zur Verfügung gestellt – mitten im Silicon Valley.

Video: Rundgang durch Realities.io (Ausschnitt aus unserem VR-Marathon)

Photogrammetrie FTW

Im Realities-Hauptmenü kann man die Erdkugel anfassen wie einen Wasserball.

Anders als bei 360-Grad-Fotos oder -Videos zieht Realities nicht nur eine „Fototapete“ auf eine virtuelle Kugel, sondern erzeugt einen echten 3D-Raum – sogar kleinste Details wie abgesplitterten Putz kann man geometrisch korrekt bewundern. Statt den Raum manuell in 3D-Software aufzubauen, nutzen die Realities-Macher Photogrammetrie – eine seit über 100 Jahren bekannte Technik, mit der die räumliche Lage und dreidimensionale Form von Objekten anhand von Fotos bestimmt wird. Photogrammetrie wird beispielsweise häufig von Architekten, Archäologen und Geografen eingesetzt.

Der Realities-Mitentwickler David Finsterwalder hat während seiner Arbeit in der Archäologie Feuer für die Photogrammetrie gefangen. Im Herbst 2015 beeindruckte er nicht nur die internationale VR-Szene mit einem hyperrealistisch umgesetzten Steinplattengrab aus dem baden-württembergischen Ellwangen, selbst eine Nonne aus dem nahegelegenen Kloster war bezaubert.

Statt teurer Spezialkameras nutzt Finsterwalder für die Photogrammetrie-Aufnahmen eine konventionelle Vollformat-Systemkamera. Bei jedem Auslösevorgang erstellt seine Sony Alpha 7R II mehrere Bilder mit unterschiedlichen Belichtungen. Für einen durchschnittlichen Raum benötigt Finsterwalder 300 bis 400 solcher HDR-Fotos. Außer einem Stativ – und manchmal nicht mal das – braucht er keine anderen Hilfsmittel: „Ich habe inzwischen im Gefühl, welche Stellen ich mit wie viel Überlappung fotografieren muss“, erzählt Finsterwalder. Für einen Raum benötigt er je nach Umgebung zwischen einer halben bis mehrere Stunden. Zu lange darf die Foto-Session allerdings nicht dauern – schließlich nutzt er Tageslicht, das sich schnell ändern kann.

Drei Tage Rechenzeit

Eine Photogrammetrie-Software baut aus dem Bilderstapel weitgehend automatisch ein 3D-Modell mit Texturen. Die Berechnung dauert einige Tage, trotz Intel-i7-4770K-Rechner mit einer Nvidia-Quadro-M6000-Profigrafikkarte. Anschließend läuft das 3D-Modell durch eine weitgehend automatisierte Pipeline unterschiedlicher Software-Tools. Ohne weitere Nachbearbeitung importieren die Realities-Macher das 3D-Modell schließlich in die Game-Engine Unreal 4 und reichern es mit interaktiven Elementen an. Die Textur in einem durchschnittlichen Raum wiegt unkomprimiert fast 1 GByte mit 120 000 mal 120 000 Pixeln. Hinzu kommen zum Teil Normal Maps, Mipmaps, trilineare Filterung und die aus mehreren Millionen Polygonen bestehende Geometrie. Dennoch läuft Realities auf einer GTX-970-Grafikkarte flüssig mit stabilen 90 fps.

Zum Teil baut Finsterwalder noch Effekte per Shader ein, zum Beispiel Lichtstrahlen, die aus einem Fenster in den Raum scheinen. „Bei der Shader-Programmierung kommt mir mein Mathestudium ganz gelegen“, berichtet der Entwickler, der außer Mathematik und Archäologie auch Philosophie, Physik und Religionswissenschaft studiert hat. „Ohne Abschluss natürlich“, fügt er grinsend hinzu.

Sehr gut gelungen ist den Realities-Machern auch die Steuerung: Per virtuellem Lichtstrahl aus den Vive-Hand-Controllern kann man sich an beliebige Stellen teleportieren. Das Ganze funktioniert (nach etlichen Experimenten der Macher) komplett übelkeitsfrei – was daran liegt, dass man mit rasender Geschwindigkeit zur gewünschten Stelle fliegt, statt sich einfach hinzubeamen. Die Animation ist kaum wahrnehmbar, sorgt aber für Ruhe im Magen. Für das Benutzer-Interface ist Daniel Sproll zuständig, der sich auch das Hauptmenü ausgedacht hat: eine frei „anfassbare“ Erdkugel mit realistischen Texturen von der NASA. Alleine damit kann man sich schon eine halbe Stunde beschäftigen.

Rosige Zukunft

Im Vergleich zu Realities können 360-Grad-Fotos einpacken – die Photogrammetrie-Ansichten wirken um mehrere Faktoren lebensechter. Die Technik bleibt, das ist sicher. Die Realities-Macher wollen in Zukunft Geld mit gesponserten und Premium-Inhalten verdienen; der auf Steam für Vive-VR-Brillen kostenlos erhältlicheViewer soll aber weiterhin mit Gratis-Inhalten aufgefüllt werden. Künftig sollen auch Freiwillige Photogrammetrie-Fotosets beisteuern; die Entwickler wollen bei der Bearbeitung assistieren. Irgendwann, so der Traum, können sich VR-Nutzer mit Realities durch die ganze Welt beamen. David Finsterwalder ist übrigens schon wieder unterwegs – bei Redaktionsschluss photogrammisierte er gerade im guatemaltekischen Dschungel. (jkj@ct.de)