Die Abteilung Vision & Imaging Technologies des Fraunhofer Heinrich-Hertz-Instituts präsentiert zusammen mit der Volucap GmbH das erste kommerzielle volumetrische Studio auf dem europäischen Festland, das im Juni 2018 im Filmpark Potsdam- Babelsberg eröffnet wurde. Damit wird es möglich, eine reale Person zu erfassen und als dynamisches 3D-Modell in Virtual-Reality- oder Augmented- Reality-Anwendungen zu integrieren.
Neue Medienproduktionen wie begehbare Filme, Virtual-Reality-Erlebnisse oder Augmented-Reality-Anwendungen erfordern innovative Computer-Vision-Technologien.
Im Gegensatz zur klassischen Animation von virtuellen Charakteren ist es das Ziel, sehr realistische und vollständige Rekonstruktionen von -sich bewegenden - Personen zu erstellen.Bisher wurden für computer grafische Szenen animierte virtuelle Charaktere, sogenannte Avatare, verwendet.
Der natürliche Eindruck ist jedoch noch immer begrenzt, was insbesondere bei der CGI-Modellierung von Personen und der Animation von Bewegungen auffällt. Insbesondere Gesichtsaudrücke und Bewegungen in der Kleidung können nicht realistisch animiert werden. Hinzu kommt ein hoher manueller und somit kostenintensiver Aufwand bei der Erzeugung dieser künstlichen Objekte.
Das Fraunhofer Heinrich-Hertz-Institut HHI hat ein neues Verfahren entwickelt, das durch die Kombination von Computer Vision und Computergrafik reale Personen durch realistische und sich natürlic bewegende 3D-Modelle repräsentiert. Diese dynamischen 3D Modelle können dann in virtuellen 3S Szenen oder in Augmented -reality-Anwendungen integriert werden.
Dieses Verfahren findet nun seine Anwendung in dem ersten kommerziellen volumetrischen Studio auf dem europäischen Festland, das im Juni 2018 im Filmpark Potsdam-Babelsberg eröffnet wurde. Die Betreibergesellschaft Volucap GmbH, bestehend aus ARRI, Studio-Babelsberg, Interlake, UFA und der Fraunhofer-Gesellschaft, hat mit Unterstützung durch das Land Brandenburg dieses Aufnahme-und Produktionssystem für volumetrisches Video errichtet. Es basiert auf einem Fraunhofer Heinrich-Hertz-Institut entwickelten Prototypen und vereint modernste Kamera-Licht und Rechnertechnologie.
Das Kernstück dieses Studios ist eine zylindrische Rotunde mit einem Durchmesser von 6 m und einer Höhe von 4 m.
Diese Rotunde ist mit 32 hochauflösenden Kameras bestückt, die als Stereosysteme angeordnet sind und den Schauspieler aus aller Richtungen erfassen.
Die hohe Auflösung der Kameras ermöglicht eine hochgenaue bildbasierte 3D-Erfassung unter Verwendung eines neuartigen, strukturell sehr präzise arbeitenden Tiefenschätzers.
Dieser Algorithmus ist vollständig paralleliesbar, was eine effiziente Implementierung auf der Grafikkarte ermöglicht. Die so gewonnene 3D Information aus den Stereosystemen wird dann fusioniert, um ein vollständiges dynamisches 3D Modell der Person zu berechnen.
Die finale 3D Punktwolke wird schließlich durch Meshing-Algorithmen in eine Sequenz von Wire-Frames überführt, die dann in eine Render-Engine, wie zB Unity oder Unreal integriert werden kann.
Damit bieten sich alle Möglichkeiten der Visualisierung und Interaktion, wie es in computergrafischen Anwendungen bereits anzutreffen ist. So können Lichteffekte beliebig gesetzt und mittels Kollisionsanalyse Interaktionen der rekonstruierten Person mit Objekten in der virtuellen Welt realisiert werden.
An der Rotundenwand sind hinter einem transparenten Gewebe 220 ARRI-Lichtpanele montiert, wodurch zwei wesentliche Alleinstellungsmerkmale realisiert wurden.
So kann durch die Integrierte Beleuchtung eine diffuse Ausleuchtung des Schauspielers in der Rotunde gewährleistet werden.
Dies hat den wesentlichen Vorteil, dass das dynamische 3D Modell nachträglich in der virtuellen Szene beleuchtet werden kann. Ein weiteres Merkmal ist die Realisierung von szenischer Beleuchtung. Dies bedeutet, dass bereits bei der Aufnahme die Lichtstimmung der virtuellen Szene erzeugt werden kann und damit eine künstliche Beleuchtung in der Render-Engine nicht mehr vorgenommen werden muss.
Zugleich existiert eine Aufnahme- und Produktionssoftware, die den Ansprüchen einer professionellen Produktion entspricht. Eine einfache Bedienung aller Kameras für den Einrichtungs- und Aufnahmeprozess ist gewährleistet.
So dienen Live-Previews in voller Auflösung oder Kachelansichten aller Kameras zür Überwachung der Aufnahme On-Set.
Die Produktions-software ermöglicht eine Berechnung der dynamischen 3D-Modelle auf einer lokalen Cloud, wobei die notwendigen Ressourcen automatisch zugewiesen werden.
Ein Datenbanksystem erlaubt die vollständige Überwachung des Produktionsprozesses und gibt Auskunft über den aktuellen Produktionsstand.
Eine automatische Erzeugung des vom Kunden gewünschten Ausgabeformates, die Generierung von Zwischenergebnissen und die Archivierung werden ebenso zur Verfügung gestellt.
Mit diesem Aufnahme- und Produktionssystem ist eine naturgetreue, realistische und somit überzeugende Mischung von realen und virtuellen Inhalten erstmals auf kostengünstige Weise möglich, da der enorme personelle Aufwand bei künstlich generierten Personen, sog. Avataren, entfällt.
Der enorme Kostenaufwand für CGI-Produktionen in Bezug auf Postprodutkion wird damit auf ein Minimum reduziert.