Neuer MPEG-Standard ermöglicht animierbare Avatare

Nach zwei Jahren Standardisierungsarbeit hat die Moving Picture Experts Group (MPEG) ihre Arbeit zur Scene Description mit einer Erweiterung des „Graphics Language Transmission Format“ (glTF) abgeschlossen. Die neue Erweiterung ermöglicht es, erstmals volumetrisches Video und Audio in eine immersive Szene zu integrieren. Das Fraunhofer Heinrich-Hertz-Institut (HHI) war maßgeblich an der Forschung und Entwicklung des neuen Standards beteiligt. Neben dem Fraunhofer HHI waren Unternehmen wie Qualcomm, Nokia, Interdigital, Intel, TNO, Sony, Philips und Xiaomi mit einzelnen Beiträgen aktiv in den Standardisierungsprozess eingebunden.

Der glTF-Standard ist weit verbreitet. Er wurde von der Khronos Group für die Beschreibung dreidimensionaler Modelle und Szenen entwickelt. Die Khronos Group ist ein Industriekonsortium von über 150 branchenführenden Unternehmen. Sie entwickelt fortschrittliche, lizenzfreie Interoperabilitätsstandards für 3D-Grafik, Augmented und Virtual Reality, parallele Programmierung, Vision Acceleration und Maschinelles Lernen. Die MPEG-Erweiterung baut auf der glTF-Version 2.0 auf und ermöglicht es unter anderem, Videotexturen, animierte Meshes und räumliches Audio in glTF zu integrieren. Durch diese Neuerungen können nun auch volumetrische Videos mit dem glTF-Format an Endgeräte übertragen werden.

Teil der MPEG-Erweiterung ist die vom Fraunhofer HHI entwickelte Mesh-Linking- Technologie. Sie ermöglicht es, den hohen Realismus von volumetrischen Videos mit der Animierbarkeit von Computergrafikmodellen zu kombinieren. Fotorealistische virtuelle Personen können nun in Mixed-Reality- Szenen integriert werden, um mit den Nutzenden zu interagieren. Zum Beispiel kann ein fotorealistischer Avatar jetzt aktiv den Blickkontakt mit einem*r Nutzer*in halten. Bisher war das nur mit Computergrafikmodellen möglich, nicht aber mit den viel realistischer aussehenden, aber komplexeren volumetrischen Videoinhalten.

„Wir haben unsere langjährige Erfahrung und Expertise auf dem Gebiet der Computergrafik in den Standardisierungsprozess eingebracht,“ sagt Prof. Peter Eisert, Leiter der Abteilung „Vision and Imaging Technology“ am Fraunhofer HHI. „Die Grundidee ist, die Bewegung von Computergrafikmodellen auf den volumetrischen Scan zu übertragen.“ Dafür wird zunächst die Geometrie des Computermodells an den volumetrischen Scan angepasst. Nach diesem Anpassungsprozess wird die Übereinstimmung zwischen den beiden Formaten berechnet, so dass die Animationen des Computergrafikmodells auf den volumetrischen Scan übertragen werden können. „Mit der neuen MPEG-Erweiterung ist das glTF 2.0-Format in der Lage, fotorealistische volumetrische Videos mit der Flexibilität eines Computergrafikmodells zu liefern,“ sagt Yago Sanchez, Wissenschaftler in der Gruppe „Multimedia-Kommunikation.“ „Mit diesen Informationen kann ein kompatibler glTF-Player das volumetrische Video nun frei animieren.“

„MPEG ist immer auf der Suche nach Technologien, die höchste Qualität liefern und die bisherigen Anwendungsmöglichkeiten eines Standards erweitern. Wir sind daher stolz darauf, dass wir unsere Technologien in den neuen Standard einbringen konnten und es so ermöglichen, animierbare volumetrische Videos in glTF 2.0 zu integrieren,“ kommentiert Dr. Cornelius Hellge, Gruppenleiter „Multimedia-Kommunikation“ am Fraunhofer HHI.

Nach der MPEG-Sitzung im Januar 2022 wird der „Final Draft Industrial Standard“ (FDIS) des „Scene Description Standard“ veröffentlicht. Damit ist der Standard technisch fertig gestellt und muss nur noch von den führenden Standardisierungsorganisationen ISO, dem weltweiten Zusammenschluss der nationalen Standardisierungsorganisationen, und IEC, der Internationalen Elektrotechnischen Kommission, formal ratifiziert werden.

2022 wird sich das Fraunhofer HHI darauf konzentrieren, die MPEG-Erweiterung in Richtung Interaktivität für immersive Szenen weiterzuentwickeln. Die Forschenden haben bereits eine Live-Demonstration entwickelt, die das Potenzial der neu standardisierten Technologie aufzeigt.

www.hhi.fraunhofer.de