Kompression neuronaler Netze: Fraunhofer HHI mit neuer Software NNCodec

Lösung für Forschungsgruppen und Entwicklungsteams im Bereich KI

Codecs und Standards
KI
Forschung & Entwicklung
Mit NNCodec hat das Fraunhofer Heinrich-Hertz-Institut (HHI) eine neue Software entwickelt, mit der neuronale Netze auf einen Bruchteil ihrer Größe komprimiert werden können. Dabei entsteht kein Qualitätsverlust. NNCodec steht ab sofort über die Softwareentwicklungsplattform GitHub für die nicht-kommerzielle Nutzung zum freien Download bereit.

Die Software richtet sich speziell an Forschungsgruppen und Entwicklungsteams im Bereich KI, die mit NNCodec eine leistungsstarke und standardkonforme Lösung erhalten. NNCodec ist eine quelloffene Software, die Encoder- und Decoder-Module zur Kompression neuronaler Netze enthält. Sie implementiert damit den neuen MPEG-Standard „Neural Network Coding (NNC - ISO/IEC 15938-17:2022)“, der mit maßgeblichen Beiträgen vom Fraunhofer HHI mitentwickelt und im August 2022 formal von ISO/IEC verabschiedet wurde.

Neuronale Netze bilden die Grundlage für zahlreiche Ansätze der Künstlichen Intelligenz und sind aus vielen Anwendungen nicht mehr wegzudenken. Dadurch ist eine Vielzahl unterschiedlicher neuronaler Netzarchitekturen für verschiedenste Anwendungen entstanden. Gleichzeitig werden diese Netze immer komplexer, d.h. die Anzahl ihrer Schichten, Verknüpfungen und Parameter ist drastisch gestiegen. Dementsprechend benötigen neuronale Netze ein zunehmendes Maß an Rechenkapazität und Arbeitsspeicher. Ohne hinreichend effiziente Kompression sind neuronale Netze kaum in Mobiltelefone integrierbar. Zugleich benötigen sie eine hohe Datenübertragungsrate.

Mit NNCodec steht nun eine effiziente Software zur Verfügung, mit der trainierte neuronale Netze ohne Qualitätsverlust typischerweise auf fünf bis zehn Prozen ihrer Originalgröße komprimiert werden können. Hierdurch können neuronale Netze effizient gespeichert und an andere KI-Anwendungen übertragen werden. Zu den zahlreichen Anwendungsszenarien, die vom Einsatz des NNC-Standards profitieren, zählen 5G-Anwendungen, Bild- und Videokompression, 3D-Rekonstruktions- und Codier-Methoden sowie KI-Technologien zur Mobilität wie autonomes Fahren. Insbesondere in verteilten Lernumgebungen wie dem Federated Learning ist ein regelmäßiger Austausch neuronaler Netze zwischen beteiligten Geräten notwendig. Hier kann mithilfe des NNC-Standards eine starke Reduktion der erforderlichen Kommunikationsbitrate erreicht werden.

„Wir sind stolz darauf, den NNC-Standard maßgeblich mitentwickelt zu haben und bereits wenige Monate nach seiner Verabschiedung mit NNCodec eine quelloffene und nutzerfreundliche Softwarerealisierung von NNC präsentieren zu können,“ sagt Dr. Detlev Marpe, Abteilungsleiter „Videokommunikation & Applikationen“ am Fraunhofer HHI. Prof. Wojciech Samek, Abteilungsleiter „Künstliche Intelligenz“ am Fraunhofer HHI kommentiert weiterhin: „Wir freuen uns, dass wir mit dieser optimierten Softwarelösung ein breites Spektrum an Anwendungen für neueste KI-Entwicklungen und neuronale Netze, wie CNNs, Autoencoder oder Transformer-Netzwerke bedienen können.“ 

Die NNCodec-Software mit En- und Decoder-Modulen ist ab sofort auf GitHub verfügbar. Genauere Informationen hierzu finden sich auf: Neural Network Codec.

www.hhi.fraunhofer.de

 

Ähnliche Beiträge