Multimedia-Streaming ist ein komplexes Systemdesign: Die Integration verschiedener Audio-/Video-Konnektivitätsstandards (AV) mit Kompressionscodecs, Audio- und Videoverarbeitung, Synchronisierung und IP-Netzwerk-Streaming bei gleichzeitiger nahtloser und zuverlässiger Funktion der eingebetteten Software bedeutet, dass mehrere Personen synchron an verschiedenen Aspekten des Entwurfs arbeiten müssen, damit alles wie gewünscht funktioniert.
Ob Sie neu im Bereich Streaming-Design arbeiten oder Erfahrung mit Multimedia haben, aber noch nicht mit FPGA- und Embedded-SoC-Designs vertraut sind - AMD Xilinx bietet die geeignete Hardware und Beispieldesigns. Die Zynq UltraScale+ MPSoC EV-Familie umfasst eine integrierte 4K60 4:2:2 10-Bit H.264/H.265 Video Codec Unit (VCU) neben der adaptiven programmierbaren Rechenlogik (PL), die für AV-Schnittstellen und AV-Verarbeitung zur Verfügung steht. Außerdem ein Multicore Arm PS (Prozessor-Subsystem), das Betriebssystem, Treiber und Hochleistungsperipheriegeräte verwaltet. Für das Prototyping der meisten professionellen AV- und Broadcast-Anwendungen ist es sinnvoll, das ZCU106 Evaluation Kit zu verwenden, da es die flexibelsten Anschlussmöglichkeiten und die größten PL-Ressourcen für die Entwicklungsarbeit bietet.
Das Referenzdesign für Streaming wird vorgestelltFür das Design selbst stellt AMD Xilinx ein Targeted Reference Design (TRD) speziell für die VCU und die ZCU106 in einem Wiki zur Verfügung (Abbildung 1). Das TRD ist modular aufgebaut, wobei die einzelnen IP- und Systeminfrastrukturblöcke in verschiedene, vollständig validierte Designmodule integriert sind, die die Mehrzahl der auf dem Markt vorkommenden Anwendungsfälle repräsentieren. Dazu gehören umfassende Capture-, Encode-, Decode- und Display-Pipelines mit einer Auswahl an AV-Konnektivität, verschiedenen DDR-Schnittstellen und unterschiedlichen Videoformaten. Das Ziel ist es, ein System anzubieten, das alle oder zumindest die meisten Anforderungen abdeckt – mit viel Raum für Innovation und Differenzierung. Außerdem soll gezeigt werden, wie diese Systeme im Einzelnen aufgebaut sind, damit sich die Entwickler ein Bild von der Funktionsweise des Systems machen und es dann an Ihre Anwendungsanforderungen anpassen können.
Diese werden alle als vordefinierte Versionen zur Verfügung gestellt, die direkt auf das ZCU106 Evaluation Kit geladen werden können, so dass man sie evaluieren kann. Das TRD bietet außerdem validierte IP-Cores, Quellcode, Projektdateien, BSP, Treiber und Build-Flows, so dass Sie die Leistungsparameter der VCU abstimmen und eine optimale Konfiguration für Encoder- und Decoder-Blöcke für Ihren konkreten Anwendungsfall finden können. Das TRD verwendet den Vivado® IP Integrator (IPI) Flow für die Erstellung des Hardware-Designs und Xilinx PetaLinux Tools für das Software-Design.
Die VCU TRD bietet aber nicht nur Zugriff auf die Steuerungssoftware-Schicht, sondern nutzt auch die Stärken des populären Open-Source-Multimedia-Frameworks GStreamer, um Audio-, Video- und Datenelemente zu hochflexiblen Multimedia-Pipelines zu bündeln. Dieses Framework abstrahiert einen Großteil der Komplexität der Multimedia-System-Pipeline, so dass die TRDs mit nur wenigen Zeilen GStreamer-Befehlen ausgeführt werden können. Es öffnet die Pipeline auch für die Verwendung anderer GStreamer-Plug-ins aus der Open-Source-Gemeinschaft und bietet eine klar definierte Möglichkeit zur Interaktion zwischen dem TRD und Ihren eigenen AV-Designkomponenten.
Die VCU TRD ist das Ergebnis einer erheblichen, seit Jahren laufenden Investition von AMD Xilinx in Hard- und Software zur Unterstützung der wichtigsten professionellen Komprimierungsverfahren, die wir in den Bereichen Broadcast, Pro-AV und anderen Bereichen beobachten. Beispiele hierfür sind die branchenweit niedrigste Latenz für einen professionellen H.264/H.265-Codec mit einer Glass-to-Glass-Verzögerung von <35 ms (Erfassung, Codierung, Decodierung und Anzeige). Dazu gehören auch die Möglichkeiten, effektiv mit Szenenwechseln umzugehen, bei problematischen Netzwerk- und Bandbreitenbeschränkungen zu arbeiten, Machine Learning zu nutzen, um die regionale Codierung zu implementieren, sowie neue Modi, die HDR und 4:4:4-Streaming unterstützen. Die ZCU106 ist mit umfassenden Dokumentation und Schulungsangeboten ausgestattet, die den Umgang mit komplexen Multimedia-Streaming-Designs erleichtern.
