Konzeptpapier

Adaptive Synchronisation von MPEG-4 Datenströmen bei derÜbertragung über RTP in Best-Effort NetzenKonzeptpapier zur DiplomarbeitKonstantin Heikelson10.08.20001. MotivationMPEG-4 ist eine der neuen Entwicklungen im Bereich der multimedialen Anwendungen.Der MPEG-4 Standard richtet sich auf ein sehr großes Spektrum von Applikationen: vonklassischen Video-Konferenz-Tools bis hin zu Anwendungen, die einen sehr hohen Gradvon Interaktionen mit audio-visuellen Szenen erfordern. Zahlreiche fortgeschrittene Toolssind in verschiedenen Teilen des MPEG-4 Standards (Audio, Visual, Systems) definiertworden und können an spezielle Anforderungen der einzelnen Anwendungen angepasstwerden.Bei den netzwerkfähigen Anwendungen setzt MPEG-4 im Gegensatz zu FTP-ähnlichenServices voraus, dass die Daten kontinuierlich ankommen und angezeigt werden können.Die Netzwerkschicht ist von MPEG-4 nicht standardisiert. Es steht also jeder Anwendungfrei, die Netzwerk-Protokolle auszuwählen und die Netzwerkanbindung zu implementieren.Für die Synchronisation der Datenströme ist der Sync-Layer bei MPEG-4 verantwortlich.Im Fall einer Netzwerk-Anwendung werden wegen der verwendeten Algorithmen inSync-Layer hohe Anforderungen ans Netz gestellt, nämlich eine garantierte Bandbreiteund konstanter Jitter. Dies ist aber vor allem in WANs wie z.B. Internet nicht gegeben. Andieser Stelle müssen adaptive Synchronisationsverfahren zum Einsatz kommen, die die indem Sync-Layer verwendeten Algorithmen erweitern oder gar ersetzen sollen. Dieadaptiven Synchronisationsverfahren passen sich im Gegensatz zu statischen Verfahren,die auf Basis gewisser Annahmen aufgebaut sind, automatisch an dynamischeNetzwerkbedingungen und unterschiedliche Benutzeranforderungen an. Sie gewährleistennicht nur Intra- und Inter-Stream-Synchronisation, sondern sie beinhalten auch diePuffer-, Übertragungsrate- und Abspielrate-Kontrollmechanismen, die kontinuierlichesAbspielen von Daten und rechtzeitige Anpassung an veränderte Bedingungenermöglichen. Die adaptiven Synchronisationsverfahren sollen auch eine wichtigeEigenschaft der MPEG-4 Synchronisationsverfahren beibehalten: sie sollen laut MPEG-4Standard kodierungsunabhängig und datentypunabhängig funktionieren.2. Das Ziel der DiplomarbeitAls eine prototypische Implementierung von MPEG-4 Standard gilt der von MPEG-Gruppe zur Verfügung gestellte IM1-Player.Auf Basis dieser Software soll im Rahmen der Diplomarbeit eine netzwerkfähigeMPEG-4 Anwendung ausgearbeitet und implementiert werden. Die Anwendung simulierteinen Nachrichtendienst, bei dem der Benutzer im Gegensatz zu herkömmlichen Pay-TVApplikationen einen relativ hohen Grad an Interaktivität mit dem Kontext zur Verfügunggestellt bekommt.

Das Ziel der Diplomarbeit setzt sich aus mehreren Teilen zusammen:• Integration des RTP-Protokolls und Untersuchung der Möglichkeiten für dieAbbildung der AU-Pakete auf RTP-Pakete• Design und Integration der adaptiven Synchronisationsverfahren in MPEG-4zur Unterstützung von dynamischen Netz-Anforderungen3. Aufgaben• Untersuchung existierender Verfahren für adaptive Synchronisation (serverseitig,clientseitig, kombiniert) (theoretisch [1]-[9])• Aus den Vor- und Nachteilen und eigenen Ideen: Entwurf eines neuen Verfahrens(theoretisch)• Implementierung des ausgearbeiteten Synchronisationsverfahrens• Analyse der Möglichkeiten für die Abbildung von AU-Paketen auf RTP-Pakete(theoretisch [10]-[15])• Integration des RTP-Protokolls in IM1-Player und Implementierung der Abbildungvon AU-Paketen auf RTP-Pakete für das ausgewählte Verfahren• Bewertung und Analyse der neu implementierten Verfahren anhand von Messungen4. AnforderungskatalogUm den oben erwähnten Nachrichtendienst in MPEG-4 realisieren zu können, müssenAudio/Video-Informationen zur Verfügung gestellt werden, die dann in einer MPEG-4Szene zusammengefasst werden. Außerdem sind unter allen Audio/Video-Strömen temporäreBeziehungen zu definieren. Dies ist entscheidend bei der adaptiven Synchronisationvon Datenströmen. Es wird angenommen, dass die Videodaten in H263-Format undAudiodaten in G723-Format vorliegen. Außerdem sind Videos so zu kodieren, dass dieeinzelnen Frames aus dem Video extrahiert und ohne zusätzliche Informationen angezeigtwerden können. Dies ermöglicht die zeitliche Skalierbarkeit der Videodaten. Audiodatenwerden im Rahmen des zu realisierenden Szenarios nicht skaliert, so dass eine Kodierungmit der niedrigen Qualität wünschenswert wäre.5. ZeitplanKonzeptionierungImplementierungMessung, BewertungDokumentationSeptemb. Oktober Novemb. Dezemb. Januar Februar

6. Literatur[1] „MPEG-4 Applications“, ISO/IEC JTC1/SC29/WG11 MPEG 99/N2724, March1999/Seoul[2] C.Herpel, A. Eleftheriadis, „MPEG-4 Systems: Elementary Stream Managment“, 1999[3] K.Rothermel, T.Helbig, „An Adaptive Stream Synchronization Protocol“, 5thInternational Workshop on Network and Operating System Support für Digital Audio andVideo, April 18-21, 1995[4] S.Baqai, M. Farrukh Khan, M. Woo, „Quality-Based Evaluation of MultimediaSynchronization Protocols for Distributed Multimedia Information Systems“, 1996[5] C.Class, „Synchronization Issues in Distributed Applications: Definitions, Problems,and Quality of Synchronzation“, 1997[6] D.H.Nam, S.K.Park, „Adaptive Multimedia Stream Presentation in Mobile ComputingEnvironment“, 1999[7] T.D.C.Little, F.Kao, „An Intermedia Skew Contol System for Multimedia DataPresentation“, Proc. 3rd Intl. Workshop on Network and Operating System Support forDigital Audio and Video, Novermer 1992, pp 121-132[8] T.D.C.Little, „A Framework for Synchronous Delivery of Time-DependentMultimedia Data“, Multimedia Systems Vol. 1, No. 2 1993, pp. 87-94[9] R.Rejaie, M.Handley, D.Estrin, „Architectural Considerations for Playback of QualityAdaptive Video over the Internet“, 1998[10] Z.Lifshitz, „DMIF Implementation on Local Area Networks which Provide a Non-Guaranteed Quality of Service“, ISO/IEC JTC1/SC29/WG11, September 1997[11] G.Guillemot, P.Christ, S.Wesner, A.Klemets, „RTP Payload Format for MPEG-4with Flexible Error Resiliency“, IETF, Internet-Draft March 2000[12] Y.Kikuchi, T.Nomura, S.Fukunaga, Y.Matsui, H.Kimata, „RTP Payload Format forMPEG-4 Audio/Visual Streams“, IETF Internet-Draft February 2000[13] G.Guillemot, P.Christ, S.Wesner, A.Klemets, „RTP Payload Format for MPEG-4with Scaleable and Flexible Error Resiliency“, IETF, Internet-Draft June 1999[14] Civanlar, Basso, Casner, Herpel-Thomson, „RTP Payload Format for MPEG-4Streams“, IETF, Internet-Draft April 2000[15] RFC 1889, „RTP: A Transport Protocol for Real-Time Applications“