Multimedia Grundlagen I - Multimedia Computing and Computer ...

multimedia.computing.de
  • Keine Tags gefunden...

Multimedia Grundlagen I - Multimedia Computing and Computer ...

Multimedia Grundlagen IWS 2009/2010Prof. Dr. Rainer Lienhartwww.multimedia-computing.{de,org}


LehrangebotWS 09/10– Vorlesung (Ba): Multimedia Grundlagen I (4+2)– Vorlesung (Ma): Maschinelles Lernen I (2+2)– Vorlesung : Probabilistic Robotics (2+2)– [Praktikum (Ma): Multimedia Projekt: Videoverarbeitung](10)– Seminar (Ma): Bildverarbeitung (2)– Oberseminar: Selected Aspects of Media Mining (2)SS 10– Vorlesung (Ma): Multimedia: Media Mining (4+2)– Vorlesung (Ba): Bayesian Networks (2+2)– Praktikum (Ba): Multimedia Projekt: Bildverarbeitung(BA) (10)– Seminar (Ba): Videoverarbeitung (2)– Oberseminar: Selected Aspects of Media Mining (2)© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Ein paar allg. Tips• Im wirklichen Leben sind die Noten wichtig (Bachelor & Master)• Eine gute Klausurvorbereitung besteht neben dem regelmäßigen undkontinuierlichen Mitarbeiten üblicherweise aus zwei Wochen hartem Lernen(8-10 Stunden am Tag)• Firmen schauen auf die Länge des Studiums!• Man lernt fürs Leben und nicht für die Klausur. Man sollte daher nie planen,nur gerade so die Klausur zu bestehen. Zeigen Sie, was Sie können!• Lernen und Verstehen erfordert viel auswendig lernen. Verstehen brauchtWissen, das jederzeit parat und abrufbar ist. Nur Lernen und Verstehenbringt daher den Erfolg. Folgen Sie bitte diesen Richtlinien© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Gliederung0. Organisatorisches1. Einführung2. Mathematische Grundlagen2.1 Komplexe Zahlen(Exkurs: Apfelmännchen)2.2 Matrix-Vektor Rechnungen3. Digital Signalverarbeitung3.1 Digitale Signale3.2 Digitale Systeme3.2.1 Lineare zeitinvariante Systeme3.2.2 Fourier-Transformation3.3 Short Time Fourier Transforms4. Bildverarbeitung4.1 Bildaufnahme und Bildanzeige4.1.1 Bildsensoren4.1.2 Kameramodelle4.1.3 Digitale Bildrepräsentation4.1.4 Bildanzeige4.2 Farbräume4.3 Einfache Bildrepräsentation4.3.1 Pixelmanipulationen4.3.2 Beleuchtungskorrektur4.3.3 Faltungen: Glättungs- undKantenoperatoren4.4 Komplexe Bildoperationen4.4.1 Segmentierung4.4.2 Hough-Transformation4.4.3 Bildmerkmale– Selbstähnlichkeit– HOG– SURF4.4.4 Anwendung: Bildsuche5. Digitale Signalverarbeitung(Fortsetzung)5.1 Datenreduktion6. Tonverarbeitung© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Buchempfehlungen1. Oppenheim, A. V., Schafer, R. W., and Buck, J. R. (1999). Discrete-timesignal processing. Prentice-Hall, Inc., Upper Saddle River, NJ, USA.bzw.Oppenheim, A. V., Schafer, R. W., and Buck, J. R. (2004). ZeitdiskreteSignalverarbeitung. Pearson Studium Verlag.2. Bernd Jähne. Digital Image Processing. Springer Verlag.bzw.Bernd Jähne. Digitale Bildverarbeitung. Springer Verlag.3. David A. Forsyth and Jean Ponce. Computer Vision: A ModernApproach. Prentice Hall, Upper Saddle River, New Jersey 07458Bei C/C++ - Schwächen:• Martin Schader and Stefan Kuhlins. Programmieren in C++. Springer-Verlag. ISBN: 3540637761© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Vorstellung des Lehrstuhls• Unsere Forschungsthemen– Automatic content analysis of images, videos, and audio(Multimedia Content Analysis)– Automatic content analysis of multimodal and multi-lingual documents– Data Mining on large scale distributed multimedia databases(Multimedia Google)– Aware rooms (with AV sensor and actuators)– Autonomous car robots (cognitive robotics)– Automatic learning to identify specific people in audio and video.– WYSIWYH – What You See Is What You Hear– Machine learning / statistical computing– Computer vision– Image processing© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Beispieleder automatischen Inhaltsanalyseam Lehrstuhl


Lokalisierung von Gesichtern© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Lokalisierung des Mundes© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Schüsselerkennung© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Lokalisierung von Autos© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Lokalisierung von Türgriffen© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Lokalisierung von Gläsern© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Suche nach Werbung© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


BildsucheAnfragebild© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Bildsuchedie 19ähnlichstenbilder© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


QbE- Gebäude© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


QbE - Graffiti© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


QbE – Golden Gate© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


QbE - Text© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


BeispielEine Infrastruktur zurautomatischen Kalibrierung vonA/V-Eingabe- und A/V-Ausgabegeräten


2Business Scenario -Meeting roomPC server1Digital Home Scenario –Connected devices51PDA’s orphonesmobile PC6sensors34wireless networksRequirements to make vision happen:• Sync between wireless I/O and wirelesscomputing devices• 3D position and 3D orientation ofsensor/actuatorsEnable multi-microphone conferencing usingavailable computing devices in room (laptop,PDA, cell phones, other sensors)Enable true 3D audio in the home withouttedious calibration© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


GoalGiven– A location/place– N c cameras,– N m microphones,– N d displays,– N l loudspeakers,– Enough computationalresources– Enough power outlets at theright place– Wired/Wireless connectivityget a smart room running withinan hour (55 minutes forconnecting cables, 5 minutesfor calibration).What’s needed:– Simple, scalable, selforganizing,self-healing, autocalibratingsystem setupBelieve:– This would be a perfectsystem for us researchers– Progress and creativity ishindered by current inflexibleand non-scalable systems(e.g., Aware Home ResearchInitiative (AHRI))© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Position Calibration of Audio Sensors/ActuatorsZY© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.deX


Speaker2Speaker4Room Length = 4.22 mSynchronized setupbias 0.08 cm sigma 3.8 cmRoom Height = 2.03 mSpeaker31 2Mic3Mic4Mic2Mic1Speaker1ZRoom Width = 2.55 m© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Providing a Common Space for MultipleCameras and Flat-Panel Displays© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Intrinsic Calibration• Control point extraction:– Pattern is displayed on a laptop screen– Images from different orientations arecaptured by waving the screen– Projected pattern points are determined bySIFT-feature matching© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Extrinsic Calibration of Multiple CamerasBundle adjustment is superior methodminˆ j ˆ– Minimization of the reprojection error : P , Xiijd( ˆjP Xˆi, xji)2Initialization of P j and X i :– Cameras are partitioned intomanageable subgroups thatshare a common view(triplets)– Hierarchical registration ofthe different coordinatesystems based on commoncameras/points© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Optimale Sensor Platzierung© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Wie gewinnt man einRennen mitcomputergesteuertenAutos?


Darpa Grand Challenge• Erstmals 2004, dann 8. Okt. 2005• Idee: Beschleunigung der Forschung und Entwicklung autonomerFahrzeuge im allgemeinen und im speziellen für das Militär• Regeln: Das Team, dessen Fahrzeug vollautonom den unbekanntenKurs von Los Angeles nach Las Vegas am schnellsten & unter 10Stunden schafft, gewinnt $1M (2004) / $2M (2005).• Kurs:– Definiert durch ~ 1000 Wegpunkte; Bekanntgabe 2 Stunden vorRennstart– Auf Straße, über Feldwege, im Gelände, durch Wasser, um Hindernisseherum– 2005: 131.6 miles durch Mohave Desert; ~ 25 mphDurchschnittsgeschwindigkeit• Das einzige zur Verfügung stehende Signal ist das öffentlich GPSSignal.© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Terrain (1)Quelle der Bilder:http://www.darpa.mil/grandchallenge04/media_images.htm© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Quelle der Bilder:http://www.darpa.mil/grandchallenge04/media_images.htm© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Computer Vision Problem- Limitierte “Seeweite” von Lasern- Auto sehr unruhig im Gelände (“bouncing”)- Maximal mögliche Geschwindigkeit: 25 mph, aber Teamwollte 35 mph- 25/35 mph Entscheidung wird mittels Kameraentschieden© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Definiere „Straße“- Laser bestimmt die 3D-Form des Geländes vor demAuto- Finde Weg und flache Straßenoberfläche- Projiziere 3D Daten in 2D Videobild- Lerne, wie die Straße gerade aussieht© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Verlängere “Straße”- Was wir sicher wissen: “Laser Brick” ist “Straße”- Verwende das Farbmuster, um in die “Ferne” zuschauen und Regionen zu bestimmen, die wie “nahe”Straße aussehen- Verbessere Rohergebnis durch geeignete HeuristikenUngefiltertes ErgebnisGefiltertes Ergebnis© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de


Gewinner 2005http://www.stanfordracing.org/6:53:58 19.1mphStart demo© 2004-2010, Prof. Dr. R. Lienhart, Multimedia Computing, Institut für Informatik, Universität Augsburg,Universitätsstr. 6a D-86159 Augsburg, Germany; email: Rainer.Lienhart@informatik.uni-augsburg.de

Weitere Magazine dieses Users
Ähnliche Magazine