Folien zur Vorlesung - Hochschule Ravensburg-Weingarten

Lernfähige Roboter 

Wahlpflichtfach, Master Informatik, Hochschule 

Ravensburg-Weingarten 

Wolfgang Ertel, Richard Cubek, Benjamin Stähle 

Sommersemester 2013 

Inhalt 

1 Einführung 

2 Lernen durch Demonstration für Low Level Motorik 

3 Lernen durch Demonstration für High Level Planungsaufgaben 

4 Support Vektor Maschinen 

Überlappende Klassenverteilungen 

Kernel-Funktionen 

5 Objektklassifikation und Sensorfusion

Literatur I 

Bishop, C. (2006). Pattern recognition and machine learning. Springer 

New York 

Hastie, T., Tibshirani, R., and Friedman, J. (2009). The Elements of 

Statistical Learning: Data Mining, Inference, and Prediction. Springer, 

Berlin, 3rd. edition. Online version: 

http://www-stat.stanford.edu/~tibs/ElemStatLearn/ 

Sutton, R. and Barto, A. (1998). Reinforcement Learning. MIT Press. 

www.cs.ualberta.ca/~sutton/book/the-book.html 

Ertel, W. (2007). Grundkurs Künstliche Intelligenz. Vieweg-Verlag. 

www.hs-weingarten.de/~ertel/kibuch 

Russell, S. and Norvig, P. (2003). Artificial Intelligence: A Modern 

Approach. Prentice Hall, 2 edition. 1. Auflage 1995, deutsche Übersetzung 

der 2. Auflage 2004 bei Pearson Studium, http://aima.cs.berkeley.edu 

Siciliano, B. and Khatib, O., editors (2008). Springer Handbook of 

Robotics. Springer, Berlin, Heidelberg 

Literatur II

Was können Roboter heute? 

schnell (10 m/sec) 

exakt (0.1 mm) 

stark (hebt bis 100 kg) 

Was passiert, 

wenn das Auto verschoben ist? 

Was ist Servicerobotik? 

Waschen 

Bügeln 

Kochen 

Aufräumen 

Putzen 

Einkaufen gehen 

Minen räumen 

Altenpflege 

...

Schnellkurs Roboterprogrammierung 

Video− 

kamera 

Wahrnehmung 

Auge 

Umgebung 

Steuerung 

Aktion 

Intelligente Roboter 

unstrukturierte Umgebungen 

wechselnde Aufgaben 

Programmierung sehr schwierig 

also: 

Roboter soll seine Fähigkeiten lernen!

Was ist Lernen? 

für Roboter: 

Vokabeln lernen? Einfach 

Gedicht auswendig lernen? Einfach 

Mathematik lernen? Schwierig 

Skifahren lernen? Schwierig 

Lernen heißt, aus einer (kleinen) endlichen Menge von Beispielen zu 

generalisieren auf einen unendlichen Raum! 

Lernen durch Demonstration

Kate lernt im Wohnzimmer 

Lernen motorischer Fertigkeiten

Lernen motorischer Fertigkeiten 

Lernen durch Demonstration, Literatur 

Posenauer, H. (2012). Robot learning from demonstration by 

averaging trajectories. Bachelorarbeit, Hochschule 


Schneider, M. (2009). Learning from Demonstration with Gaussian 

Processes. Master’s thesis, Hochschule Ravensburg-Weingarten 

Schneider, M. and Ertel, W. (2010). Robot Learning by 

Demonstration with Local Gaussian Process Regression. In IROS’10 

Abdo, N., Kretzschmar, H., Spinello, L., and Stachniss, C. (2013). 

Learning manipulation actions from a few demonstrations. In ICRA 

2013, Karlsruhe

Drei verschiedene Demonstrationen 

Drei verschiedene Demonstrationen 

Object B 

6 

Object B 

5 

6 

Object A 

Object B 

5 

4 

5 

4 

Object A 

4 

3 

3 

3 

2 

Object A 

End 

2 

End 

2 

1 

Start 

End 

1 

Start 

1 

Start 

1 2 3 4 5 6 

1 2 3 4 

2 3 4 5 6

Drei Trajektorien 

4 

2 

5 10 15 20 25 30 

2 

4 

Abstand Endeffektor zu Objekt A auf x-Achse in Demos 1 - 3. 

8 

6 

standard deviation of Tasse 

Tasse 

Dimension 0 

4 

2 

0 

-2 

-4 

-6 

0 5 10 15 20 25 30 

Mittelwert und Standardabweichung 

Lernen mit zwei Objekten 

8 

6 

4 


Tasse 

standard deviation of Kaffeemaschine 

Kaffeemaschine 

Dimension 0 

2 

0 

-2 

-4 

x-Achse 

-6 

0 5 10 15 20 25 30 

5 

4 

3 

2 

1 

0 

-1 

-2 

-3 

-4 


Tasse 



Dimension 1 

-5 

0 5 10 15 20 25 30

Reproduktion mit zwei Objekten 

Resultierende Trajektorie: y-Achse. 

16 

14 

12 

10 

8 

6 

4 

2 

0 


Tasse 



Dimension 0 

-2 

0 5 10 15 20 25 30 

x-Achse, transformiert auf aktuelle Objektpositionen. 

18 

16 

14 

12 

10 

8 

6 

4 

2 


Tasse 



Dimension 1 

0 

0 5 10 15 20 25 30 

Reproduktion mit zwei Objekten 

y-Achse, transformiert auf aktuelle Objektpositionen.x 

16 

14 

12 

10 

8 

6 

4 

2 

0 


Tasse 



standard deviation of Group4-Trajectory 

Group4-Trajectory 

Dimension 0 

-2 

0 5 10 15 20 25 30 

Resultierende Trajektorie: x-Achse. 

18 

16 

14 

12 

10 

8 

6 

4 

2 


Tasse 



standard deviation of Group4-Trajectory 

Group4-Trajectory 

Dimension 1 

0 

0 5 10 15 20 25 30

Produkt von Normalverteilungen 

Normalverteilung, Dichtefunktion (PDF): 

f σ,µ (t) = 

1 

σ √ 2 ∗ π 

e− 

(t−µ)2 

2σ 2 (1) 

1.0 

0.8 

0.6 

0.4 

0.2 

1.5 2.0 2.5 3.0 3.5 4.0 

Grüne PDF ist das Produkt der anderen. 

Produkt von n Normalverteilungen: 

f σi ,µ i 

(t) = 

1 

σ i 

√ 

2 · π 

e − (t−µ i )2 

2σ 2 i (2) 

= 

n∏ 

f σi ,µ i 

(t) = 

i=1 

1 

(2π) n 2 

∏ n 

i=1 σ i 

= 

= 

exp 

( 

n∏ 

i=1 

1 

√ e − (t−µ i )2 

2σ 

i 

2 

σ i 2 · π 

1 

(2π) n 2 

∏ n 

i=1 σ i 

1 

(2π) n 2 

∏ n 

i=1 σ i 

− 1 2 

( 

t 2 [ n∑ 

i=1 

( 1 σ 2 i 

exp 

exp 

) 

] 

( 

( 

− 

− 

− 2t 

n∑ 

i=1 

n∑ 

i=1 

[ n∑ 

i=1 

) 

(t − µ i ) 2 

2σ 2 i 

t 2 − 2tµ i + µ 2 i 

2σ 2 i 

µ i 

σ 2 i 

] 

+ 

[ n∑ 

i=1 

µ 2 i 

σi 

2 

) 

]))

Exponent erweitern mit 

n∏ 

f σi ,µ i 

(t) = 

i=1 

1 

[ ∑n 

i=1 

(2π) n 2 

∏ n 

i=1 σ i 

1 

σ 2 i 

] −1: 

⎛ 

t 2 − 2t 

exp ⎜ 

⎝ − 

P n 

i=1 µ i 

1 

σ 2 i 

P n 

i=1 1 

σ 2 i 

2 

1 

P n 

i=1 1 

σ 2 i 

+ 

P n 

i=1 µ2 1 

i σ 2 

P n 

i=1 1 i 

σ 

i 

2 

⎞ 

⎟ 

⎠ 

Koeffizientenvergleich mit (1): 

µ = 

∑ n 

i=1 µ i 

∑ n 

i=1 

1 

σi 

2 

1 

σi 

2 

σ 2 = 

1 

∑ n 

i=1 

1 

σ 2 i 

Wo ist das Problem? 

P n 

i=1 µ2 1 

i σ 2 

P n 

i=1 1 i 

σ 

i 

2 

ersetzen durch 

(∑ n 

i=1 µ i 

∑ n 

i=1 

1 

σi 

2 

1 

σi 

2 

) 2 

+ c = 

∑ n 

i=1 µ2 1 

i σi 

∑ 2 n 1 

i=1 σi 

2 

(3) 

c = 

∑ n 

i=1 µ2 i 

∑ n 

i=1 

1 

σi 

2 

1 

σi 

2 

− 

(∑ n 

i=1 µ i 

∑ n 

i=1 

1 

σi 

2 

1 

σi 

2 

) 2 

(4) 

liefert 

n∏ 

f σi ,µ i 

(t) = 

i=1 

1 

(2π) n 2 

∏ n 

i=1 σ i 

exp 

c 

2 

1 

P n 

i=1 1 

σ 2 i 

· e − (t−µ)2 

2σ 2 (5) 

Korrekturterm c liefert nur einen konstanten Faktor.

Joint Space und Task Space 

Elegantere Bewegung durch Kombination von Joint Space und Task 

Space. Siehe [Buss, 2009, Siciliano and Khatib, 2008]. 

Dynamic Time Warping 

3.25 

3.2 

3.15 

demo 1 

demo 2 

Dynamic Time Warping - Test Data 

3.1 

3.05 

3 

2.95 

2.9 

2.85 

0 50 100 150 200 250 300 350 400 

Zwei zeitversetzte und verzerrte Trajektorien. 

3.25 

3.2 

3.15 

demo 1 

demo 2 

Dynamic Time Warping - step size condition 2 

3.1 

3.05 

3 

2.95 

2.9 

2.85 

0 50 100 150 200 250 300 350

Der DTW-Algorithmus, Literatur 

Müller, M. (2007). Information Retrieval for Music and 

Motion. Springer-Verlag Berlin Heidelberg 

Posenauer, H. (2012). Robot learning from demonstration by 

averaging trajectories. Bachelorarbeit, Hochschule 


Der DTW-Algorithmus 

Gesucht: Angleichung von zwei diskreten Trajektorien T a and T b . 

1-dimensionale Werte x ∈ R 

T a = {x a 1, x a 2, ..., x a m} 

T b = {x b 1, x b 2, ..., x b n}

Die Abstandsmatrix d 

Abstandsmaß d(x a i, x b j) für i ∈ {1, ..., m} und j ∈ {1, ..., n}. 

Abstand der ersten Ableitungen berechnen!? 

m × n Abstandsmatrix: 

d i,j = d(x a i, x b j) = ∣ ∣ẋ a 

i − ẋ b ∣ 

j 

Die Abstandsmatrix d 

Links: Abstandsmatrix d mit Warping-Pfad p ∗ in Gelb, Rechts: akkumulierte 

Abstandsmatrix D mit Pfad .

Der Warping-Pfad p 

Ein Warping-Pfad p = {p 1 , p 2 , ..., p end } ist ein Pfad durch die Matrix 

D bestehend aus Indexpaaren: 

p i = (a i , b i ) mit a i ∈ {1 . . . m}, b i ∈ {1 . . . n} 

1 Anfangs- und Endbedingungen: 

2 Monotoniebedingung: 

p 1 = (1, 1), p end = (m, n) 

a i ≤ a i+1 ∧ b i ≤ b i+1 for i ∈ {1, ..., end − 1} 

3 Schrittweitenbedingung: 

p i+1 − p i ∈ {(1, 0), (0, 1), (1, 1)} for i ∈ {1, ..., end − 1} 

Der Warping-Pfad p 

Pfadlänge ˆd(p) = 

∑end 

i=1 

Optimaler Pfad p ∗ in der Menge P aller Pfade. 

d pi 

p ∗ = argmin(ˆd(p)) 

p∈P 

Naiver Algorithmus: Längen aller Pfade vergleichen. 

Falls diagonale Schritte verboten sind, 

Pfadlänge = n + m − 1, also Rechenzeit ≈ (m + n − 1) · q

Zahl der Pfade 

Linkes Bild: Zahl der Pfade zu einem Punkt. Rechtes Bilde: Pascal’sches 

Dreieck. 


q = N p (n, m) = 

( ) m + n − 2 

n − 1 

= 

( ) m + n − 2 

m − 1 

N p (m + 1, n + 1) 

N p (m, n) 

= 

= 

( m+n 

) 

n 

( m+n−2 

n−1 

) = 

(m + n − 1)(m + n) 

nm 

= m2 + n 2 + 2mn − m − n 

mn 

(m + n)!(m − 1)!(n − 1)! 

(m + n − 2)! · n! · m! 

= m n + n m + 2 − 1 m − 1 n


n, m → ∞: 

N p (m + 1, n + 1) 

N p (m, n) 

≈ m n + n m + 2 

m = n: 

N p (n + 1, n + 1) 

N p (n, n) 

Mit diagonaolen Pfaden: 

N p (n, n) = ω((m + n − 1) · 4 n ). 

≈ 4 

N p (n, n) = Θ(4 n ). 

Akkumulierte Abstandsmatrix D 

D ˆm,1 = 

ˆm∑ 

i=1 

d i,1 ˆm ∈ {1, ..., m} 

D 1,ˆn = 

ˆn∑ 

j=1 

d 1,j ˆn ∈ {1, ..., n} 

D ˆm,ˆn = min{D ˆm−1,ˆn−1 , D ˆm,ˆn−1 , D ˆm−1,ˆn } + d ˆm,ˆn 

für ˆm ∈ {1, ..., m} ∧ ˆn ∈ {1, ..., n}

Optimaler Pfad 

Start in D m,n . 

Nachbarpunkte: 

{D ˆm−1,ˆn−1 , D ˆm−1,ˆn , D ˆm,ˆn−1 } 

Wiederhole bis D 1,1 erreicht: 

Falls Rand erreicht, folge dem Rand bis D 1,1 . 

Andernfalls wähle den Nachbarn mit minimalem Wert D. 

————————————— 

Aufwand durch Berechnung von D bestimmt 

Rechenzeit: O(n · m). 

Naiver Algorithmus: O(4 n ). 

Dynamische Programmierung spart viel Rechenzeit. 

Die Abstandsmatrix D 

Links: Abstandsmatrix D mit Warping-Pfad p ∗ in Gelb, Rechts: akkumulierte 

Abstandsmatrix D mit Pfad .

Ergebnisse 

3.25 

3.2 

demo 1 

demo 2 


3.15 

3.1 

3.05 

3 

2.95 

2.9 

2.85 

0 50 100 150 200 250 300 

Klassisches DTW kann horizontale Linien erzeugen. 

3.25 

3.2 

3.15 

demo 1 

demo 2 


3.1 

3.05 

3 

2.95 

2.9 

2.85 

0 50 100 150 200 250 300 350 

Optimierung von DTW 

Mit Längenbeschränkung horizontaler und vertikaler Pfadabschnitte. 

Andere Schrittweitenbeschränkungen: 

Sakoe-Chiba-Band or Itakura-Parallelogramm.) 

Kann auch auf n-dimensionale Daten verallgemeinert werden. 

Heuristiken zur Beschleunigung. 

Siehe auch Vorlesung Theoretische Informatik [Ertel, 2012].

Praktische Ergebnisse 

Lernen durch Demonstration, Zukunft 

Der Roboter: 

1 beobachtet den Trainer 

2 lernt 

3 macht nach

Lernen auf höherer Ebene (High-Level Learning) 

Roboter lernt komplexe Aktionssequenzen oder längerfristige Ziele 

Beispiele: Tisch decken, Objekte nach Form oder Farbe sortieren 

High-Level Learning 

Übersicht: 

Grundlegendes beim High-Level Learning 

Lösen von Planungsaufgaben höherer Ebene 

Lernen von Planungszielen durch menschliche Demonstration

High-Level Learning: Was ist grundlegend? 

Kaelbling et al., AAAI 2001: 

”It is hard to imagine a truly intelligent agent that does not conceive 

of the world in terms of objects and their properties and relations to 

other objects”. 

→ The green box has to be on the small table. 

High-Level Learning: Was ist grundlegend? 

Auf höherer Abstraktionsebene grundlegend sind: 

Objekte 

Objekteigenschaften 

Beziehungen zwischen Objekten 

→ Prädikatenlogik als Wissensrepräsentation!

Prädikatenlogik als Wissensrepräsentation 

Objekte: Konstanten und Variablen, z.B. A oder X 

Objekteigenschaften: Ein - oder zweistellige Prädikate, z.B. 

RED(X ) oder HAS COLOR(X , RED) 

Objektbeziehungen: Relationen (mehrstellige Prädikate), z.B. 

IN(X , Y ) oder ON(X , TABLE) 

Exkurs: High-Level Planungsaufgaben 

Gegeben: Welt mit Fakten und Regeln 

Gegeben: Problem mit Fakten und Ziel 

Gesucht: Plan zur Erreichung des Ziels 

→ Ein Plan ist eine zum Ziel führende Aktionsfolge

Klassische Planungsaufgabe: Blocks-World 

Notwendige Aktionsfolge (Versetzen von Blöcken) als Plan gesucht 

D 

1 

C 

2 

3 

A 

B 

4 

A 

B 

C 

1 

D 

2 

3 

4 

Startzustand 

Zielzustand 

High-Level Planungssprachen: STRIPS 

STRIPS (Fikes and Nilsson, 1971): 

Stanford Research Institute Problem Solver 

Basiert auf Prädikatenlogik 

Zielt auf die Bedürfnisse der Robotik (”Shakey”) 

Roboter ”Shakey”


Hauptbestandteile eines STRIPS-Problems: 

Weltbeschreibung 

Objekte, Eigenschaften und Beziehungen 

Zulässige Aktionen (Vorbedingungen, Effekte) 

Startzustand 

Zielzustand 


Analogie zu Theorembeweisern: 

Weltbeschreibung 

Objekte, Eigenschaften und Beziehungen → Prädikate 

Zulässige Aktionen (Vorbedingungen, Effekte) → Inferenzregeln 

Startzustand → Wissenbasis 

Zielzustand → Anfrage

High-Level Planungssprachen: ADL 

ADL (Pednault, 1989) als Erweiterung zu STRIPS: 

Action Description Language 

Bedingte Effekte 

Quantoren für Variablen 

High-Level Planungssprachen: PDDL 

PDDL (McDermott, 1998): 

Planning Domain Definition Language 

Basiert auf STRIPS und ADL 

Entstanden im Rahmen der International Planning Competition 

(Konferenzen AIPS bzw. ICAPS) 

Einheitliche, einfache Sprache 

→ Mehrere leistungsfähige PDDL-Planer frei verfügbar!

Planungsaufgaben mit PDDL 

Eine PDDL-Planungsaufgabe besteht aus zwei Dateien: 

Domain-Datei 

Deklarierung von Typen, Konstanten und Prädikaten 

Mögliche Aktionen (mit Parametern, Vorbedingungen und 

Effekten) 

Problem-Datei 

Startzustand 

Zielzustand 

→ Lösung mit PDDL-Planer (z.B. LAMA oder Metric-FF ) 

PDDL-Syntax 

Struktur einer PDDL-Domain-Datei 

(define (domain ...) 

(:requirements ...) 

(:constants ...) 

(:predicates ...) 

; Name der Domain (Welt) 

; Sprachkern (relativ unwichtig) 

; Konstanten (z.B. Farben, Objekte) 

; Prädikate (Eigenschaften, Beziehungen) 

) 

(:action ... 

; Aktion (Name) 

:parameters (...) ; Parameter (Objekte) 

:precondition (...) ; Vorbedingungen zur Ausführbarkeit 

:effect (...) ; Zustandsänderung nach Ausführung 

)

PDDL-Syntax 

Struktur einer PDDL-Problem-Datei 

(define (problem ...) 

(:domain ...) 

(:objects ...) 

(:init ...) 

; Name des Problems 

; Name der zugehörigen Welt (Domain) 

; Objekte 

; Startzustand 

) 

(:goal ...) 

; Zielzustand 

PDDL-Beispiel: Blocks-World-Domain 

Name und Requirements 

(define (domain blocksworld) 

(:requirements :strips :adl) 

; funktioniert bei den meisten 

; Planern auch ohne Angabe


Konstanten 

(:constants 

BLOCK_A 

BLOCK_B 

BLOCK_C 

BLOCK_D 

; die 4 Blöcke 

) 

POS_1 

POS_2 

POS_3 

POS_4 

; die 4 Positionen auf dem Tisch 


Prädikate 

(:predicates 

(ON ?X ?Y) ; Beziehung "X steht auf Y" 

(BLOCK ?X) ; Eigenschaft "X ist ein Block" 

(FREE ?X) ; Eigenschaft "X ist frei" (um einen Block 

; darauf zu stellen) 

)


Aktion ”PUT” 

(:action PUT 

:parameters 

(?X ?Y ?Z) ; "stelle X von Y auf Z" 

:precondition 

(AND (BLOCK ?X) 

(ON ?X ?Y) 

(FREE ?X) (FREE ?Z) 

(NOT (= ?X ?Y)) (NOT (= ?X ?Z)) (NOT (= ?Y ?Z)) 

) 

:effect 

(AND (ON ?X ?Z) 

(FREE ?Y) 

(NOT (ON ?X ?Y)) 

(NOT (FREE ?Z)) 

) 

) 

) ; PDDL-Domain Ende 

PDDL-Beispiel: Blocks-World-Problem 

Name und Domain 

(define (problem stackABC) 

(:domain blocksworld)


Startzustand 

(:init 

(BLOCK BLOCK_A) 

(BLOCK BLOCK_B) 

(BLOCK BLOCK_C) 

(BLOCK BLOCK_D) 

(ON BLOCK_D POS_1) 

(ON BLOCK_C POS_2) 

(ON BLOCK_B POS_4) 

(ON BLOCK_A BLOCK_B) 

; was alles Blöcke sind 

; welcher Block steht wo 

) 

(FREE BLOCK_D) 

(FREE BLOCK_C) 

(FREE BLOCK_A) 

(FREE POS_3) 

; wo kann etwas drauf gestellt werden 

D 

1 

C 

2 

3 

A 

B 

4 

A 

B 

C 

1 

D 

2 

3 

4 

Startzustand 

Zielzustand 


Zielzustand 

(:goal ; A auf B auf C auf Pos. 1 

(AND (ON BLOCK_A BLOCK_B) 

(ON BLOCK_B BLOCK_C) 

(ON BLOCK_C POS_1) 

) 

) 

) ; PDDL-Problem Ende 

D 

1 

C 

2 

3 

A 

B 

4 

A 

B 

C 

1 

D 

2 

3 

4 

Startzustand 

Zielzustand

PDDL-Beispiel: Planerstellung mit Metric-FF 

shell> metricff -o domain.pddl -f problem.pddl 

... 

ff: found legal plan as follows 

step 

0: PUT BLOCK_D POS_1 POS_3 

1: PUT BLOCK_C POS_2 POS_1 

2: PUT BLOCK_A BLOCK_B POS_2 

3: PUT BLOCK_B POS_4 BLOCK_C 

4: PUT BLOCK_A POS_2 BLOCK_B 

time spent: 

0.00 seconds searching, evaluating 43 states, ... 

0.00 seconds total time 

Lösung des Frame-Problems in PDDL 

Situationskalkül: 

Zustand der Welt wird modelliert durch Menge von Fakten 

Diese Menge kann verändert werden: 

Fakten können der Menge hinzugefügt werden 

Fakten können der Menge entnommen werden (mittels “NOT”) 

Beispiel: Aktion ”PUT” 

:effect 

(AND (ON ?X ?Z) 

(FREE ?Y) 

(NOT (ON ?X ?Y)) 

(NOT (FREE ?Z))

Lösung des Frame-Problems in PDDL 

Closed World Assumption: 

Was nicht angegeben ist, ist nicht wahr 

Nicht-Effekte von Aktionen müssen nicht definiert werden 

→ Logik ist nichtmonoton 

Beispiel: Pinguin Tweety und Rabe Abraxas. 

(RABE abraxas) 

(WHEN (RABE ?X) (VOGEL ?X)) 

(PINGUIN tweety) 

(WHEN (PINGUIN ?X) (VOGEL ?X)) 

(WHEN (AND (VOGEL ?X) (NOT (PINGUIN ?X))) (FLIEGEN ?X)) 

Nur mit der Closed World Assumption folgt: FLIEGEN(abraxas) 

Lösung des Frame-Problems in PDDL (formal) 

Ein Plan ist ein Paar 〈O,

PDDL-Beispiel: Existenzquantoren 

Verwendung bspw. in Vorbedingungen 

:precondition 

... 

(NOT (EXISTS (?V) (ON ?V ?X))) 

(NOT (EXISTS (?V) (ON ?V ?Z))) 

anstelle von 

:precondition 

... 

(FREE ?X) 

(FREE ?Z) 

→ Prädikat FREE() wird dann gar nicht benötigt 

PDDL-Beispiel: Funktionen 

Deklaration 

(:functions 

(CAPACITY ?X) 

(LOAD ?X) 

) 

Initialisierung der Funktionen im Starzustand 

(:init 

... 

(= (CAPACITY CONTAINER_A) 3) ; Kapazität des Containers 

(= (LOAD CONTAINER_A) 0) ; Beladung des Containers 

) 

Funktionen haben keinen klassischen Funktionsrumpf 

Syntax von der Sprache LISP übernommen (KI-Sprache in USA)

PDDL-Beispiel: Funktionen 

Verwendung der Funktionen (und anderer Operatoren) in einer Aktion 

(:action PUT_IN_CONTAINER 

) 

:parameters (?X ?Y) 

; stelle X in Y 

:precondition 

... 

(CONTAINER ?Y) 

; Y muss ein Container sein 

(> (CAPACITY ?Y) (LOAD ?Y)) ; Kapazität noch über Beladung 

:effect 

... 

(INCREASE (LOAD ?Y) 1) ; Beladung um 1 erhöhen 

PDDL: Plan-Metrik 

Domain 

(:functions 

... 

(TOTALCOST) 

) 

Problem 

(:init 

... 

(= (TOTALCOST) 0) 

) 

... 

(:metric MINIMIZE (TOTALCOST)) 

→ Planer optimiert nun hinsichtlich minimaler Kosten

PDDL: Plan-Metrik 

Metrik in Aktionen 

(:action ROBOT_PUT 

... 

:effect 

... 

(INCREASE (TOTALCOST) 1) 

) 

(:action ROBOT_MOVE 

... 

:effect 

... 

(INCREASE (TOTALCOST) 5) 

) 

→ Aktionen können so unterschiedliche Kosten haben 

High-Level Lernen durch Demonstration 

Gemeinsamkeiten mit dem Low-Level Learning 

Es erfolgen mehrere Demonstrationen 

Lernen erfolgt über Erkennung von Gemeinsamkeiten in 

demonstrierten Aktionen 

Der gelernte Verhalten muss in neuen Situationen anwendbar sein 

Unterschiede zum Low-Level Learning 

Objektrelationales Lernen anstelle von Bewegungsmustern 

Gelerntes Wissen wird in symbolischer Form abgelegt

Beispiel: Tisch decken 

Ekvall and Kragic (2008), Idee: 

Lernphase: Lernen des Demonstrationsziels 

Reproduktion: Anwendung eines symbolischen Planers 

Lernen jedoch noch nicht gänzlich objektrelational 

→ Anwendung der Idee auf höherer Abstraktionsebene 

→ Es soll z.B. gelernt werden: on(cup, saucer) 

Erkennung des Demonstrationsziels 

Erkennung von Effekten von Aktionen 

Beziehungen entstehen am Ende von Aktionen: on(cup, saucer)

Key Frame Extraction 

Key frame extraction durch visuelle Beobachtung 

Key frame extraction durch kinesthetic teaching 

Symbol Grounding Problem 

10.230 5.784 12.333 

11.487 7.890 12.333 

12.788 9.122 12.900 

... 

? 

on(cup, saucer) 

Chella et al. (2006), Idee: 

Repräsentation der Demonstrationen in Conceptual Spaces 

Adaption der Idee im Sinne objektrelationaler Repräsentation

Conceptual Spaces: Beispiel (reduzierter) Farbraum 

green 

+ 

Saturation 

+ 

+ 

Color Real world concepts 

(convex observations regions) 

white + 

Hue 

→ Konzeptionelle Ähnlichkeit = inverse euklidische Distanz 

→ Überführung in Symbol durch Konzept 

Konzeptdefinition 

Concept 

+ 

Prototype 

→ Konzeptdefinition nach Prototyp und Maximalabstand

Räumliche Beziehungen (Relationen) als Konzepte 

z (distance) 

+ 

ON 

y (relative) 

x (relative) 

In der Mathematik ist eine n-stellige Relation eine Menge von 

n-Tupeln. 

Hier ist eine Relation eine konvexe Menge von Punkten 

(k-Tupeln) in einem k-dim. Unterraum des Conceptual Space. 

Definition von Konzepten (Relationen) 

Bisher (manuell): 

Überlegung zum Prototyp (Dimensionen, Position im Raum) 

Bestimmung eines subjektiv sinnvollen Maximalabstandes 

Harte Konzeptübergänge (ON oder ¬ON) 

In Zukunft: 

Lernen der Repräsentation durch Beispiele 

Prototyp kann das Mittel aus den Beispielen sein 

Maximalabstand kann die zweifache Standardabweichung sein 

Unnötige Dimensionen können mittels PCA gefunden werden 

Anhand der Verteilung der Beispiele können Konzeptübergänge 

probabilistisch sein (Vermeidung unnatürlicher, harter Übergänge)

Der Demonstration Space und Key Events 

Der Demonstration Space und Key Events


Der Demonstration Space und Key Events



Spatial 

relations 

Active object 

properties 

Passive 

object 

properties


Spatial 

relations 

+ 

Active object 

properties 

Passive 

object 

properties 


Spatial 

relations 

+ 

Active object 

properties 

Passive 

object 

properties


Spatial 

relations 

+ 

Active object 

properties 

Passive 

object 

properties 


Spatial 

relations 

+ 

+ 

+ 

Active object 

properties 

Passive 

object 

properties


Spatial 

relations 

+ 

+ 

+ 

Active object 

properties 

Passive 

object 

properties 


Spatial 

relations 

+ 

+ 

+ 

Active object 

properties 

Passive 

object 

properties


Spatial 

relations 

+ 

+ 

+ 

Active object 

properties 

+ 

+ 

+ 

Passive 

object 

properties 


Spatial 

relations 

+ + 

+ 

+ 

+ 

+ 

Active object 

properties 

Passive 

object 

properties


Conceptual 

similarity 

Spatial 

relations 

+ + 

+ 

+ 

+ 

+ 

Active object 

properties 

Passive 

object 

properties 

Suche nach Clustern in Unterräumen 

Bisher: 

Hierarchisches Clustern, da Anzahl Cluster unbekannt 

Brute-Force-Suche über alle Eigenschaftsunterräume 

Räumliche Dimensionen werden bei jeder Suche alle einbezogen 

Hohe Berechnungskomplexität: Bei n Objekteigenschaften müssen 

2 2n Projektionen ausprobiert werden 

Bei m Knoxeln Komplexität bei wiederholtem hierarchischen 

Clustern dann O(2 2n m 3 ) 

In der Praxis bisher gut handhabbar (in der Regel wenige Knoxel) 

In Zukunft: 

Data Mining Techniken des Subspace Clustering 

Probieren von Verfahren, z.B. ”inverse PCA”

Formalisierung erkannter Demonstrationsziele 

Jeder gefundene Cluster wird als Demonstrationsziel formuliert: 

∀x ∃y P a (x) ⇒ P p (y) ∧ R(x, y) 

P a (x): Eigenschaften des aktiven Objektes 

P p (x): Eigenschaften des passiven Objektes 

R(x, y): Beziehung (Relation) zwischen den beiden Objekten 

Reproduktionsphase in neuen Situationen: 

Formulierung der Demonstrationsziele in PDDL 

Erstellung eines Planes zur Realisierung der Ziele 

Verwendung des Demonstration Space 

Erkennung konzeptioneller Ähnlichkeiten (1) 

Symbol Grounding der objektrelationalen Repräsentation (2)

Experimente in virtueller Umgebung 

OpenRAVE 

Metric-FF (PDDL) 

Experimente in virtueller Umgebung 

Roboter lernt, Objekte in Paletten zu sortieren 

Lernen 

Reproduktion

Support Vektor Maschinen 

Literatur: 

Bishop, C. (2006). Pattern recognition and machine 

learning. Springer New York 

Schölkopf, S. and Smola, A. (2002). Learning with Kernels: 

Support Vector Machines, Regularization, Optimization, 

and Beyond. MIT Press 

Videos, Skripten: 

Vorlesung von Andrew Ng: Machine Learning, Univ. Stanford 

http://cs229.stanford.edu/ 

Videos dazu (Nr. 7,8) auf http: 

//www.youtube.com/view_play_list?p=A89DCFA6ADACE599 

Videolecture v. Colin Campbell 

http://videolectures.net/aop07_campbell_svm/ 

Support Vektor Maschinen (SVM) 

Vorteile von linearen Modellen: 

schnelles Lernen 

Konvergenzgarantie 

geringe Gefahr für Overfitting 

Vorteile von nichtlinearen Modellen: 

komplexe Funktionen können gelernt werden 

Nachteile von nichtlinearen Modellen: 

lokale Minima, Konvergenzprobleme und Overfitting 

Lösung: Support-Vektor-Maschinen

Das Perzeptron 

y(x) = sign(w T x) 

M + , M − : Menge der positiven (negativen) Trainingsmuster 

PerzeptronLernen(M + , M − ) 

w = 0 

Repeat 

For all x ∈ M + 

If w T x ≤ 0 Then w = w + x 

For all x ∈ M − 

If w T x > 0 Then w = w − x 

Until alle x ∈ M + ∪ M − werden korrekt klassifiziert 


{ 1 if xn ∈ M 

Target-Wert, Label t n = 

+ 

−1 if x n ∈ M − 

Trainingsmuster x n wird α n mal verwendet. 

N = Anzahl der Trainignsmuster. 

N∑ 

w = α n t n x n 

n=1 

Der Kerneltrick: 

( N 

) ( 

∑ 

N 

) 

∑ 

y(x) = sign(w T x) = sign α n t n x T n x = sign α n t n k(x n , x) 

mit der Kernelfunktion k(x, z) = x T z. 

n=1 

n=1


w = 

N∑ 

α n t n x n 

n=1 

If t n w T x n ≤ 0 Then α n = α n + 1 

sign(t n w T x n ) = sign 

( 

t n 

∑ N 

m=1 

α m t m x T mx n 

) 

= sign 

( 

t n 

∑ N 

m=1 

α m t m k(x m , x n ) 

) 


PerzeptronLernen(M + , M − ) 

α 1 = α 2 = . . . = α n = 0 

Repeat 

For all x n ∈ M + ∪ M − 

If t n 

N 

∑ 

m=1 

α m t m k(x m , x n ) ≤ 0 Then α n = α n + 1; 

Until alle x ∈ M + ∪ M − werden korrekt klassifiziert 

( N 

) 

∑ 

Gewichtsänderung, wenn t n α m t m k(x m , x n ) ≤ 0. 

m=1

Kernel und Gram-Matrix 

Kernelfunktion k(x, z) = x T z. 

Skalarprodukt 

Ähnlichkeit der Vektoren x und z 

Datenpunkte definieren die Gram-Matrix K mit 

K mn = k(x m , x n ) 

Die Gram-Matrix ist symmetrisch 

Nachteil des Perzeptrons 

− 

− 

− − 

− 

− 

− 

− 

− 

− 

− 

− 

+ + 

+ 

+ 

+ + + 

+ + + 

− 

− 

− 

− 

x 1 

x 2 

+ + 

+ + 

+ 

+ 

+ + + 

+ 

− 

− 

− 

− 

Typischerweise unendlich viele trennende Geraden! 

Trennende Gerade ist nicht optimal !? 

Gesucht: Maximal trennende Gerade

Support Vektor Maschinen 

Nichtlineare Transformation der Daten mit der Eigenschaft, dass 

die transformierten Daten linear separabel sind. 

Die Transformation wird als Kernel bezeichnet. 

Im transformierten Raum werden die Support-Vektoren bestimmt. 

Lineare Trennung der Klassen 

Es ist immer möglich, durch Transformation des Vektorraumes die 

Klassen linear separabel zu machen, sofern die Daten keine 

Widersprüche enthalten. 1 

z.B. durch Einführung einer neuen Dimension x n+1 : 

x n+1 = 

{ 1 if x ∈ Klasse 1 

0 if x ∈ Klasse 0. 

+ 

+ 

+ 

x 2 

− − 

− + − 

− 

+ + − 

+ − 

+ 

− 

+ + + 

So einfach geht es aber nicht. Warum? 

− 

+ 

x 1 

x − 

3 

x 

− 2 

+ + + 

+ + 

+ 

1 Ein Punkt ist widersprüchlich, wenn er zu beiden Klassen gehört. 

− 

− 

+ 

+ 

+ 

− 

− 

− 

+ 

− 

− 

+ 

x 1

Lineare Klassifikation mit maximalem Rand 

y(x) = w T φ(x) + b (6) 

Feature-Funktion φ : R D → R M transformiert x nach φ(x). 

Trainingsdaten (x 1 , t 1 ), . . . (x N , t N ). 

Annahme: Trainingsdaten sind linear separabel, d.h. es gibt eine 

Gerade y(x), so dass für alle Punkte x n gilt: 

t n = 1 ⇒ y(x n ) > 0 

t n = −1 ⇒ y(x n ) < 0 

|y(x)|/‖w‖ = Abstand eines Punktes x von einer Hyperebene 

y(x) = 0. 

Korrekte Klassifikation wenn t n y(x n ) > 0. 

Also: 

t n y(x n ) 

‖w‖ 

= t n(w T φ(x n ) + b) 

‖w‖ 

Lineare Klassifikation mit maximalem Rand 2 

y = 1 

y = 0 

y = −1 

y = −1 

y = 0 

y = 1 

margin 

Gesucht ist die Gerade y(x) = w T φ(x) + b mit 

( ) 

1 

(w, b) = argmax 

w,b ‖w‖ min[t 

n(w T φ(x n ) + b)] 

n 

2 Bilder aus [Bishop, 2006].

Transformation des Problems 

Ebenengleichung ist invariant bezüglich Skalierung: 

w → κw, b → κb. 

Setze also 

t n (w T φ(x i ) + b) = 1 

für den nächsten Punkt x i zur Ebene. Also: Nebenbedingungen 

t n (w T φ(x n ) + b) ≥ 1 für n = 1, . . . , N. 

Zu maximieren ist nun 1/‖w‖. 

Neues Optimierungsproblem: 

argmin 

w,b 

1 

2 ‖w‖2 

Quadratische Programmierung 

Zu minimieren ist die quadratische Funktion 

unter den Nebenbedingungen: 

argmin 

w,b 

1 

2 ‖w‖2 

t n (w T φ(x n ) + b) ≥ 1 für n = 1, . . . , N. 

Konvexe Funktion ‖w‖ 2 . 

Lokales Optimum ist gleich globalem Optimum, falls die 

Nebenbedingungen linear sind.

Lagrange-Funktion 

L(w, b, a) = 1 2 ‖w‖2 − 

mit Lagrange-Parametern a n ≥ 0. 

liefert 

w = 

N∑ 

a n [t n (w T φ(x n ) + b) − 1] (7) 

n=1 

∂L 

∂w = 0 und ∂L 

∂b = 0 

N∑ 

a n t n φ(x n ) 

n=1 

Einsetzen in Gl. 7 (Kernel Trick): 

und 

N∑ 

a n t n = 0 (8) 

n=1 

˜L(a) = 

N∑ 

a n − 1 2 

n=1 

N∑ N∑ 

a n a m t n t m φ T (x n )φ(x m ) (9) 

n=1 m=1 

Duale Repräsentation I 

Zu maximieren ist nun 

N∑ 

˜L(a) = a n − 1 2 

= 

n=1 

N∑ 

a n − 1 2 

n=1 

N∑ N∑ 

a n a m t n t m φ T (x n )φ(x m ) (10) 

n=1 

N∑ 

m=1 

n=1 m=1 

N∑ 

a n a m t n t m k(x n , x m ) (11) 

mit k(x, x ′ ) = φ T (x)φ(x ′ ) 

unter den Randbedingungen 

a n ≥ 0 für n = 1, . . . , N. 

und 

N∑ 

a n t n = 0 

n=1

Duale Repräsentation II 

Einsetzen von (8) in (6) ergibt (vgl. Perzeptron) den Klassifikator: 

y(x) = 

( 

∑ N 

) 

a n t n k(x n , x) + b (12) 

n=1 

Karush-Kuhn-Tucker Bedingungen für Maximum unter 

Ungleichungsnebenbedingungen: 

a n ≥ 0 

t n y(x n ) − 1 ≥ 0 

a n (t n y(x n ) − 1) = 0 

Supportvektoren 3 

Für alle Punkte gilt a n = 0 oder t n y(x n ) = 1 

Punkte mit a n = 0 kommen in (12) nicht vor. 

Alle anderen Punkte (Supportvektoren) mit t n y(x n ) = 1 liegen 

auf einer der beiden Rand-Ebenen. 

y = −1 

y = 0 

y = 1 

Nach dem Training können alle Datenpunkte ausser den 

Supportvektoren gelöscht werden 

3 Bild aus [Bishop, 2006].

Supportvektoren 

Neue einfachere Formel für den Klassifikator: 

( ) 

∑ 

y(x) = a n t n k(x n , x) 

n∈S 

+ b 

mit S = Menge der Supportvektoren. 

Was fehlt noch? Berechnung von b: 

Auflösung von t n y(x n ) = 1 nach b und Mittelung über alle 

Supportvektoren ergibt: 

( 

b = 1 t n − ∑ ) 

a n t n k(x n , x m ) 

|S| 

n∈S 

Beispiel mit Gauß’schem Kernel 4 

Datenpunkte, Supportvektoren und Höhenlinien von y(x). 


Lösung des quadratischen Optimierungsproblems 

Lagrangefunktion ist konvex und hat ein globales Minimum. 

Lokale Suchstrategien führen zum globalem Minimum. 

Schneller Algorithmus gesucht. 

Idee: Koordinatenabstieg 

5 

4 

3 

2 

1 

0 

-1 

-2 

-3 

-2 0 2 4 6 

Koordinatenabstieg 

gesucht: Minimum der Funktion f (a 1 , . . . a N ) 

Koordinatenabstieg(f,a) 

Repeat 

For i = 1, . . . N 

a i = argminâi f (a 1 , . . . , a i−1 , â i , a i+1 , . . . a N ) 

Until Konvergenz 

Wegen ∑ N 

n=1 a nt n = 0 nicht anwendbar! 

Denn a 1 = − 1 t 1 

N 

∑ 

n=2 

a n t n = const. 

Daher SMO (sequential minimal optimization): 

Variiere immer 2 Parameter: a i , a j . 

Heuristische Wahl von a i , a j in jedem Schritt.

Überlappende Klassenverteilungen 

Wollen wir das? 

Überlappende Klassenverteilungen 5 

bisher: Minimum von ‖w‖ unter Nebenbedingungen 

nun: ??? 

Minimum von 

C 

N∑ 

ξ n + 1 2 ‖w‖2 

n=1 

mit Slack-Variablen ξ n : 

Maß für Abstand von Punkt x n zur 

Randfläche. 

ξ n = 0 für Punkte, die auf oder innerhalb 

der korrekten Randfläche liegen. 

ξ n = |t n − y(x n )| für andere Punkte. 

5 Bild aus [Bishop, 2006]. 

ξ < 1 

ξ = 0 

ξ > 1 

y = −1 

y = 0 

y = 1 

ξ = 0

Die Slack-Variablen ξ n 

6 

Nebenbedingungen bisher: t n y(x n ) ≥ 1 

Nebenbedingungen nun: t n y(x n ) ≥ 1 − ξ n 

y = −1 

y = 0 

ξ > 1 y = 1 

ξ < 1 

ξ = 0 

6 Bild aus [Bishop, 2006]. 

Lagrange-Funktion 

Minimum gesucht für 

ξ = 0 

L(w, b, ξ, a, mu) = 1 2 ‖w‖2 − 

N∑ 

a n [t n y(x n ) − 1 + ξ n ] − 

n=1 

N∑ 

µ n ξ n 

n=1 

mit Lagrange-Parametern a n ≥ 0 und µ n ≥ 0 und zugehörigen 

Karush-Kuhn-Tucker Bedingungen: 

a n ≥ 0 

t n y(x n ) − 1 + ξ n ≥ 0 

a n (t n y(x n ) − 1 + ξ n ) = 0 

µ n ≥ 0 

ξ n ≥ 0 

µ n ξ n = 0

Duale Repräsentation 

ähnlicher Rechenweg wie oben liefert 

˜L(a) = 

N∑ 

a n − 1 2 

n=1 

N∑ N∑ 

a n a m t n t m k(x n , x m ) 

n=1 m=1 

unter den Randbedingungen 

N∑ 

0 ≤ a n ≤ C und a n t n = 0 n = 1, . . . , N. 

n=1 

Klassifikation wieder mit 

( ) 

∑ 

y(x) = a n t n k(x n , x) + b. 

n∈S 

Nur die Supportvektoren sind beteiligt! 

Beispiel 7 −2 0 2 

2 

0 

−2 

Daten mit Klassentrennlinie und Support-Vektoren 


Kernel-Funktionen 

Wir hatten definiert: k(x, x ′ ) = φ T (x)φ(x ′ ) 

Das Skalarprodukt einer Featurefunktion φ(x) definiert einen 

Kernel! 

Umkehrung??? 

Zur Erinnerung: 

Ein Vektorraum über einem Körper (K, +, ·) ist eine additive 

kommutative Gruppe (V , +) mit einer skalaren Multiplikation. 

Ein Banachraum ist ein vollständiger normierter Vektorraum. 

R n mit der euklidischen Norm ist ein Banachraum. 

R R mit welcher Norm ist ein Banachraum? 

Ein Banachraum mit Skalarprodukt heißt Hilbertraum. 

Vektoren und Funktionen 

v T = (1.1, 4.1, 3.8, 1.5, 1.1, 1.2, 1.4, 2.2, 3.1, 3.2, 3.0, 2.3, 1.2) 

1 2 3 4 5 6 7 8 9 10 11 12 13 

Vektor v ∈ R 13 und Funktion f : [1, 13] → R, bzw. f ∈ R [1,13] .

Vektoren und Funktionen 

Vektoren 

Funktionen 

‖x‖ = √ ∑i x 2 

i 

‖f (x)‖ L2 = 

√ ∫ ∞ 

−∞ f 2 (x)dx 

x T y = 〈x, y〉 = ∑ i x iy i 

〈f , g〉 = ∫ ∞ 

−∞ f (x)g(x)dx 

L 2 = Raum der Funktionen mit der L 2 -Norm und Skalarprodukt ist ein 

Hilbertraum. 

Die Kernelmatrix (Gram-Matrix) 

Sei (x 1 , . . . , x m ) gegeben: 

K ij = k(x i , x j ) 

Für beliebigen Vektor z gilt 

z T Kz = ∑ ∑ 

z i K ij z j = ∑ ∑ 

z i φ T (x i )φ(x j )z j 

i j 

i j 

= ∑ ∑ ∑ 

z i φ k (x i )φ k (x j )z j = ∑ ∑ ∑ 

z i φ k (x i )φ k (x j )z j 

i j k 

k i j 

= ∑ ∑ 

(z i φ k (x i )) 2 ≥ 0. 

k i 

K ist positiv semidefinit.

Kernelfunktion versus Skalarprodukt 

Theorem (Mercer’s Theorem) 

Sei k : R M × R M → R gegeben. Dann sind die beiden folgenden 

Eigenschaften äquivalent: 

1 Für jede endliche Datenmenge (x 1 , . . . , x m ) ist die dadurch 

definierte Kernelmatrix K symmetrisch und positiv definit. 

2 Es gibt eine Feature-Funktion φ mit deren Hilfe sich die 

Kernelfunktion k an zwei Punkten x und x ′ als Skalarprodukt 

schreiben läßt: 

k(x, x ′ ) = φ T (x)φ(x ′ ) 

Die Richtung “2 ⇒ 1” wurde soeben gezeigt. 

Feature-Funktion φ kann in einen unendlich dimensionalen Raum 

abbilden. 

Polynomielle Kernels 

k(x, z) = (x T z) 2 ist ein gültiger 

Kernel, denn 

(x T z) 2 = 

= ∑ i 

( ∑ 

i 

= ∑ i,j 

x i z i 

) 2 

∑ 

x i z i x j z j 

j 

x i x j z i z j 

= φ T (x)φ(z) 

mit φ(x) = 

⎛ 

⎜ 

⎝ 

⎞ 

x 1 x 1 

. 

x 1 x n 

x 2 x 1 

. 

x 2 x n 

. 

x n x 1 

⎟ 

. ⎠ 

x n x n 

k(x, z) = (x T z) M ist ein gültiger Kernel für M ∈ N.

Der Gauß’sche Kernel 

also 

k(x, z) = exp 

) (− ‖x−z‖2 

2σ 2 

ist ein gültiger Kernel. 

‖x − z‖ 2 = x T x − 2x T z + z T z 

k(x, z) = exp(−x T x/2σ 2 ) · exp(x T z/σ 2 ) · exp(−z T z/2σ 2 ) 

mit 

exp(x T z) = 

∞∑ 

n=0 

(x T z) n 

n! 

∑ ∞ 

= 8 φ T n(x)φ n (z) = ψ T (x)ψ(z) 

n=0 

ψ T (x) = (φ T 0(x), φ T 1(x), . . .) 

also ist exp(x T z) ein Kernel. 

Da für beliebiges f auch f (x)k(x, z)f (z) ein Kernel ist, ist also k(x, z) 

ein Kernel. 

8 Jede Potenz eines Kernels ist ein Kernel. 

Übungen 

Formulieren Sie die Pseudoinversenmethode zur Lösung 

überbestimmter Gleichungssysteme mit Hilfe eines Kernels. 

Zeigen Sie, dass k(x, z) = (x T , z + c) 2 ist ein gültiger Kernel ist 

und bestimmen Sie die zugehörige Feature-Funktion φ. 

Zeigen Sie, dass die Summe von zwei Kernels ein Kernel ist. 

Zeigen Sie, dass das Produkt von zwei Kernels ein Kernel ist. 

Zeigen Sie, dass f (x)k(x, z)f (z) ein Kernel ist, wenn k(x, z) ein 

Kernel ist.

Intelligente Objekterkennung 

Übersicht 

Sensorik 

Daten und Features 

Objektmodelle 

Objekttraining 

Objektklassifikation 

Semantisches Wissen 

Intelligente Objekterkennung: Einführung 

Einführung 

Warum ist Objekterkennung wichtig? 

Was sind Objekte? 

Wie kann man ein Objekt beschreiben

Sensorik: Übersicht 

1D Sensoren 

Klassische Lasersysteme 

2D Sensoren 

RGB/IR Kameras 

3D Sensoren 

Bewegliche Lasersysteme 

Stereokameras 

Time of Fligt Sensoren 

Musterbasierte 3D Sensoren 

Sensorik: 1D/3D Laser

Sensorik: 1D/3D Laser 

Vorteile: 

Schnell 

Präzise 

Relativ Robust 

Nachteile: 

3D Szenenerfassung ist nur mit beweglichen Teilen möglich 

Probleme mit durchsichtigen Materialien 

Sensorik: 2D Kamera(RGB/IR)

Sensorik: 2D Kamera(RGB/IR) 

Vorteile: 

Hohe Auflösung 

Farbinformationen 

Nachteile: 

Keine Tiefeninformationen 

Sensorik: 3D Stereokamera

Sensorik: 3D Stereokamera 

C1/C2 = Kamera1/2, b=Kameraabstand, f=Brennweite 

IP=Bildprojektionsfläche, D=Gesuchte Distanz, P1,P2,P = Bildpunkt 

Sensorik: 3D Stereokamera 

Vorteile: 

Unempflindlich gegen starke Lichtquellen 

Kann mit transparenten Materialien umgehen 

Nachteile: 

Benötigt ausreichende Beleuchtung 

Benötigt Texturfeatures 

Langsam bei hoher Auflösung

Sensorik: 3D Time of Flight 

Sensorik: 3D Time of Flight


Vorteile: 

Hohe Geschwindigket 

3D Punktwolke ohne bewegliche Teile 

Nachteile: 

Sehr teuer 

Empflindlich gegen Lichtquellen 

Sensorik: 3D Kamerasystem (bekanntes Muster)

Sensorik: 3D Kamerasystem (bekanntes Muster) 

Sensorik: 3D Kamerasystem (bekanntes Muster)

Sensorik: 3D Kamerasystem (bekanntes Muster) 


Vorteile: 

Hohe Geschwindigket 

3D Punktwolke ohne bewegliche Teile 

Nachteile: 

Sehr empflindlich gegen Lichtquellen 

Funktioniert nur auf glatten Oberflächen zuvelässig

Sensorik: 3D Kamerasystem (Stereo/Muster) 

Daten und Features 

Rohdaten 

Pixel-basierte Bilder 

Punktwolken 

Features 

Farbe 

Textur 

Form

Features: Farbhistogramme 

Features: Farbhistogramme

Features: Texturfeatures 

Beispiel: FAST 

Features: 3D Punktwolken 

Beispiel: PFH (Point Feature Histogram)

Objektmodelle 

Objekttraining

Automatisiertes Objekttraining 

Drehtisch 

Kamerahalterung 

Objektklassifikation

Objektklassifikation 

Positive und negative Beispiele 

Drehtisch 

Kamerahalterung

Positive und negative Beispiele 

Drehtisch 

Kamerahalterung 

Semantisches Wissen

Literaturliste I 

Abdo, N., Kretzschmar, H., Spinello, L., and Stachniss, C. (2013). 

Learning manipulation actions from a few demonstrations. 

In ICRA 2013, Karlsruhe. 

Bishop, C. (2006). 

Pattern recognition and machine learning. 

Springer New York. 

Buss, S. R. (2009). 

Introduction to inverse kinematics with jacobian transpose, pseudoinverse and damped least squares methods. 

Article not officially published, but online available. 

Ertel, W. (2007). 

Grundkurs Künstliche Intelligenz. 

Vieweg-Verlag. 

www.hs-weingarten.de/~ertel/kibuch. 

Ertel, W. (2012). 

Theoretische informatik, vorlesungsfolien. 

Hastie, T., Tibshirani, R., and Friedman, J. (2009). 

The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 

Springer, Berlin, 3rd. edition. 

Online version: http://www-stat.stanford.edu/~tibs/ElemStatLearn/. 

Müller, M. (2007). 

Information Retrieval for Music and Motion. 

Springer-Verlag Berlin Heidelberg. 

Literaturliste II 

Posenauer, H. (2012). 

Robot learning from demonstration by averaging trajectories. 

Bachelorarbeit, Hochschule Ravensburg-Weingarten. 

Russell, S. and Norvig, P. (2003). 

Artificial Intelligence: A Modern Approach. 

Prentice Hall, 2 edition. 

1. Auflage 1995, deutsche Übersetzung der 2. Auflage 2004 bei Pearson Studium, http://aima.cs.berkeley.edu. 

Schneider, M. (2009). 

Learning from Demonstration with Gaussian Processes. 

Master’s thesis, Hochschule Ravensburg-Weingarten. 

Schneider, M. and Ertel, W. (2010). 

Robot Learning by Demonstration with Local Gaussian Process Regression. 

In IROS’10. 

Schölkopf, S. and Smola, A. (2002). 

Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond. 

MIT Press. 

Siciliano, B. and Khatib, O., editors (2008). 

Springer Handbook of Robotics. 

Springer, Berlin, Heidelberg. 

Sutton, R. and Barto, A. (1998). 

Reinforcement Learning. 

MIT Press. 

www.cs.ualberta.ca/~sutton/book/the-book.html.

Folien zur Vorlesung - Hochschule Ravensburg-Weingarten

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?