Real-time feature extraction from video stream data for stream ...

ai.cs.uni.dortmund.de

Real-time feature extraction from video stream data for stream ...

Contents

Acknowledgment

List of Figures

List of Tables

iii

viii

x

1 Introduction 1

1.1 The ViSTA-TV project . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.2 Task of this thesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.3 Structure of this work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2 Video Segmentation and Tagging 7

2.1 Temporal hierarchy of video content . . . . . . . . . . . . . . . . . . . . . 8

2.2 Shot Boundary Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2.1 Detection of hard cuts . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.2.2 Detection of gradual transitions . . . . . . . . . . . . . . . . . . . . 16

2.3 Segment Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.3.1 General-purpose methods for segment detection . . . . . . . . . . . 19

2.3.2 Segmentation of news shows . . . . . . . . . . . . . . . . . . . . . . 21

2.3.3 Anchorshot Detection . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.4 Tagging the segments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2.5 Further related work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.5.1 Audio analyze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.5.2 Multi-modal analyze . . . . . . . . . . . . . . . . . . . . . . . . . . 26

3 Machine Learning 27

3.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

3.2 Supervised Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3.2.1 kNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.2.2 Decision trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3.2.3 Evaluation Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 33

3.3 Unsupervised Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

3.3.1 Cluster Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

3.4 Learning on Streams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

v

More magazines by this user
Similar magazines