Real-time feature extraction from video stream data for stream ...

ai.cs.uni.dortmund.de

Real-time feature extraction from video stream data for stream ...

Contents

3.4.1 Concept Drift Detection . . . . . . . . . . . . . . . . . . . . . . . . 40

3.4.2 Stream Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

3.5 Tools and Frameworks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

3.5.1 CRISP-DM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

3.5.2 RapidMiner . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

3.5.3 Streams framework . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

4 Learning tasks 47

4.1 Use case A: IP-TV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

4.2 Use case B: Coffee - Project . . . . . . . . . . . . . . . . . . . . . . . . . . 48

5 Data 51

5.1 Receiving live video data: ZAPI . . . . . . . . . . . . . . . . . . . . . . . . 51

5.1.1 Start a ZAPI- Session . . . . . . . . . . . . . . . . . . . . . . . . . 52

5.1.2 Login with user account . . . . . . . . . . . . . . . . . . . . . . . . 53

5.1.3 Watch a channel . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

5.1.4 Stop Channel, logout and stop session . . . . . . . . . . . . . . . . 55

5.1.5 Error responses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

5.2 Creation of datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

5.2.1 The ”news”-dataset . . . . . . . . . . . . . . . . . . . . . . . . . . 56

5.2.2 The ”coffee”-dataset . . . . . . . . . . . . . . . . . . . . . . . . . . 58

6 Feature Extraction 59

6.1 Naming convention for extracted features . . . . . . . . . . . . . . . . . . 59

6.2 Image Feature Extraction with RapidMiner . . . . . . . . . . . . . . . . . 60

6.2.1 IMMI Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

6.2.2 The overall feature extraction process in RapidMiner . . . . . . . . 66

6.3 Image Feature Extraction with the streams framework . . . . . . . . . . . 68

6.3.1 Representing images . . . . . . . . . . . . . . . . . . . . . . . . . . 68

6.3.2 The AbstractImageProcessor . . . . . . . . . . . . . . . . . . . . . 68

6.3.3 Implemented image processors . . . . . . . . . . . . . . . . . . . . 69

7 Experiments and Evaluation 71

7.1 Shot Boundary Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

7.1.1 Approach and Evaluation . . . . . . . . . . . . . . . . . . . . . . . 72

7.1.2 Analysis of reasons for misclassification . . . . . . . . . . . . . . . 73

7.1.3 Real-time behavior of the approach . . . . . . . . . . . . . . . . . . 74

7.2 Segmentation and Tagging of News shows . . . . . . . . . . . . . . . . . . 75

7.2.1 Feature-based anchorshot detection using RapidMiner . . . . . . . 75

7.2.2 Real-time model-based anchorshot detection . . . . . . . . . . . . . 79

7.3 Coffee capsule recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

7.3.1 Event Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

7.3.2 Capsule Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . 85

8 Outlook and Conclusion 89

vi

More magazines by this user
Similar magazines