Cost-Based Optimization of Integration Flows - Datenbanken ...

Contents
1 Introduction 1
2 Preliminaries and Existing Techniques 5
2.1 Integration Flows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.1.1 Classification of Integration Approaches . . . . . . . . . . . . . . . . 6
2.1.2 System Architecture for Integration Flows . . . . . . . . . . . . . . . 7
2.1.3 Modeling Integration Flows . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.4 Executing Integration Flows . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.5 Optimizing Integration Flows . . . . . . . . . . . . . . . . . . . . . . 15
2.2 Adaptive Query Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.1 Classification of Adaptive Query Processing . . . . . . . . . . . . . . 18
2.2.2 Plan-Based Adaptation . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.3 Continuous-Query-Based Adaptation . . . . . . . . . . . . . . . . . . 20
2.2.4 Integration Flow Optimization . . . . . . . . . . . . . . . . . . . . . 21
2.3 Integration Flow Meta Model . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3.1 Notation of Integration Flows . . . . . . . . . . . . . . . . . . . . . . 21
2.3.2 Transactional Properties . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.4 Use Cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4.1 Horizontal Integration: EAI . . . . . . . . . . . . . . . . . . . . . . . 28
2.4.2 Vertical Integration: Real-Time ETL . . . . . . . . . . . . . . . . . . 30
2.5 Summary and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3 Fundamentals of Optimizing Integration Flows 33
3.1 Motivation and Problem Description . . . . . . . . . . . . . . . . . . . . . . 33
3.2 Prerequisites for Cost-Based Optimization . . . . . . . . . . . . . . . . . . . 36
3.2.1 Dependency Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.2.2 Cost Model and Cost Estimation . . . . . . . . . . . . . . . . . . . . 38
3.3 Periodical Re-Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1 Overall Optimization Algorithm . . . . . . . . . . . . . . . . . . . . 45
3.3.2 Search Space Reduction Heuristics . . . . . . . . . . . . . . . . . . . 50
3.3.3 Workload Adaptation Sensibility . . . . . . . . . . . . . . . . . . . . 55
3.3.4 Handling Correlation and Conditional Probabilities . . . . . . . . . . 57
3.4 Optimization Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.4.1 Control-Flow-Oriented Techniques . . . . . . . . . . . . . . . . . . . 60
3.4.2 Data-Flow-Oriented Techniques . . . . . . . . . . . . . . . . . . . . . 65
3.5 Experimental Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.6 Summary and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4 Vectorizing Integration Flows 87
4.1 Motivation and Problem Description . . . . . . . . . . . . . . . . . . . . . . 87
vii