Magellan Final Report - Office of Science - U.S. Department of Energy

Magellan Final Report
9.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
9.7.1 Interconnect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
9.7.2 I/O on Virtual Machines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
9.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
10 MapReduce Programming Model 83
10.1 MapReduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
10.2 Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
10.3 Hadoop Ecosystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
10.4 Hadoop Streaming Experiences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
10.4.1 Hadoop Templates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
10.4.2 Application Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
10.5 Benchmarking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
10.5.1 Standard Hadoop Benchmarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
10.5.2 Data Intensive Benchmarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
10.5.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
10.6 Other Related Efforts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
10.6.1 Hadoop for Scientific Ensembles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
10.6.2 Comparison of MapReduce Implementations . . . . . . . . . . . . . . . . . . . . . . . 95
10.6.3 MARIANE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
10.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
10.7.1 Deployment Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
10.7.2 Programming in Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
10.7.3 File System. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
10.7.4 Data Formats. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
10.7.5 Diverse Tasks. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
10.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
11 Application Experiences 102
11.1 Bare-Metal Provisioning Case Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
11.1.1 JGI Hardware Provisioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
11.1.2 Accelerating Proton Computed Tomography Project . . . . . . . . . . . . . . . . . . . 103
11.1.3 Large and Complex Scientific Data Visualization Project (LCSDV) . . . . . . . . . . . 104
11.1.4 Materials Project . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
11.1.5 E. coli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
11.2 Virtual Machine Case Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
11.2.1 STAR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
11.2.2 Genome Sequencing of Soil Samples . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
11.2.3 LIGO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
11.2.4 ATLAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
11.2.5 Integrated Metagenome Pipeline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
11.2.6 Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
11.2.7 RAST . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
11.2.8 QIIME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
11.2.9 Climate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
11.3 Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
11.3.1 BioPig . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
11.3.2 Bioinformatics and Biomedical Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . 113
11.3.3 Numerical Linear Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
11.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
11.4.1 Setup and Maintenance Costs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
iii