Planning under Uncertainty in Dynamic Domains - Carnegie Mellon ...

Contents1 Introduction 11.1 Planning under uncertainty : : : : : : : : : : : : : : : : : : : : : : : 21.2 An example planning problem : : : : : : : : : : : : : : : : : : : : : : 31.3 Contributions : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 41.4 Reader's guide to the thesis : : : : : : : : : : : : : : : : : : : : : : : 62 Related work 92.1 Overview of \classical" planning. : : : : : : : : : : : : : : : : : : : : 92.2 Reactive planning and approaches that mix planning with execution. 102.3 Extensions to classical planning systems : : : : : : : : : : : : : : : : 122.4 Approaches based on Markov decision processes : : : : : : : : : : : : 132.4.1 Overview of Markov Decision Processes : : : : : : : : : : : : : 142.4.2 Planning under uncertainty with MDPs : : : : : : : : : : : : : 153 Planning under Uncertainty 193.1 Overview of prodigy 4.0 : : : : : : : : : : : : : : : : : : : : : : : : 193.1.1 Domains, problems and plans : : : : : : : : : : : : : : : : : : 193.1.2 Constructing plans : : : : : : : : : : : : : : : : : : : : : : : : 223.1.3 Organization of the search space : : : : : : : : : : : : : : : : : 243.2 A representation for planning under uncertainty : : : : : : : : : : : : 253.3 A Markov decision process model of uncertainty : : : : : : : : : : : : 313.4 Putting it together: a complete example : : : : : : : : : : : : : : : : 364 The Weaver Algorithm 434.1 Conditional planning : : : : : : : : : : : : : : : : : : : : : : : : : : : 444.1.1 Extensions to the prodigy 4.0 node set to support probabilisticplanning : : : : : : : : : : : : : : : : : : : : : : : : : : 444.1.2 B-Prodigy : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 474.2 Calculating the probability of success : : : : : : : : : : : : : : : : : : 514.3 Incrementally improving a plan with the plan critic : : : : : : : : : : 59v