Nonparametric Bayesian Discrete Latent Variable Models for ...

Contents
Zusammenfassung iii
Abstract v
List of Algorithms ix
Acknowledgments xi
Notation xiii
1 Introduction 1
2 Nonparametric Bayesian Analysis 3
3 Dirichlet Process Mixture Models 9
3.1 The Dirichlet Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.1.1 Pólya’s Urn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.1.2 Chinese Restaurant Process . . . . . . . . . . . . . . . . . . . . . 14
3.1.3 DP as a Normalized Gamma Process . . . . . . . . . . . . . . . . 16
3.1.4 Stick Breaking Construction . . . . . . . . . . . . . . . . . . . . . 17
3.1.5 Infinite Mixture Models . . . . . . . . . . . . . . . . . . . . . . . 19
3.1.6 Properties of the Distribution . . . . . . . . . . . . . . . . . . . . 21
3.2 MCMC Inference in Dirichlet Process Mixture Models . . . . . . . . . . 24
3.2.1 Algorithms for Conjugate Models using the Pólya Urn Scheme . 25
3.2.2 Algorithms for non-Conjugate DP Models . . . . . . . . . . . . . 29
3.2.3 Algorithms Using the Stick-Breaking Representation . . . . . . . 34
3.3 Empirical Study on the Choice of the Base Distribution . . . . . . . . . 40
3.3.1 The Dirichlet Process Gaussian Mixture Model . . . . . . . . . . 40
3.3.2 Inference Using Gibbs Sampling . . . . . . . . . . . . . . . . . . 43
3.3.3 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4 Dirichlet Process Mixtures of Factor Analyzers . . . . . . . . . . . . . . 52
3.4.1 Spike Sorting Using DPMFA . . . . . . . . . . . . . . . . . . . . 56
3.4.2 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.4.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
vii