Lectures on Elementary Probability

Contents
1 Combinatorics 5
1.1 Factorials and binomial coefficients . . . . . . . . . . . . . . . . . 5
1.2 Sampling with replacement . . . . . . . . . . . . . . . . . . . . . 5
1.3 Sampling without replacement . . . . . . . . . . . . . . . . . . . 7
2 Probability Axioms 9
2.1 Logic and sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.3 Countable additivity . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.4 Discrete uniform probabilities . . . . . . . . . . . . . . . . . . . . 10
2.5 Binomial probabilities . . . . . . . . . . . . . . . . . . . . . . . . 11
2.6 Hypergeometric probabilities . . . . . . . . . . . . . . . . . . . . 13
2.7 Divisions into subsets . . . . . . . . . . . . . . . . . . . . . . . . 14
3 Discrete Random Variables 17
3.1 Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.2 Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.3 Joint probability mass functions . . . . . . . . . . . . . . . . . . 19
3.4 Uncorrelated random variables . . . . . . . . . . . . . . . . . . . 20
3.5 Independent random variables . . . . . . . . . . . . . . . . . . . . 21
4 The Bernoulli Process 23
4.1 Bernoulli random variables . . . . . . . . . . . . . . . . . . . . . 23
4.2 Successes and failures . . . . . . . . . . . . . . . . . . . . . . . . 23
4.3 Binomial random variables . . . . . . . . . . . . . . . . . . . . . . 24
4.4 The Poisson approximation . . . . . . . . . . . . . . . . . . . . . 25
4.5 Geometric random variables . . . . . . . . . . . . . . . . . . . . . 26
4.6 Negative binomial random variables . . . . . . . . . . . . . . . . 27
4.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
5 Continuous Random Variables 31
5.1 Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
5.2 Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
5.3 Joint densities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3