«统计学完全教程»笔记：第1章 概率
从数学结构的根基建立概率的世界。
样本空间和事件
样本空间( $\Omega$ ) 一个试验的可能结果集合。其中每个结果称为样本结果 (points, sample outcomes, realizations, or elements). $\Omega$ 的子集称为 事件 (events)
事件互斥 (disjoint, or mutually exclusive)：几个事件交集为空。
集合序列的单调性：就是 $A_1 \subset A_2 \subset \cdots A_3$ ，则集合序列 $A_n$ 单调递增（monotone increasing）。
概率
我们用 $\mathbb{P}(A)$ 表示事件 $A$ 发生的概率。$\mathbb{P}$ 成为概率分布或概率测度（probability distribution or a probability measure）
和的概率引理：$P(A+B) = P(A)+P(B) - P(AB)$
想象图形方便记忆。推导同理
定义函数 $\mathbb{P}(A)$ 是一个概率分布或者概率测度如果满足：
公理 1: $\mathbb{P}(A) \geq 0$ for every $A$ 公理 2: $\mathbb{P}(\Omega)=1$ 公理 3: If $A_{1}, A_{2}, \ldots$ are disjoint then
$$ \mathbb{P}\left(\bigcup_{i=1}^{\infty} A_{i}\right)=\sum_{i=1}^{\infty} \mathbb{P}\left(A_{i}\right) $$由此可以推出：
-
$\mathbb{P}(\varnothing) = 0$ 因为 $\mathbb{P}(\Omega) + \mathbb{P}(\varnothing) = \mathbb{P}(\Omega) \Rightarrow \mathbb{P}(\varnothing) = 0$
-
$A \subset B \Rightarrow \mathbb{P}(A) \leq \mathbb{P}(B)$ 因为 $\mathbb{P}(A) + \mathbb{P}(B - A) = \mathbb{P}(B) \Rightarrow \mathbb{P}(A) \leq \mathbb{P}(B)$
-
$0 \leq \mathbb{P}(A) \leq 1$
-
$\mathbb{P}\left(A^c\right) = 1 - \mathbb{P}(A)$
-
$A \cap B = \varnothing \Rightarrow \mathbb{P}(A \cup B) = \mathbb{P}(A) + \mathbb{P}(B)$ _划分_的性质。
概率连续性定理(Continuity of Probabilities)：
若 $A_n \to A$，则当 $n \to \infty$ 时 $P(A_n) \to P(A)$
有限样本空间的概率
$$ P(A) = \dfrac{|A|}{|\Omega|} $$如果所有结果可能性相同，成为均匀分布（uniform probability distribution）
独立事件
若 $P(AB) = P(A)P(B)$ 则事件 $A, B$ 独立。
条件概率
$P(A|B) = \dfrac{P(AB)}{P(B)}$
引理：
$\mathbb{P}(A B)=\mathbb{P}(A \mid B) \mathbb{P}(B)=\mathbb{P}(B \mid A) \mathbb{P}(A)$
1.7 Bayes 定理
总概率定理 (The Law of Total Probability)：
$\mathbb{P}(B)=\sum_{i=1}^{k} \mathbb{P}\left(B \mid A_{i}\right) \mathbb{P}\left(A_{i}\right)$
其中 $A_1 + A_2+\cdots + A_k$ 是 $\Omega $ 的划分。
【重要】贝叶斯定理 (Bayes’ Theorem)
$\mathbb{P}\left(A_{i} \mid B\right)=\dfrac{\mathbb{P}\left(B \mid A_{i}\right) \mathbb{P}\left(A_{i}\right)}{\sum_{j} \mathbb{P}\left(B \mid A_{j}\right) \mathbb{P}\left(A_{j}\right)}$
先验概率 (prior probability): 上式中的 $P(A_i)$
例子；
$P(A)$ 吃华莱士的概率
$P(A^C)$ 没吃华莱士的概率
$P(B|A)$ 吃华莱士的情况下拉肚子的概率
$P(B|A^C)$ 没吃华莱士的情况下拉肚子的概率
则拉肚子之前吃过华莱士的概率是：
$$ P(A|B) = \dfrac{P(B|A) P(A)}{P(B)} = \dfrac{P(B|A) P(A)}{P(B|A) P(A) + P(B|A^C)P(A^C)} $$习题
♞1
Fill in the details in the proof of Theorem 2.8. Also, prove the monotone decreasing case.
定理：If $A_n \rightarrow A$ then $\mathbb{P}(A_n) \rightarrow \mathbb{P}(A)$ as $n \rightarrow \infty$.
证明：假设 $A_i$ 单增
$B_1 = A_1$
$ B_2 = \{\omega \in \Omega : \omega \in A_2 \wedge \omega \not\in A_1\}$
$ B_3 = \{\omega \in \Omega : \omega \in A_3\wedge \omega \not\in A_2 \wedge \omega \not\in A_1 \}$
据此可知 $B_1, B_2, B_3$ disjoint.
于是根据 公理3 $\mathbb{P}(A_n) = \sum_{i=1}^{n} \mathbb{P}(B_i)$
因此
$$ \lim_{n\to\infty} \mathbb{P}(A_n) = \lim_{n\to\infty} \sum_{i=1}^{n} \mathbb{P}(B_i) = \sum_{i=1}^{+\infty } \mathbb{P}(B_i) = \mathbb{P}(A) $$单减的情况 假设 集合序列 $A_i$ 单调递减。令：
$B_1 = A_1$
$B_2 = A_2 - B_1$
$B_n = A_n - B_{n-1}$
则 $B_1 , B_2,\cdots , B_n$ 不相交。根据公理 3，有： $\mathbb{P}(A_n) = \sum_{i=1}^{n} \mathbb{P}(B_i)$ 后面就一样了，不重复写。
♞2
Prove the statements in equation (2.1).