1. 概率分布
先验概率等于无条件概率 $P(A)$
后验概率等于条件概率 $P(A|B)$
联合概率分布是由$A ,B$不同取值得到的一个$P(A,B )$概率分布。
完全联合分布中的边缘概率,是指某一随机变量成立的无条件概率,根据联合分布概率表累加计算可以得到。求得边缘概率的过程称为边缘化或者是求和消元化。
$P(A) = \sum_{z∈Z}P(A, z)$ 求和消元化的联合分布表示
$P(A) = \sum_zP(A|z)P(z)$ 根据乘法法则$P(A,z) = P(A | z) P(z)$ 可以求得求和消元化的条件概率分布。该规则也称条件化。
归一化常数 $\alpha$: $P(A |B) = \alpha P(AB)$。将$\alpha$替代$1 / P(B)$ 。
$P(X|e) = \alpha P(X ,e) = \alpha \sum_yP(X,e,y)$ 。
2. 独立性
存在独立性,可进行概率分解降低模型的复杂度。
!条件独立的含义:事件A,B,C, 若在A概率未知的情况下,AB不独立,如果A概率已知,那么AB就存在条件独立的关系。
独立性的一个表现就是 $P(A | B) = P (A)$ ,当B与A无互相独立互不影响的时候。
其他表示: $ P(AB ) = P(A)P(B)$
3. 贝叶斯
$P(Y|X)P(X) = P(X|Y)P(Y) = P(XY)$
从概率来看到原因的概率分布。
$ P(Y | X) = \frac{P(X | Y)P(Y)}{P(X)}$
如果某人是好人(概率为$P(Y)$), 某人偷东西的事件概率为($X$) ,如果发生了A偷东西$P(Y|X)$,那么A是好人的概率$P(Y | X)$。
放在实例中来观察贝叶斯公式的简单应用。在医疗诊断中,如果医生知道某一疾病发生某些症状的概率,那么可以利用贝叶斯公式估计得知当病人发生某症状时,推测病人发生某病的概率。
贝叶斯公式其实是反映了原因和结果之间的概率关系。
$ P(Cause | Effect) = \frac{P(Effect | Cause)P(Cause)}{P(Effect)}= \alpha P(Effect | Cause)P(Cause)$
其中的 $P(Cause) P (Effect)$ 二者都属于先验概率, $\alpha$ 是让 $P(Effect | Cause)$归一化的常数。
- 朴素贝叶斯
$P(Cause, Effect_1, Effect_2, Effect_3….Effect_n) = P(Cause) \prod_n P(Effect_i | Cause)$