- A+
本章讲的条件概率与独立性的知识与上一篇(机器学习基础知识学习-概率论(随机事件、等可能原理和模型))的知识点紧密相连,条件概率也是机器学习初学者需要掌握的基础知识之一，在这一章中有不理解的地方可以翻看上一篇的内容复习下
条件概率的定义
例 (接上一篇中抽入场券的例子) 在抽入场券的问题中，若某人第 k 个抽，但在此之前已知前 k-1 个均未抽到入场券，问此时他抽到的概率是否有变化？
分析设A：第k个人抽到入场券
B：前k-1个人均未抽到入场券
上一篇已经算过 P(A) =
但此时A发生概率显然为
，即发生了变化
定义：设A、B为事件，P(B)大于0，定义
称为是B发生条件下A发生的概率
意义
条件概率空间：
原样本空间的缩减 S
B
条件概率：
原概率的限制 P()
P(| B)
性质：
（1）由P(B)>0得P(·｜B)0
（2）P(S | B) = 1 (用条件概率定义可求得)
（3）若
，...互斥，则
=
证明：由
，...互斥，得
，
...互斥
=
/ P(B) =
/ P(B)
=
再来看一个例子：（上一篇投骰子继续探讨）反复掷两颗骰子，观察其和直至出现7点或8点为止，求出现7点的概率
这个例子用条件概率怎么求解呢？考虑等价实验：掷两颗骰子一次，观察其和。令B为出现7点或8点，A为出现7点，求P(A | B)
答：两颗骰子掷一次出现的所有可能是36次，其和出现7点的可能是6次，其和出现8点的可 能是5次
P(A) = 6/36 P(B) = 6/36 + 5/36 AB=A , 即 P(A | B) = 6/11
所以出现7点的概率为 6/11
乘法公式
将条件概率公式变形，得到乘法公式：
P(AB) = P(A | B)P(B) 注：该式中P(B)>0的限制可去掉
意义用以计算积事件的概率（通常可避免计算组合数）
例：（接上一章举例的摸球问题）在无放回的情况下，求从r只红球b只篮球的袋中摸出两只红球的概率
P(
) = P(
)P(
|
) =
·
推广若
为事件，且P(
) > 0,
则P(
)=
P(
|
)P(
|
)...P(
|
)P(
)
例 （继续讨论摸球问题）将摸两个球改为以无放回方式摸 n(nr+b)个球，求前k(k
r)个位置是红球，后n-k(n-k
b)个位置是篮球的概率
在一些实际问题中，所给出的概率有时候理解为条件概率
例 （网球比赛）某网球运动员参加一次赛事，淘汰赛制，须赢5轮方可夺冠，已知他第i轮获胜的概率为0.6-
，求他夺冠的概率
注意：设
为第i轮胜，第i轮获胜概率是指P(
|
)，
i = 2，3，4，5
答：P(夺冠) = P(
) = P(
)P(
)...P(
)
= 0.5 * 0.4 * 0.3 * 0.2 * 0.1 = 5! *
= 0.0012
独立性
问题：是否P(A)与P(A|B总是不同？
例 （孩子性别）设一个家庭生男孩、女孩是等可能的。考察任一两个孩子家庭，分别求老二是女孩的概率和在老大是男孩的条件下老二是女孩的概率
解：设A为老二是女孩，B为老大是男孩
S = {(bb),(bg),(gb),(gg)}
A = {(bg),(gg)} B = {(bb),(bg)}
P(A) =, P(A|B) =
/
=
上例中条件概率与无条件概率是一样的，说明老大是男孩这一事件对老二是女孩这一事件的概率没有影响，或者这两个事件是独立的
定义若P(AB) = P(A)P(B)，称事件A，B独立（无须P(B)>0）
例 （嫌疑人排查）在侦破某团伙作案时，查看相关监控录像，发现两嫌疑人在所有视频中出现的概率依次为0.11与0.12，但同时出现的概率为0.1。问是否有理由认为他们是同伙？
答：设A为某甲出现，B为某乙出现
P(A|B) =
=
0.91
P(B|A) =
=
0.83
初步判断A和B的条件概率相近
而如果A、B独立，则P(AB) = P(A)P(B) = 0.11 * 0.12 = 0.0132
显然小于0.1 所以推断出A、B不独立，有理由认为他们是同伙
定理：若A与B独立，则A与
，与B，
与
皆独立
证明其中一式：
实际问题中常从事物的背景判断独立性
物理意义独立的事件通常是独立的，反之不一定成立
例：
a. 掷两颗骰子，考虑A为一颗点数大于2，B为另一颗点数为偶数独立
b.掷一颗骰子，考虑A为点数大于2，B为点数为偶数不独立
推广 事件A，B，C独立
定义事件A，B，C独立，指下式同时成立
P(AB) = P(A)P(B)
P(BC) = P(B)P(C)
P(CA) = P(C)P(A)
P(ABC) = P(A)P(B)P(C)
若只有前三个式子成立，称为两两独立。两两独立并不能决定三个事件独立
例：在孩子性别例子中，考虑A为老大是男孩，B为老二是女孩，C为异性子女。则A，B，C两两独立(A是男孩，不影响B是女孩；B是女孩，不影响A是男孩)，若ABC在一起就是必然事件(A是男孩，B是女孩，必然异性)，不是独立事件
独立的概念同样可以推广到n个事件
定义事件
相互独立，下列等式均成立：
例：继续摸球的问题，别的条件不变，但该摸球方式为有放回的，此时该如何解答呢？
答：
作为独立性的应用，重做掷双骰子一题
例 反复掷两颗骰子，观察其和直至出现7点或8点为止，求出现7点的概率
头条创作挑战赛
