0
雷锋网 AI科技评论按，本文作者Frankenstein，首发于知乎专栏闲敲棋子落灯花，雷锋网 AI科技评论获其授权转载。
本文接模式识别与机器学习第一讲（上）。关键词：随机变量、条件概率、边际概率、sum rule、product rule、贝叶斯公式、先验概率、后验概率、独立、概率质量函数、概率密度函数、累计分布函数、多元分布、换元、期望、条件期望、方差、协方差。
1.2 Probability Theory
动机：模式识别里的一个关键概念是不确定性。不确定性的来源有两个：测量的噪声以及数据集大小有限。概率论提供了一种量化和操作不确定性的工具，是模式识别的根基之一。当我们同时运用概率论和决策论，我们可以基于给定信息做出最优预测，无论信息是否完整、明确。
如没有特别强调，以下均表示随机变量。严格地说一个随机变量
是一个从样本空间（sample space, 潜在结果的集合）
到可测空间（measurable space）
的可测函数（measurable function）。这涉及到测度论的知识，远远超出了本书对读者数学知识的假设。鉴于我们这里不追求严格的定义，可以认为一个随机变量是一个可以从一个集合中取不同值的变量。
条件概率：表示已知
的情况下，
发生的概率，被称为给定
,
的条件概率。我们可以把这一定义拓展到给定多于一个条件的情况下如
。
sum rule: , 这里的
常被称为边际概率（marginal probability），因为它可经由取便其它变量（如
）的所有可能值时，计算
与它们的联合分布的概率的总和来得到。
product rule:
symmetry property:
基于product rule和symmetry property，我们可以得到大名鼎鼎的贝叶斯定理/公式（Bayes' theorem）：。由sum rule, product rule和symmetry property可得
。
。因此上式中
可被看做使左边取所有可能
值的条件概率之和为1 的归一化常数。
sum rule，product rule以及symmetry property像条件概率一样可以被拓展到多于两个随机变量的情况。
贝叶斯定理的一个重要解释涉及先验概率（prior probability）和后验概率（posterior probability）。通俗地讲，先验概率是我们一无所知的情况下根据经验、常规情况计算的，后验概率是在我们得到了新的信息情况下对先验概率进行的修正，更加准确。我们可以考虑为
的先验概率而
为知道
后
的后验概率。
独立：为两个随机变量，如果
，我们称
独立于
且
独立于
或者
彼此独立。注意这种情况下
。我们还会经常见到两两独立（pairwise independence，一个随机变量的集合中任取两个随机变量都彼此独立）和彼此独立（mutually independence，对于一个随机变量的集合
，它们一起的联合分布概率等于它们各自的分布概率之积:
）。
1.2.1 Probability densities
随机变量有离散型和连续性两种。离散型随机变量定义在事件的离散集合上（如筛子的点数，硬币的正反等等），连续型随机变量定义在事件的连续集合上（如区间）。就像离散型随机变量与概率质量函数（probability mass function）相关联一样，连续型随机变量与概率密度函数（probability density function）相关联。
a. 概率密度函数具有以下特点：
;
;
在
的概率为
。
b. 换元/变量选择
给定的概率密度函数
，令
，则有
。一个相关的结果是概率密度函数的最大值取决于变量的选择。
c. 累积分布函数（cumulative distribution function）
的概率为
,
被称为累积分布函数。
。
d.多元分布
考虑多个连续型随机变量的联合分布。假设我们有个连续型随机变量
，我们可以用一个向量把它们“封装”起来：
使得
。如此得到的概率密度函数仍然要满足 a 部分的特点。我们同样也可以考虑离散型随机变量和连续型随机变量的联合分布。
1.2.2 期望（expectation）和协方差（covariance）
期望：函数在概率分布
下的平均值被称为
的期望，用
表示。
对于离散型随机变量，；
对于连续型随机变量，。
给定概率分布采集到的个数据点:
，我们可以近似计算
的值为
。由大数定理可知，随着
，这一近似逼近
。
当我们考虑多变量函数的期望时，我们可以在右下角加一个下标表示关于哪个随机变量取期望，如
表示
关于
的期望。
条件期望（conditional expectation）：在条件概率分布
下的平均值被称为
的条件期望，用
表示。
对于离散型随机变量，；
对于连续型随机变量，。
方差（variance）：的方差为
。可以认为方差衡量了
在
附近的变化性。
协方差（covariance）：对于任意两个随机变量，它们之间的协方差定义为
,它反映了
一起变化的程度。
一个随机变量与其本身之间的协方差等于其方差。
当彼此独立时，
。
当为两个随机变量的向量时，设
含有
个元素，
含有
个元素
，此时
实际上是一个
的矩阵，并且矩阵中第
行的第
个元素代表了
和
之间的协方差。
对于任意一个随机变量的向量，
。
1.2.3 Bayesian probabilities
这一节可以用一个问题来概括：什么是概率？之前知乎上也有类似的讨论：概率（Probability）的本质是什么？ - 知乎
庞加莱说，“概率仅仅是我们无知程度的度量，据定义，我们不晓得其定律的现象，都是偶然现象”。
不少数学家说，概率是定义在-代数上，值域为[0, 1]的测度。
频率论者（frequentist古典统计学者）说，概率是随机、可重复事件的出现频率。
贝叶斯论者（Bayesian）说，概率提供了一种对不确定性的量化。
其它参考内容：
DS-GA 1003关于L1, L2正则化的slides：https://davidrosenberg.github.io/mlcourse/Lectures/2b.L1L2-regularization.pdf
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
