朴素贝叶斯分类：概率与先验假设
朴素贝叶斯分类完全指南：从概率基础到实战应用
朴素贝叶斯分类器是一类基于贝叶斯定理的简单概率分类器，它假定了特征之间的强（朴素）独立性。尽管这个假设在现实中很少成立，它却在文本分类、垃圾邮件过滤、情感分析等众多场景中表现出令人惊讶的高效性。本篇教程将从概率思维出发，逐步拆解朴素贝叶斯的核心原理、数学推导、常见变体、平滑技术以及实践中的关键细节。
1. 为什么要用概率来做分类？
在机器学习中，分类任务通常是要找到一个函数，将输入特征映射到离散的类别标签上。确定性模型（如决策树、支持向量机）直接输出一个类别。而概率模型则输出每个类别的概率，然后选取概率最大的类别作为预测结果。
这样做的优势在于：
- 能够量化预测的不确定性：概率值告诉我们模型对预测的把握有多大。
- 容易结合先验知识：通过贝叶斯方法，可以把领域知识作为先验概率融入模型。
- 便于进行决策理论分析：可以根据误分类代价调整决策阈值，而不仅仅是输出一个硬分类。
朴素贝叶斯正是概率分类方法中最经典、效率最高的一类。
2. 贝叶斯定理：分类的基石
贝叶斯定理描述了在已知某些条件下，某事件发生的概率。其公式为：
$$ P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)} $$
在分类语境下，我们关心的是：给定特征向量 $X = (x_1, x_2, \dots, x_n)$，它属于类别 $C_k$ 的后验概率有多大。根据贝叶斯定理：
$$ P(C_k | X) = \frac{P(X | C_k) \cdot P(C_k)}{P(X)} $$
这里：
- $P(C_k)$ 是类别的先验概率，即在看到任何特征之前，一个样本属于类别 $C_k$ 的概率。
- $P(X | C_k)$ 是似然，表示在类别 $C_k$ 下观测到特征 $X$ 的概率。
- $P(X)$ 是证据因子，对所有类别都相同，用于归一化。在分类时我们通常只需要比较分子部分，因为它对每个类别是相同的。
因此，分类规则可以简化为：
$$ \hat{y} = \arg\max_{k} P(C_k) \cdot P(X | C_k) $$
也就是说，我们只需为每个类别计算先验概率和似然，然后选择乘积最大的类别。
3. “朴素” 条件独立性假设
直接计算 $P(X | C_k)$ 是极困难的，因为 $X$ 可能是一个高维向量，特征组合数量巨大。为了简化，朴素贝叶斯做出了一个核心且极其大胆的假设：
在给定类别 $C_k$ 的条件下，所有特征之间相互独立。
数学上表示为：
$$ P(X | C_k) = P(x_1, x_2, \dots, x_n | C_k) = \prod_{i=1}^{n} P(x_i | C_k) $$
这就是“朴素”一词的来源。这种独立性几乎永远不成立（例如，在文本中，“机器学习”这个词的出现与“算法”的出现显然不是独立的），但这个假设将参数计算量从指数级降到了线性级，并且使得模型在面对高维稀疏数据时仍能很好地泛化。
现在，分类决策函数变为：
$$ \hat{y} = \arg\max_{k} P(C_k) \cdot \prod_{i=1}^{n} P(x_i | C_k) $$
4. 常见朴素贝叶斯变体：从不同数据分布出发
$P(x_i | C_k)$ 的形式取决于我们对特征分布所做的先验假设。根据数据类型的不同，有三种最常用的变体。
4.1 高斯朴素贝叶斯（Gaussian Naive Bayes）
适用于连续特征，且假设每个特征在每个类别下服从正态分布。
对于类别 $C_k$，特征 $x_i$ 的似然通过均值为 $\mu_{k,i}$、方差为 $\sigma^2_{k,i}$ 的高斯概率密度函数计算：
$$ P(x_i | C_k) = \frac{1}{\sqrt{2\pi \sigma^2_{k,i}}} \exp\left(-\frac{(x_i - \mu_{k,i})^2}{2\sigma^2_{k,i}}\right) $$
训练时，只需从数据中估计每个类别下每个特征的均值和方差。
4.2 多项式朴素贝叶斯（Multinomial Naive Bayes）
经典用于文本分类的模型，特征表示通常是词频或 TF-IDF 权重。此时特征是非负整数（计数）。假设每个特征在给定类别下符合多项式分布。
似然计算基于特征值 $x_i$（如某个词在文档中出现的次数）：
$$ P(x_i | C_k) = \frac{\text{count}(x_i, C_k) + \alpha}{\text{total_count}(C_k) + \alpha \cdot n} $$
- $\text{count}(x_i, C_k)$ 是在类别 $C_k$ 中特征 $i$ 出现的总次数。
- $\text{total_count}(C_k)$ 是类别 $C_k$ 中所有特征出现的总计数。
- $n$ 是特征的总数量（如词汇表大小）。
- $\alpha$ 是平滑参数（见下一节）。
4.3 伯努利朴素贝叶斯（Bernoulli Naive Bayes）
同样适用于文本数据，但特征取值是二进制的：0 或 1，表示某个词是否在文档中出现，而不关心出现了多少次。假设每个特征服从伯努利分布。
似然为：
$$ P(x_i | C_k) = \begin{cases} p_{k,i} & \text{if } x_i = 1 \ 1 - p_{k,i} & \text{if } x_i = 0 \end{cases} $$
其中 $p_{k,i}$ 是类别 $C_k$ 中特征 $i$ 出现的概率。特别地，伯努利朴素贝叶斯显式地惩罚一个词“不出现”，这在小样本或不平衡数据上可能更为有效。
4.4 补充朴素贝叶斯（Complement Naive Bayes）
是多项式朴素贝叶斯的一个改进版本，旨在处理不平衡数据。它使用不属于某个类别的所有样本来计算参数的补集，从而从“每个类别都不应该看起来像哪些特征”的角度进行建模，往往在文本分类中比标准多项式版本表现更稳定。
5. 零概率问题与拉普拉斯平滑
在计算 $ \prod P(x_i | C_k) $ 时，一旦某个特征值在训练集的特定类别下从未出现，其条件概率估值为 0，会导致整个乘积为 0，从而使模型失去判断能力。这被称为零概率问题。
解决方案是使用平滑技术，其中最著名的是拉普拉斯平滑（加 1 平滑）。以多项式朴素贝叶斯为例，未平滑的概率估计为：
$$ P(x_i | C_k) = \frac{N_{k,i}}{N_k} $$
其中 $N_{k,i}$ 是类别 $k$ 中特征 $i$ 的计数，$N_k$ 是类别 $k$ 的总计数。加入平滑后：
$$ P(x_i | C_k) = \frac{N_{k,i} + \alpha}{N_k + \alpha \cdot V} $$
- $V$ 是不同特征的数目（词汇表大小）。
- $\alpha$ 是平滑因子。当 $\alpha=1$ 时为拉普拉斯平滑，$\alpha<1$ 为利德斯通平滑。
平滑处理不仅避免了零概率，还引入了对数概率计算时的数值稳定性。
6. 从先验假设到模型训练
训练过程本质上就是学习先验概率和条件概率参数。
6.1 先验概率 $P(C_k)$
通常通过训练集中类别的频率来估计： $$ P(C_k) = \frac{\text{属于 } C_k \text{ 的样本数}}{\text{总样本数}} $$
也可以根据领域知识手动设定，比如当某一类样本在现实世界中占比极低但很重要时，可人为提高其先验概率。
6.2 条件概率 $P(x_i | C_k)$
根据所选的模型变体，从训练数据中估计分布参数（均值和方差、计数概率等）。这一过程只需一次遍历数据，因此训练速度极快，且能轻松增量更新。
7. 预测与对数求和稳定技巧
由于乘积大量小于 1 的概率会导致数值下溢，实际预测时通常转成对数空间。取对数后乘积变为求和：
$$ \log P(C_k) + \sum_{i=1}^{n} \log P(x_i | C_k) $$
这样计算出的对数概率再进行比较，也可通过指数反推回真实概率（用于查看置信度）。
8. 特征条件独立假设的影响与模型解释性
虽然假设过强，但朴素贝叶斯作为生成模型，它学习的是联合分布 $P(X, Y)$，再由贝叶斯定理推导出后验。独立性假设使其往往能产出有偏但方差较小的概率估计，也就是说，即使估计的概率值不那么准确，不同类别之间的概率顺序往往能保持正确，从而分类结果依旧可靠。这也解释了为什么它在文档分类中能与更复杂的模型竞争。
模型解释性极强：每个特征对分类的贡献可以直接查看，例如计算词“free”在垃圾邮件类别中的条件概率与正常邮件中的条件概率之比，即可解释“free”一词的预测权重。
9. 实践中的关键注意点
- 特征分布假设检查：使用高斯朴素贝叶斯前，最好检查特征在各类别下是否接近正态，必要时进行变换（如对数变换）。
- 处理缺失值：朴素贝叶斯允许样本缺失某些特征，可以在计算乘积时跳过该特征（相当于该特征的概率因子为 1）。
- 特征选择与降维：强相关特征会严重违背独立性假设，移除高度相关特征或使用主成分分析（虽然会破坏解释性）有时可提升性能。
- 应对连续特征离散化：如果不满足高斯假设，可将连续特征离散化为区间（如等频分箱），然后使用多项式或伯努利模型。
- 文本数据预处理：对于文本，通常去除停用词、小写化，使用词频向量或二值向量，并注意平滑参数 $\alpha$ 的调节。通常在交叉验证中尝试 $\alpha \in {0.1, 1, 10}$ 等值。
10. 小结：朴素贝叶斯的优缺点
优点：
- 训练和预测速度极快，可轻易处理高维稀疏数据。
- 对小规模数据表现良好，容易在线学习和增量更新。
- 对无关特征具有鲁棒性。
- 直接输出概率，可解释性高。
- 极少的超参数（主要是平滑项和分布选择），不易过拟合。
缺点：
- 强特征独立性假设在真实数据中通常不成立，当特征间存在强依赖时，概率估计偏差较大。
- 概率估计的绝对数值并不可靠，更适合做相对排序。
- 对输入数据的表达形式较敏感（如连续特征是否高斯化）。
理解朴素贝叶斯的关键在于彻底接纳它在概率框架下所做的先验简化——这是一种典型的用偏差换取方差（以及极端计算效率）的策略。掌握它，你就拥有了处理大量分类任务的轻量级利器。