朴素贝叶斯法笔记
date
Sep 25, 2022
Last edited time
Sep 25, 2022 05:11 AM
status
Published
slug
朴素贝叶斯法笔记
tags
ML
summary
type
Post
Field
Plat
朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设，通过学习先验概率 与条件概率 ，来学习输入输出的联合概率分布 ;然后基于此模型，对给定的输入 ,利用贝叶斯定理求出后验概率 最大的输出 。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。
符号定义
设输入空间 为 维向量的集合，输出空间为类标记集合) 。输入为特征向量 ，输出为类标记(class label) 。 是定义在输入空间 上的随机向量, 是定义在输出空间 上的随机变量。 是 和 的联合概率分布。
训练数据集 由 独立同分布产生。, 是第 个样本的第 个特征，, 是第 个特征可能取的第 个值，，，。
基本方法
朴素贝叶斯先使用极大似然估计学习先验概率分布：
以及条件概率分布：
条件概率分布 有指数级数量的参数，其估计实际是不可行的。朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假
设，朴素贝叶斯法也由此得名。具体地，条件独立性假设是：
那么，根据极大似然估计计算条件概率：
于是学习到联合概率分布 。朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。
使用朴素贝叶斯进行分类
朴素贝叶斯法分类时，对给定的输入,通过学习到的模型计算后验概率分布 , 将后验概率最大的类作为 的类输出。后验概率计算根据贝叶斯
定理进行:
使用条件独立性假设：
那么，分类器为找到后验概率最大的类 ：
由于分母对于所有给定的 无关：
为什么使用后验概率最大的类作为预测？
朴素贝叶斯法将实例分到后验概率最大的类中。这等价于期望风险最小化。假设选择0-1损失函数:
式中 是分类决策函数。这时，期望风险函数为
为了使期望风险最小化，只需对 逐个极小化，由此得到:
这样一来，根据期望风险最小化准则就得到了后验概率最大化准则:
贝叶斯估计
用极大似然估计可能会出现所要估计的概率值为0的情况。这时会影响到后验概率的计算结果，使分类产生偏差。解决这一问题的方法是采用贝叶斯估计。具体地，条件概率的贝叶斯估计是
式中 。等价于在随机变量各个取值的频数上赋予一个正数 。当 时就是极大似然估计。常取 , 这时称为拉普拉斯平滑(Laplacian smoothing) 。
同样，先验概率的贝叶斯估计是：